Исторический обзор анализа временных рядов

Глава 1 Основные концепции временных рядов

 

1.1 Исторический обзор анализа временных рядов. 1

1.2 Определение и примеры временных рядов. 16

1.3 Цели анализа временных рядов. 20

1.4 Стационарные стохастические процессы.. 24

1.5 Автоковариационная и автокорреляционная функции. 26

1.6 Компоненты временного ряда. 33

1.6.1 Тренд временного ряда. 35

1.6.2 Сезонность временного ряда. 40

Литература. 44

 

 В начале главы приводится краткий обзор становления анализа временных рядов. Далее   рассматриваются основные понятия временных рядов, даются определения и примеры таких рядов   из разных сфер деятельности. Особое значение при анализе временных рядов  играет стационарность, которая  кратко анализируется   в этой главе. Автокорреляционные и частные автокорреляционные функции оказываются одним из важных инструментов при идентификации различных моделей рядов, поэтому указываются их определения и свойства.  Отмечается значение теоремы Вольда   при представлении временного ряда как линейного процесса. Рассматривается модель декомпозиции, играющая существенную роль при изучении временных рядов.

Исторический обзор анализа временных рядов

    Временной ряд (ВР) определяется как множество количественных наблюдений, упорядоченных в хронологическом порядке. При этом допускается, что время является дискретной переменной.

    Анализ временных рядов включает методы, которые после применения их к наблюдениям приводят к улучшению знаний. Целью анализа ВР является обобщение, решение, описание, предсказание. Анализ ВР имеет теоретическую и практическую стороны. Первая - эта часть теории стохастических процессов (например, представление, прогнозирование, информация, предельные теоремы), в то время как вторая - расширение методов традиционной статистики (в частности, регрессия, анализ дисперсий, многомерный анализ).

    Современный анализ ВР имеет корни в физических и социальных науках. Основные концепции изучения ВР появились в каждом из этих субъектов изучения и сформировали путь трансформации методологий между ними. Концепция ВР является основой для всех видов деятельности. Временные ряды используются природой и людьми для коммуникации, описания и визуализации. Поскольку время является физическим понятием, параметры и другие характеристики математических моделей ВР могут иметь реальные интерпретации. Это оказывает большую помощь в анализе и синтезе ВР.    

    Временные ряды   играли важную роль на ранних этапах становления естественных наук. Астрономы древнего Вавилона использовали ВР относительного положения звезд и планет для предсказания астрономических явлений. Хозяйственные нужды требовали установления точного календаря, основанного на наблюдениях Солнца, Луны и звезд. Из большого количества клинописных глиняных табличек, найденных на территории Месопотамии, ученым достоверно известно, что древневавилонские астрономы вели регулярные наблюдения за небом. За 2500 лет систематических наблюдений они установили периодичность затмений, что позволяло предсказывать их.

    Значительные достижения в астрономии связаны с наблюдениями древнеегипетских жрецов. Существование Египта зависело от разливов Нила, приносивших на поля плодородный ил. Если они запаздывали, стране грозили неурожай и голод. Вследствие этого, понятно, что египтяне внимательно следили за важнейшим событием - появлением на небе Сириуса перед восходом Солнца, совпадавшим с ежегодным разливом Нила. Можно сказать, что египетскую астрономию создала необходимость вычисления временных рядов подъема и спады воды в Ниле. В течение 1500 лет египетские жрецы зарегистрировали 373 солнечных и 832 лунных затмения. Это позволило заметить периодичность затмений и научиться их предсказывать.

    Историки науки сделали много удивительных открытий, касающихся ранних работ по временным рядам. Один из таких примеров приведен в [1], где показан  ВР, относящийся к X или XI векам, и иллюстрирует перемещения планет и Солнца, включая наклоны планетарных орбит как функции времени.

    Анализ ВР помогает обнаружить регулярности в наблюдаемых переменных, вывести законы, которым подчиняются наблюдения, расширить информацию о переменных с целью прогнозирования будущего состояния. Основой методологии указанных процедур  является возможность разложить ВР на конечное число независимых, но непосредственно не наблюдаемых компонентов, которые определяют регулярность и могут, таким образом, указать будущие значения.

    В середине XIX века такой методологический подход использовали экономисты Ч. Беббидж (Charles Babbage) и У.С.Джевонс (William Stanley Jevons). Декомпозицию на ненаблюдаемые компоненты, которые зависят от различных причинных факторов, выполнил У. Пирсонс (Warren M. Persons) в 1919г. Он выделил четыре составляющие:

1. Долговременная тенденция ряда (тренд).

2. Циклическая составляющая с периодом больше, чем год (бизнес-цикл).

3. Компонент, который содержит всплески и провалы в течение года (сезонный цикл).

4. Составляющая, содержащая колебания, которые невозможно отнести ни к одному из указанных выше компонентов (остатки).

       Полагая, что различные ненаблюдаемые факторы - независимы, их суммарное воздействие генерирует ВР, который можно наблюдать как целый процесс. Для получения информации о данных, формирующих процесс, необходимо сделать допущения о ненаблюдаемых компонентах. В классическом анализе ВР   принимается, что систематические компоненты (тренд, бизнес-цикл, сезонный цикл) не подвергаются случайным искажениям, и поэтому могут быть представлены детерминированными функциями времени. Случайное воздействие на ряд ограничивается остатками, которые не содержат никаких систематических составляющих. Вследствие этого моделирование ряда рассматривается как процесс, состоящий из независимых или некоррелированных случайных переменных с нулевым математическим  ожиданием и постоянной дисперсией, т.е. как случайный процесс.

    В дальнейшем  ученые отказались от описательных процедур классического анализа ВР и вместо этого начали использовать методы теории вероятностей и математической статистики. Это привело к другой оценке роли случайных флуктуаций в формировании ВР. В то время, как классический подход рассматривает эти флуктуации в качестве остатков без какого-либо значимого воздействия на структуру ВР, современные приемы анализа допускают, что имеется случайное влияние на все компоненты ряда. Таким образом, закон изменения всего ряда в целом рассматривается как случайный процесс. Вследствие этого анализируемый ряд представляет лишь одну реализацию генерируемого случайного процесса. Теперь акцент делается на случайных членах с достаточно сложными структурными зависимостями.

    Первый шаг в этом направлении был сделан российским ученым Е.Е. Слуцким и английским статистиком Д. Юлом (George Udny Yule) в начале прошлого столетия. Они показали, что ВР с циклическими свойствами, подобные экономическим рядам, могут быть сгенерированы с помощью взвешенных или невзвешенных сумм (разностей) чисто случайного процесса. Эти  ученые разработали модели скользящего среднего и авторегрессионного процесса для представления временных рядов. Г. Волд (Herman Wold) в 1938г. систематизировал и обобщил подходы Слуцкого и Юла в своей докторской диссертации.  Волд показал, что при достаточной стабильности вероятностного механизма, генерирующего временной ряд, его случайная часть может быть представлена моделью вида, предложенного Слуцким и Юлом. Широкое практическое использование методов анализа ВР появилось  после того, как Д.Е.Бокс (George E. P. Box) и Г.М. Дженкинс (Gwilym M. Jenkins) в 1970 г. опубликовали работу [2] о неструктурном анализе временных рядов и прогнозировании. Они отказались от идеи различных компонентов и предположили, что есть общая стохастическая модель для процесса генерации временного ряда.

    Во-первых, предложенный ими метод  идентифицирует конкретную модель на основе найденных статистических показателей. Во-вторых, можно оценить параметры этой модели.    В-третьих, спецификация модели проверяется на основании статистических тестов. Если ошибки спецификации становятся значимыми, то эта процедура должна быть изменена и параметры модели пересчитаны. Такой итеративный процесс повторяется до генерации модели, которая удовлетворяет заданным критериям. Найденная таким образом модель может быть использована для прогнозирования.

    Недавно идея декомпозиции временных рядов вновь возродилась в умах аналитиков, в частности, для моделирования сезонных колебаний. Однако в противоположность классическому подходу теперь допускается, что все компоненты временных рядов могут быть представлены простыми стохастическими моделями. Процедура для сезонного регулирования ВР, используемая, например, в EUROSTAT, основана на таком подходе.

    Кроме того, начиная с 1980-х гг. все чаще принимается во внимание возможная нестационарность ВР. Подобное свойство ВР
вызывается не только детерминированным, но и случайным трендом. Рассмотрим состояние некоторых наиболее важных методов анализа временных рядов.

Экспоненциальное сглаживание

Возникновение методов экспоненциального сглаживания (ЭС) связано с работами Р.Брауна (Robert G. Brown) по заказу ВМФ США во время Второй мировой войны. В 1944г. Браун разрабатывал информационную систему для обнаружения вражеских подводных лодок. Эта информация вводилась в механическое вычислительное устройство (интегратор) для оценки  скорости подводной лодки  и угла опережения при использовании  глубинных бомб.  Модель отслеживания Брауна, по существу, представляла собой  простое экспоненциальное сглаживание непрерывных данных.  В начале 1950-х гг. Браун расширил этот метод для дискретных данных и, кроме того, разработал методологию расчета при наличии тренда и сезонности. Эти материалы послужили основой его книги по анализу временных рядов [3].

    Независимо от Брауна в то же время Ч. Хольт (Charles C.Holt) по заказу Центра военно-морских исследований США  предложил методику сглаживания аддитивных трендов и сезонных колебаний, завершенную публикацией отчета в 1957г. Идеи Хольта получили широкую известность в начале 1960-х гг. после выхода статьи П. Винтерса (Peter R.Winters), в которой проверялись идеи Хольта  на эмпирических данных. В дальнейшем эти приемы составили методологию Хольта-Винтерса [4].

    Методы ЭС часто рассматриваются как набор специальных приемов для экстраполяции различных типов одномерных ВР. Эти методы получили дальнейшее развитие после двух работ, опубликованных в 1985г., которые заложили основу для последующих исследований в этой области. В [5] был проведен подробный анализ с обобщением результатов ЭС на тот момент и расширением использования такой методологии до включения затухающего тренда. Эта работа вызвала существенный интерес к ЭС и появление новых публикаций.  

    В том же году было показано, что метод ЭС может  рассматриваться как вытекающий из модели пространственного состояния(state space model), т.е. модели с единственным источником ошибок [6].  Хотя подобная инновация оставалась незамеченной в то  время, в последующие годы такой подход обеспечил основу для большого количества работ по этим моделям, составляющим базу  экспоненциальных методов.

Большинство работ после 1980г. включало изучение эмпирических свойств этих методов, предложения по новым методам оценивания параметров, оценок прогноза и т.п. Появились многочисленные прикладные исследования по применению методов ЭС в компьютерной технологии, логистике, планировании производства. Предложенная в работе [7]   таксономия обеспечила полезную кластеризацию  для описания  различных методов. Каждый метод состоит из одного из четырех видов тренда: нет тренда, аддитивный, мультипликативный, затухающий и одного из трех типов сезонности: нет сезонности, аддитивная, мультипликативная. В итоге при использовании ЭС имеем 12   различных методов. 

При исследовании методологии ЭС были предложены различные модификации методов. Например, рассматривались варианты наличия разрывов исследуемого ряда, нормировки сезонных компонентов, разработки модели, находящейся между простым ЭС и методом Хольта, что в итоге дает модель простого ЭС со сдвигом. Однако мало внимания уделялось многомерным версиям ЭС..

Из недостатков методов ЭС следует указать на трудности построения интервальной оценки прогноза. Среди первых подходов в этом направлении отметим использование ряда, который генерировался детерминированными функциями при наличии белого шума. В такой ситуации для построения прогноза предпочтение следует отдать регрессионной модели, нежели модели, основанной на ЭС. Другие авторы стремились получить интервальные оценки через эквивалентность между моделями ЭС и статистическими моделями. В отношении параметров сглаживания, от которых зависит изрезанность ряда, общепринятый подход состоит в ограничении диапазона их изменения величинами от 0 до 1.

 

       Модель ARIMA

       Введение этой модели связано с именами Бокса-Дженкинса, а ее аббревиатура раскрывается следующим образом: a uto r egressive i ntegrated m oving a verage  - авторегрессионная проинтегрированная модель скользящего среднего[1].

Самые ранние попытки изучения временных рядов характеризовались идеей детерминированного мира. Революционный вклад в изучение ВР, как отмечалось выше, принадлежит Юлу и Слуцкому, которые ввели определение стохастичности во временных рядах через утверждение о том, что каждый ВР может рассматриваться как реализация стохастического процесса. С тех пор, основываясь на этой простой идее, был разработан ряд методов анализа ВР, в частности, сформулирована концепция авторегрессионной модели и модели скользящего среднего. Теорема декомпозиции Волда помогла А.Н.Колмогорову сформулировать и получить решение задачи линейного предсказания. После этого появилось значительное количество научных трудов в области исследования ВР, включая оценки параметров модели, их идентификацию, проверку адекватности и построение прогноза.

    Книга Бокса и Дженкинса [2] обобщила существующие на тот момент знания в исследовании ВР. Эта работа   оказала огромное влияние на теорию и практику современного состояния анализа и прогнозирования временных рядов. С появлением компьютеров стало возможным использование моделей класса ARIMA во многих областях науки и техники.

Успех методологии Бокса-Дженкинса основан на том факте, что различные модели могли имитировать   поведение  разных   видов ВР. Эта операция адекватно выполнялась, не требуя первоначальной оценки многих параметров модели.  Однако в   середине 1960-х гг. выбор модели во многом зависел от опыта и искусства аналитика, так как не было алгоритма, однозначно определяющего модель. С тех пор различные приемы были предложены для придания  математической строгости процессам поиска в методологии Бокса-Дженкинса.

Существует ряд методов для оценки параметров моделей класса ARIMA. Хотя эти методы асимптотически эквивалентны в смысле стремления оценок к одинаковому нормальному распределению, имеется  значительное различие при работе с выборками конечного размера. При сравнительном изучении различных программных продуктов для данного класса моделей было показано, что эта разница может быть весьма существенной и, как следствие, влиять на прогнозные оценки. В случае если ВР описывается моделью ARIMA, прогнозы с использованием неагрегированных данных являются такими же приемлемыми, как и с применением агрегированных наблюдений. Однако на практике есть другие факторы, которые необходимо учитывать, в частности, пропущенные наблюдения и выбросы в исследуемом ряду.

Одношаговое прогнозирование в моделях класса ARIMA выполняется достаточно точно и не отличается от прогнозов, полученных другими методами. Некоторые программные средства выполняют автоматический прогноз ВР, описываемых моделями типа ARIMA, и часто пользователь сталкивается с ситуацией, когда модель в используемой программе рассматривается как черный ящик.

Многомерный вариант моделей этого класса, приводящий к векторным моделям вида VARIMA  (V - vector), представляет обобщение традиционных моделей. Векторные авторегрессии (VAR) формируют специальный случай более общего класса VARMA. По существу, модель VAR  - это гибкая аппроксимация сокращенной формы динамических эконометрических моделей. Модели VAR часто сталкиваются с проблемой «переобучения» при использовании многих незначащих параметров. Как результат, такие модели формируют плохой прогноз вне обучающей части ряда, хотя в пределах этого отрезка показывают хорошие результаты. Концепция коинтеграции, введенная Р.Энглом (Robert  Fry  Engle) и К.Грэнджером[2] (Clive Granger) в 1987г., привела к постановке и решению различных вопросов, связанных с прогнозированием многомерных ВР.  

    В модели ARIMA показатель d, определяющий порядок интегрирования,принимает целочисленные значения, равные 1 или 2, и, по существу, параметр d характеризует порядок разности при приведении нестационарного ряда к стационарному виду. Однако существует разновидность рядов, у которых этот показатель принимает дробное значение. Разработка такой авторегрессионной дробно интегрированной модели скользящего среднего (autoregressive fractionally integrated moving average - ARFIMA) приводит к более гибкому и полному классу моделей ВР, который расширяет методологию Бокса-Дженкинса до временных рядов с долгой памятью [8,9].

       Долгая память (ДП) или долговременная корреляция является свойством, описывающим корреляционную структуру временного ряда. Долговременная зависимость ВР определяет его структурное поведение на больших временных интервалах, что характеризует устойчивое поведение ВР, т.е. значимую связь между очень удаленными наблюдениями.

Сезонность

 

Самым известным способом выделения сезонности во ВР  является декомпозиция ряда. Чаще всего в этом случае используется процедура, известная как  Х -11 метод. Последнюю четверть века этот метод и его варианты (прежде всего, Х -12- ARIMA) исследовались очень интенсивно.

    Одно из направлений исследования сезонности было связано с эффектом использования прогнозирования как части метода сезонной декомпозиции, в частности, применения модели Х -11- ARIMA  для снижения объема изменений в сезонной корректировки данных или влияние дисперсии тренда на прогнозные оценки.
    Другой точки зрения придерживались исследователи, которые под прогнозом подразумевали использование асимметричных фильтров скользящего среднего в модели   Х -11 и ее вариантах.

    Третий вариант изучения сезонности сводился к рассмотрению эффективности прогноза с использованием сезонно отрегулированных данных, полученных из метода сезонной декомпозиции. Было показано, что большая точность прогноза достигается при уменьшении сезонной составляющей до нуля.

    В дополнение к методологии, основанной на модели Х -11 и ее вариантах, были разработаны несколько новых методов для сезонной корректировки, из которых самым известным стал подход, получивший название TRAMO-SEATS (Time series Regression with ARIMA noise, Missing values and Outliers) / (Signal Extraction in ARIMA Time Series), который позволяет выделить основные структурные компоненты ВР[10].

    Отметим еще метод STL: Seasonal - Trend Decomposition Procedure Based on LOESS - процедура сезонно-трендовой декомпозиции, основанная на методе локальных регрессий (от англ. LOcal regrESSions - LOESS). Идея метода заключается в том, чтобы сгладить ряд значений, используя простую линейную либо полиномиальную зависимость   какой-либо переменной от времени. С помощью процедуры LOESS  происходит сглаживание исходного ряда данных и  разложение сезонных временных рядов на три компонента: сезонный, трендовый и помеху (шум) [11].

 

Нелинейные модели

 

    Линейность ВР является полезным  предположением и   мощным инструментом анализа  во многих областях, однако в начале 1980-х гг.  становилось все более ясно, что линейные  модели являются недостаточными для  многих реальных приложений. Одним из факторов, препятствующим широкому внедрению нелинейных прогнозов, является трудность получения   аналитических выражений для многошагового прогноза.

    На пути перехода от линейных к нелинейным моделям можно выделить несколько направлений.

    Во-первых, путем обобщения линейных авторегрессионных моделей порядка р через допущение о том, что значения ряда, по которым оценивается модель, сами являются некоторыми нелинейными функциями.

    Во-вторых, еще один класс моделей появляется, если позволить параметрам модели частично определяться прошлыми данными. Такой прием приводит к пороговой авторегрессионной модели (threshold autoregressive model - TAR)[12]. Появление такой модели объясняется несколькими нелинейными характеристиками, обычно наблюдаемыми на практике, например, асимметрия при спадании и росте временного ряда.

    В-третьих, полностью отличный класс моделей используется для описания процессов с изменяющейся дисперсией, часто называемых рядами с   изменяющейся волатильностью. Здесь цель заключается в получении лучших оценок дисперсии, приводящих к более реалистичным интервальным оценкам прогнозирования. Волатильность или характеристика рассеяния, в традиционной статистике определяемая как среднеквадратичное отклонение, является важным фактором ВР. Моделирование волатильности обеспечивает простой подход к вычислению рисков, а использование волатильности при анализе ВР может улучшить эффективность оценок и точность прогнозирования. Процессом, который дает систематическую основу для моделирования волатильности, является авторегрессионная условная гетероскедастическая модель (Autoregressive Conditional Heteroscedastic - ARCH), предложенная Р. Энглом еще в 1982г.[13].

    Наконец, в-четвертых, применение методов так называемых "мягких вычислений", в частности, искусственных нейронных сетей (НС) и нечеткой логики (НЛ), позволяет аппроксимировать нелинейные отношения между входами и выходом временных рядов.  Основная идея использования НС сводится к тому, что  на ее вход последовательно подаются значения ВР, а сеть, запомнив флуктуации ряда с помощью весовых коэффициентов между ее слоями, формирует на выходе сигнал, который определяет прогнозную величину ряда. На протяжении последних двадцати лет появилось очень много работ в этой области, см. например [14,15]. В отношении использования НЛ для прогноза ВР нужно отметить, что в нечетких ВР прошлый опыт трансформируется в знания, которые имеют форму "если..., то", поэтому главная цель моделирования нечетких ВР заключается в идентификации исторических данных с  такой же формой [16]. 

 

Анализ ряда в частотной области

 

     Анализ стационарных процессов посредством их спектрального представления обычно рассматривается как частотный анализ конкретного ряда или спектральный анализ. Такой прием обеспечивает альтернативный путь исследования ВР, который в ряде случаев оказывается более информативным. По сравнению с традиционными методами изучения временных рядов спектральный анализ имеет ряд преимуществ, так как позволяет одновременно найти частоту различных периодических составляющих и их амплитуду. 

    Спектральный анализ в инструментарий науки ввел И. Ньютон во второй половине XVII века, когда он разложил световой сигнал на частотные компоненты, пропуская световой луч через стеклянную призму. Преобразование Фурье (ПФ) дает оценку спектра мощности сигнала, тем самым осуществляя переход от описания ряда во временной плоскости к рассмотрению ряда в частотной области. Определение скрытых закономерностей во временных рядах является сложной задачей, и спектральный анализ представляет собой мощный инструмент для выполнения этой задачи. Начиная с 1930-х гг. такие ученые как Н. Винер, А.Н.Колмогоров, М. Бартлетт, Дж.Тьюки выполнили ряд выдающихся работ, позволивших внедрить методы спектрального анализа во многие сферы науки и техники. В последующие годы с появлением вычислительной техники удалось достичь больших практических результатов по внедрению этих методов [17,18].  

    С практической точки зрения и с позиций точного представления произвольных сигналов  ПФ  имеет ряд ограничений и недостатков.  Обладая хорошей локализацией по частоте, такое преобразование не обладает временным разрешением. Частично недостатки спектрального анализа решаются переходом к так называемому кратковременному или оконному преобразованию Фурье. Идея этого преобразования достаточно проста: временной интервал существования ряда разбивается на  ряд промежутков - временных окон В каждом промежутке вычисляется свое ПФ.    

Узкое окно дает лучшее временное разрешение, а широкое - лучшее частотное. Разные участки ряда могут требовать применения разных окон, а при оконном ПФ ширина окна выбирается постоянной - для анализа всего сигнала.

    Устранить эти недостатки возможно с помощью вейвлет-преобразования (ВП) [19,20]. Вейвлеты - это семейство функций, которые получаются из одной функции посредством ее сдвигов и растяжений по оси времени. Все вейвлет-преобразования рассматривают любую функцию в виде разложения на колебания, локализованные по времени и частоте. Данное обстоятельство является причиной замены ими ПФ, которое не имеет локальности во временной области. Обычно ПФ используется для анализа стационарных сигналов; вейвлет-анализ применяется для обработки нестационарных сигналов.

    Вейвлеты впервые были применены в середине 80-х гг. прошлого века в  геофизике для анализа данных сейсмического обследования при поиске морских нефтяных месторождений с целью получения послойного изображения района поиска. С помощью вейвлетов сигнал представляется совокупностью волновых пакетов, образованных на основе некоторой исходной функции. Такая совокупность, разная в различных частях временного интервала исследуемого сигнала, и корректируемая множителями, которые имеют вид сложных временных функций, представляет сигнал с той или иной степенью детализации. В итоге, в отличие от традиционного спектрального анализа ВП обеспечивает двумерную развертку исходного ВР, что дает возможность анализировать свойства сигнал одновременно во временном и частотном пространствах.