Учебное пособие: Анализ временных рядов

10.1.1 Авторегрессия первого порядка (марковский процесс)

Модель АР(1) имеет вид

.

С использованием оператора сдвига В модель примет вид

.

Отсюда

Рассматривая  как сумму бесконечно убывающей геометрической прогрессии со знаменателем а В получаем, что

 (2)

Таким образом, марковский процесс есть частный случай общей линейной модели, коэффициенты которой меняются по закону геометрической прогрессии, то есть .

Выражение (2) можно получить и из (1) непосредственно, выражая  через ,  через  и т.д.

Дисперсия  в соответствие с () есть

Выходит, белый шум с дисперсией  порождает в схеме Маркова случайный процесс с возросшей дисперсией, равной .

Для нахождения автоковариационной функции Марковского процесса можно воспользоваться общим выражением ( ). Однако более нагляден следующий путь. Домножим уравнение (1) марковского процесса на и возьмем математическое ожидание

.

Поскольку второе слагаемое в правой части равно нулю в силу некоррелированности возмущения  в текущий момент с прошлыми значениями ряда , получаем

( в силу стационарности )

Из последнего соотношения имеем

,

то есть  а совпадает с коэффициентом автокорреляции  средних членов ряда. Умножим теперь (1) на  и возьмем математическое ожидание:

.

Заменяя а на  и деля на  , получаем

.

Придавая k значения 2,3,… получим

.

Итак, в марковском процессе все автокорреляции можно выразить через первую автокорреляцию. Поскольку , автокорреляционная функция марковского процесса экспоненциально убывает при росте k.

Рассмотрим теперь частную автокорреляционную функцию марковского процесса. Мы получили, что корреляция между двумя членами ряда, отстоящими на два такта, то есть между  и  выражается величиной . Но  зависит от , а  от . Возникает вопрос, сохранится ли зависимость между  и , если зависимость от срединного члена  устранена. Соответствующий частный коэффициент корреляции есть

.

Поскольку , числитель равен нулю. Аналогично можно показать, что частные коэффициенты корреляции для членов ряда, отстоящих на 3,4 и так далее тактов, также равны нулю. Таким образом, автокорреляция существует только благодаря корреляции соседних членов, что впрочем следует из математической модели марковского процесса.

Завершая рассмотрение модели АР(1), отметим, что она весьма часто используется в экономико-математических исследованиях для описания остатков линейной регрессии, связывающей экономические показатели.

Авторерессия второго порядка (процесс Юла)

Авторегрессионный процесс Юла АР(2) описывается уравнением

 (1)

С использованием оператора сдвига В модель запишется как

,

где а(В) – авторегрессионный оператор, то есть а(В)= .

Свойства модели зависят от корней  и  полинома

=0, (2)

который можно записать также в виде

(1-В)(1-В)=0.

Для стационарности процесса (1) необходимо, чтобы корни  и  лежали внутри единичной окружности (случай комплексных корней), либо были меньше единицы (случай действительных корней), что обеспечивается при  .

Пусть  и  действительны и различны. Разложим на простые дроби

, (3)

где .

Рассматривая отдельные слагаемые в (3) как суммы бесконечных геометрических прогрессий, получим

.

Выходит АР(2) есть частный случай общей линейной модели ( ) с коэффициентами

.

Рассмотрим теперь автокорреляционную функцию процесса Юла. Умножим (1) по очереди на  и , возьмем математические ожидания и разделим на . В итоге получим

Этих уравнений достаточно для определения  через первые две автокорреляции и, наоборот, по известным  можно найти .

Умножая теперь (1) на  получим рекуррентное уравнение

, (4)

из которого можно найти автокорреляции высоких порядков через первые автокорреляции. Тем самым, полностью определяется коррелограмма процесса Юла.

Исследуем вид коррелограммы процесса АР(2).

Выражение (4) можно рассматривать как разностное уравнение второго порядка относительно r с постоянными коэффициентами.

Общее решение такого уравнения имеет вид

,

где  – корни характеристического уравнения

 (5)

Легко видеть, что уравнения (2) и (5) эквивалентны с точностью до замены В на z и деления обоих частей на , так что корни этих уравнений совпадают, то есть

Общее решение разностного уравнения (4) есть

 (6)

где коэффициенты А и В находят из граничных условий при j=0 и j=1.

Таким образом, в случае действительных корней коррелограмма АР(2) представляет собой, как видно из (6), смесь двух затухающих экспонент.

В случае комплектности корней  и  коррелограмма процесса АР(2) оказывается затухающей гармоникой.

Рассмотрим теперь как ведет себя частная автокорреляционная функция процесса Юла. Отличным от нуля оказывается лишь коэффициент  , равный . Частные корреляции более высоких порядков равны нулю (подробнее этот процесс рассматривается дальше). Таким образом, частная коррелограмма процесса отрывается сразу после лага, равного единице.

В заключении отметим, что модели АР(2) оказались приемлемыми при описании поведения циклической природы, прообразом которого служит маятник, на который воздействуют малые случайные импульсы. Амплитуда и фаза такого колебательного процесса будут все время меняться.

10.1.3. Авторегрессия порядка р

Процесс авторегрессии порядка р, кратко АР(р), описывается выражением

 (1)

или

 ( )

Решение разностного относительно y выражения (1) или () состоит из двух частей: общего решения, содержащего р произвольных констант, и частного решения. Общее решение есть

, (2)

где – есть постоянные коэффициенты,

 (j=1,2,...,р) – корни характеристического уравнения.

 (3)

Стационарность ряда (2) имеет место, если корни уравнения (3) имеют модуль меньше единицы. Другими словами, корни должны лежать внутри единичного круга. Считая, что ряд имеет достаточно длинную предысторию, общим решением (2) можно пренебречь вследствие затухания.

Частое решение, как видно из (), есть

Последнее соотношение есть форма представления авторегрессионного процесса в виде общей линейной модели.

Последовательно умножим уравнение (1) на , возьмем математическое ожидание и разделим на . Получим систему уравнений относительно коэффициентов корреляции :

, k=1, 2, ..., p (4)

Учитывая, что  , и вводя матричные обозначения

,

запишем (4) в виде

Pa=r (5)

Систему уравнений (5) называют системой Юла-Уокера. Из нее находим, что

a=r (6)

Таким образом, зная первые р автокорреляций временного ряда, можно найти по (3) автокорреляции более высокого порядка, то есть полностью восстановить автокорреляционную функцию (что уже отмечалось при анализе процессов АР(1) и АР(2)).

Поведение автокорреляционной функции зависит от корней характеристического полинома. Обычно коррелограмма процесса АР(р) состоит из совокупности затухающих синусоид.

Если у процесса АР(2) частная автокорреляция членов ряда, разделенных 2-мя или большим числом членов, равна нулю, то у процесса АР(р) нулю равны автокорреляции порядка р и выше. Выходит, частная коррелограмма процесса АР(р) должна равняться нулю, начиная с некоторого момента. Правда, надо заметить, что этот факт имеет место для бесконечного ряда. Для конечных реализаций указать место обрыва коррелограммы часто затруднительно.

Итак, для процесса АР(р) частная автокорреляционная функция обрывается на лаге р, тогда как автокорреляционная функция плавно спадает.

10.1.4 Процессы скользящего среднего

Обобщенная линейная модель для процессов скользящего среднего содержит лишь конечное число членов, то есть в ( ): =0 k> q .

Модель приобретает вид

 (1)

(В (1) коэффициенты  переобозначены через.)

Соотношение (1) определяет процесс скользящего среднего порядка q, или сокращенно СС(q). Условие обратимости ( ) для процесса СС(q) выполняется, если корни многочлена b(В) лежат вне единичного круга.

Найдем дисперсию процесса СС(q):

Все смешанные произведения вида  равны нулю в силу некоррелированности возмущений в разные моменты времени. Для нахождения автокорреляционной функции процесса СС(q) последовательно умножим (1) на и возьмем математическое ожидание

 (2)

В правой части выражения (2) останутся только те члены, которые отвечают одинаковым временным тактам (см. рис )

    (k=2)

Следовательно, выражение (2) есть

 (3)

поделив (3) на  , получим

 (4)

Тот факт, что автокорреляционная функция процесса СС(q) имеет конечную протяженность (q тактов) – характерная особенность такого процесса. Если  известны, то (4) можно в принципе разрешить относительно параметров . Уравнения (4) нелинейные и в общем случае имеют несколько решений, однако условие обратимости всегда выделяет единственное решение.

Как уже отмечалось, обратимые процессы СС можно рассматривать как бесконечные АР- процессы -АР(¥). Следовательно, частная автокорреляцонная функция процесса СС(р) имеет бесконечную протяженность. Итак, у процесса СС(q) автокорреляционная функция обрывается на лаге q, тогда как частная автокорреляционная функция плавно спадает.

10.1.5 Комбинированные процессы авторегрессии - скользящего среднего

Хотя модели АР(р) и СС(q) позволяют описывать многие реальные процессы, число оцениваемых параметров может оказываться значительным. Для достижения большей гибкости и экономичности описания при подборе моделей к наблюдаемым временным рядам весьма полезными оказались смешанные модели, содержащие в себе и авторегрессию и скользящее среднее. Эти модели были предложены Боксом и Дженкинсом и получили название модели авторегрессии - скользящего среднего (сокращенно АРСС(р, q)):

 (1)

С использованием оператора сдвига В модель (1) может быть представлена более компактно:

, ( )

где а(В)—авторегрессионный оператор порядка р,

b(В)—оператор скользящего среднего порядка q.

Модель () может быть записаны и так :

Рассмотрим простейший смешанный процесс АРСС(1,1)

Согласно

 (2)

Из соотношения (2) видно, что модель АРСС(1,1) является частным случаем общей линейной модели ( ) с коэффициентами  (j>0)

Из (2) легко получить выражение для дисперсии :

Для получения корреляционной функции воспользуемся тем же приемом, что и при анализе моделей авторегрессии. Умножим обе части модельного представления процесса АРСС(1,1)

на  и возьмем математическое ожидание :

или (с учетом того, что второе слагаемое в правой части равенства равно нулю)

Поделив ковариации  на дисперсию  получаем выражения для автокорреляции

полученные соотношения показывают, что  экспоненциально убывает от начального значения  , зависящего от  и  при этом, если  > , то затухание монотонное; при <  – затухание колебательное.

Аналогично может быть построена автокорреляционная функция для общей модели АРСС(р, q).

Умножим все члены (1) на . Возьмем математическое ожидание и в результате получим следующее разностное уравнение.

Где  - взаимная ковариационная функция между y и . Поскольку возмущения  в момент t и значения ряда в прошлые моменты (см(2)) не коррелируют, 0 при k>0.

Отсюда следует, что для значений q+1 автоковариации и автокорреляции удовлетворяют тем же соотношениям, что и в модели АР(р):

В итоге оказывается, что при q<р вся автокорреляционная функция будет выражаться совокупностью затухающих экспонент и / или затухающих синусоидальных волн, а при q>p будет q-p значений , выпадающих из данной схемы.

10.1.6 Интегрированная модель авторегрессии- скользящего среднего

Модель АРСС допускает обобщение на случай, когда случайный процесс является нестационарным. Ярким примером такого процесса являются «случайные блуждания»:

 (1)

С использованием оператора сдвига модель (1) принимает вид

 (2)

Из (2) видно, что процесс (1) расходящийся, поскольку. Характеристическое уравнение этого процесса имеет корень, равный единице, то есть имеет место пограничный случай, когда корень характеристического уравнения оказался на границе единичной окружности. В то же время, если перейти к первым разностям , то процесс  окажется стационарным.

В общем случае полагается, что нестационарный авторегрессионный оператор  в модели АРСС имеет один или несколько корней, равных единице. Иными словами,  является нестационарным оператором авторегрессии порядка p+d; d корней уравнения =0 равны единице, а остальные р корней лежат вне единичного круга. Тогда можно записать, что

,

где a(B) – стационарный оператор авторегрессии порядка р (с корнями вне единичного круга).

Введем оператор разности , такой что =(1-B) , тогда нестационарный процесс АРСС запишется как

, (3)

где b(B) – обратимый оператор скользящего среднего (вне его корни лежат вне единичного круга).

Для разности  порядка d , то есть  модель

описывает уже стационарный обратимый процесс АРСС(р, q).

Для того чтобы от ряда разностей вернуться к исходному ряду требуется оператор s, обратный  :

Этот оператор называют оператором суммирования, поскольку

 .

Если же исходной является разность порядка d, то для восстановления исходного ряда понадобится d - кратная итерация оператора s, иначе d- кратное суммирование (интегрирование). Поэтому процесс (3) принято называть процессом АРИСС, добавляя к АРСС термин интегрированный. Кратко модель (3) записывают как АРИСС(р, d, q), где р – порядок авторегрессии, d – порядок разности, q – порядок скользящего среднего. Ясно, что при d =0 модель АРИСС переходит в модель АРСС .

На практике d обычно не превышает двух, то есть d .

Модель АРИСС допускает представление, аналогичное общей линейной модели, а так же в виде «чистого » процесса авторегрессии (бесконечного порядка). Рассмотрим, к примеру, процесс АРИСС (1, 1, 1):

 (4)

Из (4) следует, что

Отсюда

 (5)

В выражении (5) коэффициенты, начиная с третьего, вычисляются по формуле .

Представление (5) интересно тем, что веса, начиная с третьего, убывают по экспоненциальному закону. Поэтому, хотя формально зависит от всех прошлых значений, однако реальный вклад в текущее значение внесут несколько «недавних» значений ряда. Поэтому уравнение (5) более всего подходит для прогнозирования.

Как уже отмечалось, процессы АРИСС допускают представление в виде обобщенной линейной модели, то есть

Естественно искать будущее (прогнозное) значение ряда в момент  в виде

Ожидаемое значение , которое мы будем обозначать как

=

Первая сумма в правой части последнего соотношения содержат лишь будущие возмущения (прогноз делается в момент t, когда известны прошлые значения и ряда  и возмущений) и для них математическое ожидание равно 0 по определению. Что же касается второго слагаемого, то возмущения здесь уже состоялись, так что

Таким образом

= (1)

Ошибка прогноза, представляющая расхождение между прогнозным значением и его ожиданием есть

=

Дисперсия ошибки отсюда есть

 (2)

Прогнозирование по соотношению (1) в принципе возможно, однако затруднительно поскольку требует знания всех прошлых возмущений. К тому же для стационарных рядов скорость затухания  часто оказывается недостаточной, не говоря уже о нестационарных процессах, для которых ряды  расходятся.

Поскольку модель АРИСС допускает и другие представления, рассмотрим возможности их использования для прогнозирования. Пусть модель задана непосредственно разностным уравнением

 (3)

По известным значениям ряда (результатам наблюдений)  и оцененным значениям возмущений  , опираясь на рекуррентную формулу (3) можно оценить ожидаемое значение ряда в момент t+1:

-, (4)

При прогнозировании на два такта следует вновь воспользоваться рекуррентным соотношением (3), где в качестве наблюденного значения ряда в момент t+1 следует взять предсказанную по (4) величину , то есть  и так далее.

Наконец, возможно прогнозирование опираясь на представление процесса АРИСС в виде авторегрессии (). Как уже отмечалось, несмотря на то что порядок авторегрессии бесконечен, весовые коэффициенты в представлении ряда убывают довольно быстро, поэтому для вычисления прогноза достаточно умеренное число прошлых значений ряда.

Дисперсия ошибки прогноза на  шагов вперед есть

и согласно выражению (2) дается выражением

В предположении, что случайные возмущения являются гаусовским белым шумом, то есть  можно рассматривать доверительный интервал для прогнозного значения ряда стандартным образом.

Описанные выше теоретические схемы строились в предположении, что временной ряд имеет бесконечную предысторию, тогда как реально исследователю доступен ограниченный объем наблюдений. Модель приходится подбирать экспериментально, подгоняя ее к имеющимся в распоряжении данным. Поэтому с позиций теоретического применения теории анализа временных рядов определяющее значение имеют вопросы корректной спецификации модели АРИСС(p, d, q) (ее идентификации) и последующего оценивания ее параметров.

На этапе идентификации наблюденные данные используются для определения подходящего класса моделей и делаются предварительные оценки ее параметров, то есть строится пробная модель. Затем пробная модель подгоняется к данным более тщательно; при этом первичные оценки, полученные на этапе идентификации выступают в качестве начальных значений в итеративных алгоритмах оценивания параметров. И наконец, на третьем этапе полученная модель подвергается диагностической проверке для выявления возможной неадекватности модели и выработки подходящих изменений в ней.Рассмотрим перечисленные этапы подробнее.

Идентификация модели

Цель идентификации – получить некоторое представление о величинах p, d, q и о параметрах модели. Идентификация модели распадается на две стадии

1.   Определение порядка разности d исходного ряда .

2.   Идентификация модели АРСС для ряда разностей .

Основной инструмент, используемый на обеих стадиях – автокорреляционная и частная автокорреляционная функции.

В теоретической части мы видели, что у стационарных моделей автокоррелящии  спадают с ростом k весьма быстро (по корреляционному закону). Если же автокорреляционная функция затухает медленно и почти линейно, то это свидетельствует о нестационарности процесса, однако, возможно, его первая разность стационарно.

Построив коррелограмму для ряда разностей, вновь повторяют анализ и так далее. Считается, что порядок разности d, обеспечивающий стационарность, достигнут тогда, когда автокорреляционная функция процесса  падает довольно быстро. На практике  и достаточно просмотреть порядка 15-20 первых значений автокорреляции исходного ряда, его первые и вторые разности.

После того как будет получен стационарный ряд разностей, порядка d, изучают общий вид автокорреляционной и частной автокорреляционной функций этих разностей. Опираясь на теоретические свойства этих функций можно выбрать значения p и q для АР и СС операторов. Далее при выбранных p и q строятся начальные оценки параметров авторегрессии  и скользящего среднего b=(). Для авторегрессионных процессов используются уравнения Юла-Уокера, где теоретические автокорреляции заменены на их выборочные оценки. Для процессов скользящего среднего порядка q только первые q автокорреляций отличны от нуля и могут быть выражены через параметры  (см. ). Заменяя  их выборочными оценками  и решая получающиеся уравнения относительно , получим оценку . Эти предварительные оценки можно использовать как начальные значения для получения на следующих шагах более эффективных оценок.

Для смешанных процессов АРСС процедура оценивания усложняется . Так для рассмотренного в п. процесса АРСС(1,1) параметры и  , точнее их оценки, получаются из ( ) с заменой и  их выборочными оценками.

В общем случае вычисление начальных оценок процесса АРСС(p,q) представляет многостадийную процедуру и здесь не рассматривается. Отметим только, что для практики особый интерес имеют АР и СС процессы 1-го и 2-го порядков и простейший смешанный процесс АРСС(1,1).

В заключение заметим, что оценки автокорреляций, на основе которых строятся процедуры идентификации могут иметь большие дисперсии (особенно в условиях недостаточного объема выборки – несколько десятков наблюдений) и быть сильно коррелированны. Поэтому говорить о строгом соответствии теоретической и эмпирической автокорреляционных функций не приходится. Это приводит к затруднениям при выборе p, d, q, поэтому для дальнейшего исследования могут быть выбраны несколько моделей.

линейный ряд система временной ряд

Размещено на http://www.