Локально-адекватная модель случайных процессов в задачах прогнозирования

Министерство науки и высшего образования Российской Федерации Федеральное государственное автономное образовательное

учреждение высшего образования

«Южно-Уральский государственный университет (национальный исследовательский университет)»

Институт естественных и точных наук

Факультет математики, механики и компьютерных технологий Кафедра прикладной математики и программирования

Направление подготовки: 01.03.02 Прикладная математика и информатика

РАБОТА ПРОВЕРЕНА

Рецензент, старший преподаватель Кафедры ИТвЭ

___________________/В.В. Костерин

«____»_____________20___г.

ДОПУСТИТЬ К ЗАЩИТЕ

Заведующий кафедрой, д.ф.-м.н., профессор

______________/А.А.Замышляева

«____»_____________20___ г.

Локально-адекватная модель случайных процессов в задачах прогнозирования

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

К ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЕ ЮУрГУ–01.03.02.2020.078.ПЗ ВКР

Руководитель работы, доцент, к.х.н __________/Е.Ю. Алексеева

«____»_____________2020 г.

Автор работы

Студент группы ЕТ-413

_____________/Е.А. Велисевич

«____»_____________2020 г.

Нормоконтролер, ст. преподаватель

_____________/Н.С. Мидоночева

«____»_____________2020 г.

Челябинск 2020

АННОТАЦИЯ

Велисевич Е.А. Локально-адекватная модель случайных процессов в задачах прогнозирования. – Челябинск: ЮУрГУ (НИУ), ЕТ-413, 66 с., 15 ил., 1 прил., биб- лиогр. список – 48 наим.

В работе рассмотрены методы прогнозирования случайных процессов на примере валютных временных рядов.

В качестве случайных процессов были выбраны валютные временные пары валютного рынка. Для прогнозирования случайных процессов была по- строена математическая модель на основе модели пространства-состояния.

Выбор обоснован тем, что различные модели, используемые при анализе вре- менных рядов, могут рассматриваться полностью в рамках этой модели. Во время проведенного тестирования прогнозирования, построенная модель по- казала хорошую точность прогнозирования. Из этого можно сделать вывод, что модель работает адекватно, и в состоянии делать точный прогноз.

Поэтапно описана разработка системы. Спроектированы необходимые функции для программной реализации моделей ARMA (2,1) и ARMA (2,2) c использованием фильтрации Калмана. Был реализован пользовательский ин- терфейс в среде MATLAB. Изначально заданы параметры интервала, а также его начало. В ходе тестирования программы была получена небольшая ошибка прогнозирования.

СОДЕРЖАНИЕ

ВВЕДЕНИЕ ... 5

1 МЕТОДЫ СТАТИСТИЧЕСКОГО АНАЛИЗА ПРОГНОЗИРОВАНИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ ... 7

1.1 Определение временного ряда ... 7

1.2 Проблемы прогнозирования ... 9

1.3 Определение метода и модели прогнозирования ... 10

1.4 Классификация методов прогнозирования ... 10

1.5 Методы прогноза временных рядов ... 12

1.6 Примеры случайных процессов ... 12

1.6.1 Винеровский процесс ... 12

1.6.2 Мартингалы ... 13

1.6.3 Марковские случайные процессы ... 13

1.6.4 Процесс дискретного белого шума ... 14

1.6.5 Процесс случайного блуждания ... 14

1.7 Понятие стационарности случайного процесса ... 14

1.8 Стационарные процессы авторегрессии – скользящего среднего ... 15

1.8.1 Разложение Вольда ... 15

1.8.2 Процесс скользящего среднего (МА) ... 16

1.8.3 Процесс авторегрессии (AR (p)) ... 18

1.9 Оценивание параметров моделей ARMA ... 19

1.9.1 Метод наименьших квадратов ... 19

1.9.2 Метод наибольшего правдоподобия ... 20

1.10 Модели оптимального прогнозирования ... 23

1.10.1 Модель AR(1) ... 25

1.10.2 Модель МА ... 26

1.10.3 Модель ARMA ... 26

1.11 Фильтр Калмана ... 27

1.11.1 Модель пространства-состояния ... 27

1.11.2 Оценка состояния с помощью фильтра Калмана ... 28

1.12 Математическая модель прогнозирования ... 31

1.12.1 Модель ARMA(2,1) ... 31

1.12.2 Модель ARMA(2,2) ... 35

1.13 Численные эксперименты ... 37

1.14 Сезонные процессы ... 38

1.15 Выводы по первой главе ... 39

2 НЕЙРОННЫЕ СЕТИ В ЗАДАЧАХ ПРОГНОЗИРОВАНИЯ ... 40

2.1 Представление нейронных сетей ... 40

2.2 Обучение нейронных сетей с помощью учителя... 40

2.3 Обучение нейронных сетей без учителя... 40

2.4 Построение модели временных рядов с помощью нейросетей ... 41

2.5 Математическая модель сети LSTM ... 46

2.6 Выводы по второй главе ... 50

3 РАЗРАБОТКА ПРОГРАММЫ ДЛЯ ПРОГНОЗИРОВАНИЯ ... 51

3.1 Проектирование интерфейса программы ... 51

3.2 Схема алгоритма программы ... 52

3.3 Проектирование архитектуры... 52

3.4 Проверка работы и тестирование программы ... 54

3.5 Системные требования ... 55

3.6 Инструкция пользователя ... 55

3.7 Выводы по третьей главе ... 57

ЗАКЛЮЧЕНИЕ ... 60

БИБЛИОГРАФИЧЕСКИЙ СПИСОК ... 62

ПРИЛОЖЕНИЕ 1 ... 67

5 ВВЕДЕНИЕ

Любой процесс в малом диапазоне колебаний всегда линеаризуется. Ко- гда изменения процесса не слишком существенны (процесс работает в локаль- ной окрестности рабочей точки), то он приближенно может быть линеаризо- ван. Модель получается линейной. Локальная линеаризация – стандартный прием теории управления. Глобальная модель невозможна в какой-то форме.

Есть массив данных. На каждом интервале массива данных, который вы- глядит как стационарный, мы можем построить стационарную модель и опре- делить коэффициенты. Коэффициенты модели зависят от области изменения процесса и некоторых возмущающих факторов.

Отсюда – задача. Построить совокупность моделей для различных ин- тервалов изменений и проанализировать численно, как меняются параметры моделей от диапазонов изменений.

Целью данной работы является разработка адаптивных методов прогно- зирования на примере валютного рынка.

Для достижения поставленной цели решаются следующие задачи:

1) построить математическую модель по краткосрочному прогнозирова- нию валютных котировок;

2) применить алгоритм прогнозирования котировок на базе авторегрес- сионых моделей с использованием фильтра Калмана;

3) разработать программный комплекс для построения авторегрессион- ных моделей с целью прогнозирования валютных котировок;

В настоящей работе проведено исследование по изменению котировок валют USD/RUB на валютном рынке. Этот выбор обусловлен несколькими причинами. Во-первых, благодаря развитию информационных технологий, доступ к различным электронным торговым платформам валютных рынков упрощается и ускоряется. В настоящее время в России существуют

6

значительное количество брокерских компаний, которые предоставляют до- ступ к валютному рынку.

Во-вторых, на валютном рынке предоставляется возможность изучить закономерности движения валюты с течением времени.

В то же время анализ литературы показал, что, несмотря на большое ко- личество работ по различным подходам к прогнозированию временных рядов экономических процессов, до сих пор не было универсального инструмента, позволяющего получить качественный прогноз котировок валютных пар.

Таким образом, разработка эффективных методов прогнозирования на валютном рынке является актуальной задачей.

7

1 МЕТОДЫ СТАТИСТИЧЕСКОГО АНАЛИЗА ПРОГНОЗИРОВАНИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ

1.1 Определение временного ряда

Временной ряд (динамический ряд) – это последовательность наблюде- ний, упорядоченных во времени, или по какому-либо другому параметру. При работе с временными рядами наибольший интерес представляет получение с их помощью информации о системе, которая их породила. Если это возможно, то осуществляется прогнозирование дальнейшего изменения величины, значе- ния которой составляют изучаемый временной ряд.

Скалярным временным рядом называют массив из 𝑁 чисел, представля- ющий собой значения некоторой динамической переменной 𝑥(𝑡), взятые с по- стоянным шагом ∆𝑡 по времени, т. е. в моменты 𝑡_𝑖 = 𝑡₀+ + (𝑖 − 1)∆𝑡 ∶ 𝑥_𝑖 = 𝑥(𝑡_𝑖), 𝑖 = 1, … 𝑁 [7]. Такие временные ряды являются основным результатом наблюдений за многими системами, как искусственных, таких, например, как фондовая биржа, так и природных, таких как, климат или природная среда.

Следуя аксиоматике теории вероятностей Колмогорова, будем полагать, что все исследования ведутся на некотором вероятностном пространстве {Ω, 𝐹, 𝑃}: множества элементарных исходов Ω, 𝜎 –алгебры 𝐹 подмножеств про- странства Ω (совокупность событий, наблюдаемых на рынке) и вероятностной меры 𝑃(𝐴), определенной для любого измеримого A ∈ Ω.

Исходное вероятностное пространство (Ω, 𝐹, 𝑃) будем определять, пола- гая, что задан поток 𝔽 = (𝐹_𝑛) _𝑛≥0𝜎 – алгебры таких, что

𝐹₀ ⊆ 𝐹₁ ⊆ ⋯ ⊆ 𝐹_𝑛 ⊆ ⋯ ⊆ 𝐹, (1.1) где 𝐹_𝑛 – совокупность событий, наблюдаемых до момента 𝑛 (включительно).

Если интерпретировать 𝐹_𝑛 как информацию в момент времени 𝑛, то бу- дем полагать, что значения котировок валют складываются от событий, кото- рые наблюдаются на рынке до момента 𝑛 (включительно) [1].

8

Далее приведем способ представления котировок валют, исходя из по- нятия случайной величины и случайного процесса.

Случайной величиной, заданной на рассматриваемом вероятностном пространстве, называется числовая функция 𝑋: Ω → 𝑅, которая ставит в соот- ветствие каждому элементарному исходу 𝜔 ∈ Ω число 𝑋(ω) – значение слу- чайной величины на этом исходе.

Распределением случайной величины 𝑋 называется вероятностная мера 𝑃_𝑥(𝐴) = 𝑃(𝑋(𝜔) ∈ 𝐴) , заданная на 𝜎 – алгебре подмножеств вероятностного пространства.

Случайным процессом называется множество случайных величин {𝑋_𝑡, 𝑡 ∈ 𝑇 ⊂ 𝑅}. Если 𝑇 – дискретное множество, то случайный процесс опре- деляется как процесс с дискретным временем. Если рассматривать 𝑋_𝑡 в пред- ставлении случайной величины 𝜉(𝑡, 𝜔), то в этом случае, при фиксированном значении 𝜔 = 𝜔₀ можно величину 𝑥(𝑡) = 𝜉(𝑡, 𝜔₀) определить как функцию от параметра 𝑡. Значение величины 𝑥(𝑡) при фиксированном времени наблю- дения 𝑡 = 𝑡_k, то 𝑥_k = 𝑥(𝑡_k) определяется как значение случайного процесса.

Временной ряд – это множество значений случайного процесса при фик- сированном времени наблюдения {𝑥_k, 𝑡_k ∈ 𝑇} [3].

В нашем случае будем рассматривать курс американского доллара как случайный процесс𝑋(𝑡) в момент 𝑡 ≥ 0. Пусть 𝑋(𝑡) имеет эргодические свой- ства [3].

Временной ряд 𝑋 = (𝑥_t)_𝑡≥0является гауссовским (нормально распре-де- ленным), если свойство такого ряда полностью определяется двумерным рас- пределением временного ряда, характеризуемыми средними случайного про- цесса 𝑋(𝑡) , его дисперсией и функцией ковариации:

𝜇(𝑡) = 𝐸{𝑥_t}, 𝑉𝑎𝑟(𝑡) = 𝐸 {(𝑥_t – 𝜇 (𝑡))²}, (1.2) 𝑐𝑜𝑣(𝑋_𝑟, 𝑋_𝑆) = 𝐸{(𝑋_𝑟 – 𝜇(𝑟))(𝑋_𝑆 – 𝜇 (𝑠))}. (1.3)

Рассмотрим случайные величины X

( )

( )

9

Тогда, (1.4) является функцией распределения.

𝐹₂(𝑥₁, 𝑡₁; 𝑥₂, 𝑡₂) = 𝑃{𝑋(𝑡₁) < 𝑥₁; 𝑋(𝑡₂) < 𝑥₂}. (1.4) А если существуют частные производные по 𝑥₁ и 𝑥₂ функции 𝐹₂(𝑥₁, 𝑡₁; 𝑥₂, 𝑡₂), то

𝑓₂(𝑥₁, 𝑡₁; 𝑥₂, 𝑡₂) = 𝜕²𝐹₂(𝑥₁, 𝑡₁; 𝑥₂, 𝑡₂)

𝜕𝑥₁𝑥₂ , (1.5)

и функцию 𝑓₂(𝑥₁, 𝑡₁; 𝑥₂, 𝑡₂) обычно определяют как двумерную плотность ве- роятности.

1.2 Проблемы прогнозирования

Проблема эффективности прогнозной модели является одной из важней- ших задач для любого субъекта экономического процесса. Это особенно важно для участников валютного рынка. Валютный рынок – это организованный ры- нок, который функционирует регулярно и на котором совершаются «операции покупки и продажи валют на определенных условиях (сумма, обменный курс, период) с датой валютирования» между участниками [21].

Обменный курс отражает соотношение, в котором одну валюту можно обменять на другую. Из теории паритета покупательной способности следует, что в долгосрочной перспективе обменные курсы сходятся к так называемому равновесному уровню. Одна из проблем заключается в том, что фактические котировки национальных валют на валютном рынке во многом «определяются намерениями участников рынка. Успешные трейдеры создают сеть друзей и знакомых, которые информируют их о состоянии курсов валют, «приобре- тают» экспертов и даже практические «места» для временных переводов.

Скрытая торговля этой информацией также важна для оператора, как и откры- тая торговля валютой. Информация часто может быть предоставлена людьми, с которыми они никогда не встречались. Это означает, что баланс формируется при активном участии игроков рынка, действующих в условиях неопределенности и активно формирующих ситуацию» [7, 11].

10

Понятно, что фактический объем валютных операций зависит от опре- деленных случайных факторов, включая субъективные предпочтения каждого субъекта. Сами по себе эти субъективные предпочтения конкретизируются ре- альным поведением брокеров. Информация о функции в виде набора стати- стических данных явно неполна, поскольку отражает ситуацию предыдущего периода времени. Существуют разные способы выявления зависимости реаль- ных транзакций от факторов. Эти методы носят в основном эвристический ха- рактер. Поэтому мы сталкиваемся с ситуацией неопределенности на валютном рынке.

1.3 Определение метода и модели прогнозирования

Метод прогнозирования – это последовательность действий, выполняе- мые с целью получения модели прогнозирования.

Модель прогнозирования – это функциональное представление, описы- вающее исследуемый процесс адекватно и которое является основой для по- лучения его будущих значений.

1.4 Классификация методов прогнозирования

На первом этапе классификации методов прогнозирования их делят на 2 группы: интуитивные и формализованные методы. Формализованные методы имеют дело с математическими моделями, а интуитивные – с суждениями.

Формализованные методы основываются на математической теории, ко- торая обеспечивает достоверность и точность прогнозов, сокращает время их выполнения и облегчает обработку информации и анализ результатов.

Интуитивные методы применяются в том случае, когда информация чис- ленного характера об объекте прогнозирования носит в основном качествен- ный характер и влияние факторов невозможно описать математически или же отсутствует вовсе.

11

Формализованные методы делятся на модели предметной области и мо- дели временных рядов. Модели временных рядов ищут взаимодействия и за- висимости внутри самого процесса, а модели предметной области связаны с термодинамикой, механикой, фундаментальным анализом и т. д.

Модели предметной области — это такие модели прогнозирования, ко- торые используют для построения прогноза лишь те законы области, для ко- торой строится прогноз. Например, модель, на которой делают прогноз по- годы, содержит уравнения термодинамики и динамики жидкостей.

Модели временных рядов представляют собой математические модели прогнозирования, стремящиеся найти зависимость будущей ценности от про- шлого в самом процессе и использовать эту зависимость для расчета прогноза.

Эти модели универсальны для разных предметных областей, то есть их общий внешний вид не изменяется в зависимости от характера временных рядов.

Далее временные ряды делятся на статистические и структурные мо- дели.

В статистических моделях зависимость будущего значения от прошлого в виде уравнения. К таким моделям относятся.

1. Авторегрессионные модели (ARMA, ARIMA, GARCH, ARDLM).

2. Регрессионные модели (линейная регрессия, нелинейная регрессия).

3. Модель экспоненциального сглаживания.

4. Модель по выборке максимального подобия.

Их достоинства: простота, прозрачность моделирования; единообразие анализа и проектирования; множество примеров применения. Недостатки: не- возможность моделирования нелинейностей; низкая адаптивность.

В структурных моделях зависимость будущего значения от прошлого за- даётся в виде правил перехода по ней. К ним относится.

1. Нейросетевые модели.

2. Модели на базе цепей Маркова.

3. Модели на базе классификационно-регрессионных деревьев.

12

Их достоинства: нелинейность моделей; масштабируемость. Недо- статки: отсутствие прозрачности; сложность выбора архитектуры; жесткие требования к обучающей выборке; сложность выбора алгоритма обучения; ре- сурсоемкость процесса обучения; невозможность моделирования процессов с длинной памятью; узкая применимость моделей.

1.5 Методы прогноза временных рядов

Методы прогноза делятся на два типа: непараметрические и параметри- ческие. Непараметрические методы обычно используют, когда очень сложно подобрать адекватную модель изучаемого процесса. В этом случае единствен- ным способом описания процесса является выражение следующих по времени значений ряда через предыдущие: 𝑧_𝑛+1 = 𝐹(𝑧_𝑛, … , 𝑧₁). Часто при таком описа- нии функцию 𝐹(𝑧_𝑛, … , 𝑧₁) полагают линейной.

В параметрическом методе рассматривается временной ряд как гладкая функцию от 𝑡: 𝑋_𝑡 = 𝑓(𝑡), 𝑡 = 1, … , 𝑛. При этом в начале выделяют один или не- сколько допустимых типов функции 𝑓(𝑡), затем различными методами (напри- мер, методом максимального правдоподобия) оцениваются параметры этих функций [2].

В непараметрическом методе используются различные способы сглажи- вания исходного временного ряда – скользящей средней (простая, экспонен- циальная, взвешенная). Эти методы используются как для оценки тренда, так и для прогнозирования. Они полезны в случае, когда невозможно найти под- ходящую функцию для оценки параметров.

1.6 Примеры случайных процессов 1.6.1 Винеровский процесс

Иногда такой процесс называют «броуновское движение».

13

Одной из простой модели колебаний валютных котировок является

«броуновское движение». В такой модели утверждается непрерывность цен и то, что, их последовательные изменения суть независимые гауссовские слу- чайные величины, т. е. валютный рынок не обладает памятью, он восприни- мает вновь поступившую информацию и сразу же забывает о прошлых собы- тиях» [2].

Пусть 𝑇 = [0, +∞). Этот процесс характеризуется следующими свой- ствами.

1. Пусть 𝑡₀ < 𝑡₁ < . . . < 𝑡_𝑛, 𝑡_𝑖𝜖𝑇.

Тогда приращения 𝑋_𝑡1 − 𝑋_𝑡0, … , 𝑋_𝑡𝑛 − 𝑋_𝑡𝑛−1 независимые в совокупности случайные величины. То есть случайный процесс является процессом с неза- висимыми приращениями.

2. Распределение вероятностей случайных величин 𝑋_𝑡 − 𝑋_𝑠,если 𝑡 > 𝑠,зависит только от t– s (и не зависит, например, от s) и при 𝑥 ∈ 𝑅

𝑃(𝑋_𝑡− 𝑋_𝑠 ≤ 𝑥) = ¹

√2𝜋(𝑡−𝑠)∫^𝑥 exp[−_{2(𝑡−𝑠)}^𝑢2 ] 𝑑𝑢

−∞ , (1.6)

т. е. случайная величина 𝑋_𝑡 − 𝑋_𝑠~𝑁(0, √𝑡 − 𝑠).

1.6.2 Мартингалы

Случайный процесс 𝑋_𝑡 называется мартингалом, если для любых 𝑡₁ < 𝑡₂ < . . . < 𝑡_𝑛 < 𝑡 справедливо условие:

𝐸(𝑋_𝑡|𝑋_𝑡1 = 𝑎₁, … , 𝑋_𝑡𝑛 = 𝑎_𝑛) = 𝑎_𝑛. (1.7) 1.6.3 Марковские случайные процессы

Случайный процесс 𝑋_𝑡 называется марковским, если для любых 𝑡₁ < 𝑡₂ < . . . < 𝑡_𝑛 < 𝑡 и для любых 𝑎 < 𝑏 справедливо условие

𝑃 (𝑎 < 𝑋𝑡 ≤ 𝑏 |𝑋_𝑡1 = 𝑎₁, … , 𝑋_𝑡𝑛 = 𝑎_𝑛) = 𝑃 (𝑎 < 𝑋_𝑡 ≤ 𝑏 |𝑋_𝑡𝑛 = 𝑎_𝑛). (1.8) Винеровский процесс является марковским.

14 1.6.4 Процесс дискретного белого шума

Пусть 𝑇 = [0, +∞). Последовательность случайных величин {𝜀_𝑡} назы- вается процессом белого шума, если выполнены следующие условия.

Для всех 𝑡:

𝐸(𝜀_𝑡) = 0, (1.9)

𝐸(𝜀_𝑡²) = 𝜎², (1.10)

где 𝜎 > 0 – некоторое число (одно и то же для всех 𝑡), и для всех t и s ≠ 0 𝐸(𝜀_𝑡𝜀_𝑡−𝑠) = 0.

1.6.5 Процесс случайного блуждания

Пусть 𝑇 = [0, +∞). Последовательность случайных величин {y_t} назы- вается процессом случайного блуждания, если при всех 𝑡 ∈ 𝑇 выполняется соотношение

𝑦_𝑡+1 = 𝑦_𝑡 + 𝜀_𝑡+1, (1.11)

где {𝜀_𝑡} – процесс дискретного белого шума, а 𝑦₀ – некоторое заданное значе- ние.

1.7 Понятие стационарности случайного процесса

Случайные процессы в зависимости от статистических характеристик с течением времени, подразделяются на стационарные и нестационарные. Рас- сматривают 2 вида стационарности: строгая стационарность и слабая стацио- нарность.

Случайный процесс является стационарным в узком смысле (строго ста- ционарным) [22] при следующих условиях:

𝐹_𝑛(𝑥, 𝑡) = 𝐹_𝑛(𝑥, 𝑡 + 𝑠)∀𝑛 = 1,2, … , ∀𝑥 ∈ 𝑅^𝑛 ∀𝑡 ∈ 𝑇^𝑛, ∀𝑠 =

= (𝑠, 𝑠, … , 𝑠)𝑠 ∈ 𝑇. (1.12)

Таким образом, для стационарного случайного процесса в узком смысле:

1) математическое ожидание не зависит от времени;

2) дисперсия не зависит от времени;

15

3) автокорреляционные и автоковариационная функции зависят только от сдвига.

Случайный процесс называется стационарным в широком смысле» (сла- бостационарным) [22] при следующих условиях:

1) 𝐸{|𝑋_𝑡|²} < +∞ ∀ 𝑡 ∈ 𝑇;

2) 𝐸{𝑋_𝑡} = 𝑚 ∀𝑡 ∈ T;

3) c𝑜𝑣{𝑋_𝑟, 𝑋_𝑠} = 𝑐𝑜𝑣{𝑋_𝑟+𝑡, 𝑋_𝑠+𝑡} ∀ 𝑟 ∈ 𝑇, 𝑠 ∈ 𝑇, 𝑡 ∈ 𝑇.

1.8 Стационарные процессы авторегрессии – скользящего среднего 1.8.1 Разложение Вольда

Пусть 𝑇 ⊂ 𝑅 и 𝑇 состоит из конечного числа элементов: 𝑇 =

= {0, 1, 2, … , 𝑇}. Пусть каждому 𝑡 ∈ 𝑇 поставлено в соответствие число 𝑥_𝑡, и пусть 𝑥_𝑡–случайный процесс, который определен на действительной прямой 𝑅 или в комплексной плоскости 𝐶. Такой набор чисел {𝑥_𝑡}_𝑡=0^𝑇 называется вре- менным рядом.

Модель, нужная для прогнозирования, интерпретации и проверки гипо- тез, которая строится для данного временного ряда, – это случайный процесс 𝑋_𝑡, где 𝑡 принадлежит некоторому, возможно, большему множеству 𝑇. Если такая модель построена, то временной ряд рассматривается, как реализация (траектория) данного случайного процесса.

Для слабостационарного процесса {𝑋_𝑡} Вольд представил следующий фундаментальный результат, который известен в литературе как декомпози- ция или теорема Вольда (Wold decomposition) [1]. Вольд смог доказать, что чисто недетерминированный стационарный в широком смысле случайный процесс может быть представлен в следующем виде:

𝑋_𝑡 = ∑^∝_𝜏=0𝑐_𝜏 ∙ 𝜀_𝑡−𝜏 + 𝑉_𝑡, (1.13) где {𝜀_𝑡} – белый шум с конечными математическим ожиданием и дисперсией,

𝑉_𝑡– детерминистический процесс.

16

То есть всякий слабостационарный процесс представляется в виде ли- нейной комбинации белых шумов, с разными весовыми коэффициентами. Так как это выражение линейное, его часто называют линейным фильтром.

Если 𝑉_𝑡 = 0 для всех 𝑡, процесс {𝑋_𝑡} называется чисто недетерминисти- ческим.

Для того чтобы это выражение имело смысл, надо потребовать выпол- нения условия сходимости, причем сходимости по вероятности, потому что суммируются случайные величины: ∑^∞_𝑖=0|𝑐_𝑖|< +∞ .

В нашем случае можно использовать частные случаи разложения Вольда, когда число слагаемых конечно.

1.8.2 Процесс скользящего среднего (МА)

Определение (МА). Процесс {𝑋_𝑡} называется процессом скользящего среднего порядка q (MA(q)), если

𝑋_𝑡 = ∑^𝑞_𝜏=0𝛽_𝜏𝜀_𝑡−𝜏, (1.14) и {𝜀_𝑡} является белым шумом.

Это означает, что 𝑐_𝒊 до 𝑖 = 𝑞 включительно равны 𝛽_𝒊, а остальные 𝑐_𝒊 равны нулю.

Расширение до бесконечности порядка в формуле (1.16) обозначается 𝑀𝐴(∞). Разложение Вольда показывает, что любой слабостационарный про- цесс с нулевым средним и абсолютно суммируемыми автоковариациями мо- жет быть представлен в форме 𝑀𝐴(∞).

Выражение для ковариационной функции процесса 𝑀𝐴(𝑞), принимает вид: 𝐶𝑜𝑣(𝑋_𝑡, 𝑋_𝑡+𝜏) = γ (τ) = 𝜎_𝜀²∑^𝑞−𝜏_𝑖=0 𝛽_𝑖𝛽_𝑖+𝜏, где 𝜏 ≤ 𝑞,a 𝜎_𝜀² = 𝑉𝑎𝑟(𝜀_𝑡).

Другими словами, между значениями временного ряда, достаточно да- леко отстоящими друг от друга, отсутствует корреляционная связь. Из полу- ченных выражений для ковариаций и дисперсии непосредственно следует вы- ражение для автокорреляционной функции: 𝜌(𝜏) = _𝛾(0)^𝛾(𝜏).

17

Определим оператор сдвига 𝐿𝑋_𝑡 = 𝑋_𝑡–1, то есть действие оператора сдвига на временной ряд дает значение временного ряда в предыдущий мо- мент времени. Последовательное применение оператора сдвига 𝑝 раз дает зна- чение временного ряда в момент времени на p периодов ранее, что позволяет ввести степень оператора сдвига: 𝐿^𝑝𝑋_𝑡 = 𝐿(𝐿(𝐿. . . . ))𝑋_𝑡 = 𝑋_𝑡–𝑝.

С помощью этого оператора можно записать процесс скользящего сред- него следующим образом:

𝑋_𝑡 = (1𝐿 ⁰+ 𝛽₁𝐿 + 𝛽₂𝐿² + ⋯ + 𝛽_q𝐿^𝑞) ∙ 𝜀_𝑡 = (1 + 𝛽₁𝐿 + 𝛽₂𝐿² +

+ ⋯ + 𝛽_q𝐿^𝑞) ∙ 𝜀_𝑡 = 𝛽_q(𝐿)𝜀_𝑡, (1.15) где 𝛽_q(𝐿) – операторный полином.

Из основной теоремы алгебры, которую связывают с именем Гаусса, любой операторный многочлен можно представить в виде:

(1 + 𝛽₁𝐿 + 𝛽₂𝐿²+ ⋯ + 𝛽_q𝐿^𝑞) = 𝛽_𝑞∏^𝑞_𝑖=1(𝐿 − 𝑍_𝑖), (1.16) где 𝑍_𝑖 – корни уравнения 1 + 𝛽₁𝐿 + 𝛽₂𝐿² + ⋯ + 𝛽_q𝐿^𝑞 = 0.

Для операторного многочлена 𝜑(𝐿), действующего на некоторый про- цесс 𝑋_𝑡, определим обратный оператор таким образом, что для 𝜑(𝐿) 𝑋_𝑡 = 𝑌_𝑡 действие на 𝑌_𝑡 обратного оператора должно дать 𝑋_𝑡.

[𝜑(𝐿)]⁻¹𝑌_𝑡 = 𝑋_𝑡 = [𝜑(𝐿)⁻¹𝜑(𝐿)]𝑋_𝑡. (1.17) Разложив полином в MA(q) представлении на множители, получим

𝑋_𝑡 = 𝛽_𝑞∏^𝑞_𝑖=1(𝐿 − 𝑍_𝑖)𝜀_𝑡, 𝜑(𝐿)𝑋_𝑡 = ε_t. (1.18) Для того, чтобы использовать условия обратимости линейного опера- тора, удобнее использовать корни характеристического уравнения с принятой в теории разностных линейных уравнений с постоянными коэффициентами.

Обозначим их через 𝜋_𝑖.

Условием обратимости процесса МА называется – когда все корни по модулю |𝜋_𝑖| < 1, при этом выражение для 𝜀_𝑡 будет бесконечным, но сходя- щимся операторным полиномом, действующим на 𝑋_𝑡. Это значит, что 𝜀_𝑡 будет выражено через уходящие в бесконечно далекое прошлое значения 𝑋.

18

Применим способ записи характеристического уравнения.

После преобразования процесс скользящего среднего принимает следу- ющий вид: (α₀ + α₀𝐿 + α₀𝐿² + ⋯ )𝑋_𝑡 = 𝜀_𝑡. Если выразить 𝑋_𝑡 через все его предыдущие значения и 𝜀_𝑡 и для нормировки разделить на 𝛼₀, то получается эквивалентное представление:

𝑋_𝑡 = −^𝛼_𝛼¹

0 𝑋_𝑡−1 −…−^𝛼_𝛼^𝑘

0 𝑋_𝑡−𝑘 −…+ ¹

𝛼₀𝜀_𝑡. (1.19) Тот же самый процесс MA(q) представлен таким образом, что текущее значение 𝑋_𝑡 выражено через текущее значение 𝜀_𝑡, а вместо 𝑞 предыдущих зна- чений ε появляется бесконечный ряд прошлых значений 𝑋_𝑡−𝑘.

Следует обратить внимание, что процесс 𝑋_𝑡 по построению является ста- ционарным случайным процессом. Обобщая это представление, переходим к рассмотрению нового класса процессов, которые при некоторых условиях мо- гут быть стационарными, а именно к процессам авторегрессии.

1.8.3 Процесс авторегрессии (AR (p))

Процесс {𝑋_𝑡} называется процессом авторегрессии (autoregression) по- рядка р, и его общее уравнение имеет вид:

𝑋_𝑡 = 𝜑₁ 𝑋_𝑡−1 + 𝜑₂ 𝑋_𝑡−2 +…+𝜑_𝑝 𝑋_𝑡−𝑝 + 𝜀_𝑡, (1.20) где 𝜀_𝑡 – белый шум.

Основная предпосылка построения авторегрессионных моделей заклю- чается в использовании одного из важнейших свойств временных рядов фи- нансовых процессов, а именно – взаимозависимости уровней одного и того же ряда друг от друга. Информационная ценность наблюдений определяется не их близостью к моделируемому уровню, а теснотой связи между ними. Если текущее значение уровня зависит от 𝑝 предыдущих значений, то имеем авто- регрессионный процесс порядка 𝑝, который будем обозначать А𝑅(𝑝) [11].

Используя лаговый оператор 𝐿, модель 𝐴𝑅(𝑝) можно записать:

𝜑(𝐿) = 𝜀_𝑡, (1.21)

где лаговый многочлен 𝜑(𝐿) = 1 − 𝜑₁𝐿 − 𝜑₂𝐿²− ⋯ − 𝜑_𝑝𝐿^𝑝.

19

Так как любой многочлен степени 𝑝 с действительными коэффициен- тами имеет 𝑝 комплексных корней, то для операторного многочлена вида (1 − 𝜑₁𝐿 − 𝜑₂𝐿²− ⋯ − 𝜑_𝑝𝐿^𝑝) можно определить характеристический многочлен:

𝜑(𝑧) = 1 − 𝜑₁𝑧 − 𝜑₂𝑧²− ⋯ − 𝜑_𝑝𝑧^𝑝 = 1 − ∑^𝑝_𝑗=1𝜑_𝑗𝑧^𝑗, (1.22) и связанное с ним характеристическое уравнение

1 − 𝜑₁𝑧 − 𝜑₂𝑧²− ⋯ − 𝜑_𝑝𝑧^𝑝 = 0, (1.23) где 𝑧 – комплексное число.

Какие корни имеет характеристическое уравнение, зависят свойства про- цесса авторегрессии. Для выполнения условия стационарности процесса необ- ходимо и достаточно, чтобы все комплексные корни характеристического уравнения



1.9 Оценивание параметров моделей ARMA

Одной из задач при статистическом исследовании процессов AR(p) и MA(q) является задача оценивания коэффициентов 𝛼_𝑖, . . . , 𝛼_𝑝, 𝛽_𝑖, . . . , 𝛽_𝑞 и дис- персии 𝑉𝑎𝑟 = 𝐸{ε_t²} по наблюдениям 𝑥_𝐼, . . . , 𝑥_𝑁 за процессом {𝑋_𝑡}. Рассмотрим несколько методов оценивания.

1.9.1 Метод наименьших квадратов Пусть {𝑋_𝑡} процесс АR(p)

𝑋_𝑡 = 𝛼₁ 𝑋_𝑡−1+ 𝛼₂ 𝑋_𝑡−2+…+𝛼_𝑝 𝑋_𝑡−𝑝 + 𝜀_𝑡 , (1.24) где {𝜀_𝑡} – последовательность независимых одинаково распределенных слу- чайных величин с нулевым средним и дисперсией 𝜎². Обозначим

(𝑥̃_𝑡 = 𝑥_𝑡, 𝑥_{𝑡−1 ,…}𝑥_{𝑡−𝑝+1})^∗, 𝑡 = 𝑝 + 1, … , 𝑁, 𝛼 = (𝛼₁, … , 𝛼_𝑝)^∗ (1.25) В этом случае уравнение (1.24) примет вид

𝑥_𝑡 = 𝑎^∗𝑥̃ _𝑡−1 + 𝜀_𝑡, 𝑡 = 𝑝 + 1, … , 𝑁 . (1.26) Оценки МНК получаются в результате решения задачи

20

∑ (𝑥_𝑡 − 𝑎^∗𝑥̃ _𝑡−1)²

𝑁

𝑡=𝑝+1

→ min_{𝛼1,…,𝛼𝑝}. (1.27)

Оценки коэффициентов 𝛼₁, . . . , 𝛼_𝑝 и дисперсии σ² определяются соотно- шениями:

â(𝑁) = ( ∑ x̃_𝑡−1𝑥̃_𝑡−1^∗

𝑁

𝑡=𝑝+1

)

−1

∑^𝑁 x̃_𝑡−1𝑥_𝑡

𝑡=𝑝+1

, (1.28)

𝜎̂²(𝑁) = ∑ (𝑥_𝑡− 𝑎̂^∗(𝑁)x̃_𝑡−1)²/(𝑁 − 𝑝 − 2)

𝑁

𝑡=𝑝+1

. (1.29)

Найти МНК – оценки можно также с помощью рекуррентных соотноше- ний, которые, с одной стороны, упрощают вычислительную процедуру (1.28), а с другой — позволяют пересчитывать оценки по мере поступления данных (в реальном масштабе времени). Оценка 𝑎̂ на 𝑡 + 1 шаге вычисляется следу- ющим образом:

a ̂(𝑡 + 1) = 𝑎̂(t) − 𝑃(𝑡)𝑥̃_𝑡 𝐿_𝑡(𝑥_𝑡+1 − 𝑎̂^∗(𝑡)𝑥̃_𝑡, (1.30) 𝑃(𝑡 + 1) = 𝑃(𝑡) − 𝑃(𝑡)𝑥̃_𝑡+1 𝐿_𝑡+1𝑥̃_𝑡+1^∗ 𝑃(𝑡), (1.31) 𝐿_𝑡+1 = (1 + 𝑥̃_𝑡+1^∗ 𝑃(𝑡)𝑥̃_𝑡+1 )⁻¹. (1.32) Процедура является полностью определенной, если заданы начальные значения â(𝑝), 𝑃(𝑝).

1.9.2 Метод наибольшего правдоподобия

Рассматривается известная задача оценивания параметров линейно-дис- кретных систем в предположении нормальности распределений входного воз- мущения и ошибок измерения в канале наблюдения в виде дискретного белого шума.

𝑥_𝑛+1 = 𝐴(𝑝) ∗ 𝑋_𝑛+ 𝐵(𝑝) ∗ 𝑉_𝑛, (1.33) 𝑌_𝑛 = 𝐻(𝑝) ∗ 𝑋_𝑛 + 𝜀_𝑛 . (1.34) Здесь 𝑥_𝑛 – вектор состояния, 𝑉_𝑛 – возмущение с нулевым математиче- ским ожиданием и единичной дисперсией, 𝑌_𝑛 – наблюдаемый выход, для

21

упрощения предполагаемый скалярным, 𝜀_𝑛 – ошибки измерения с нулевым математическим ожиданием и дисперсией σ², p – неизвестные параметры объ- екта, подлежащие оцениванию.

Параметры вероятностных распределений могут считаться неизвест- ными. В этом случае эти параметры подлежат оцениванию наряду с прочими.

То же замечание относится и порядку модели. Начальное состояние 𝑋₀пред- полагается также распределенным нормально с математическим ожиданием 𝑚₀ иматрицейковариации𝐷₀.

Задача решается методом непосредственной численной максимизации функции правдоподобия – плотности вероятности 𝑓(𝑌₀ , 𝑌₁, … 𝑌_𝑁/𝑝) наблюда- емой реализации выходной последовательности по совокупности оценивае- мых параметров, поскольку аналитическое решение этой задачи максимиза- ции нереализуемо даже в самых простейших случаях.

Плотность вероятности наблюдаемой реализации распадается на произ- ведение условных плотностей вероятностей текущего выхода при известных предшествующих выходах.

𝑓(𝑌₀, 𝑌₁, … 𝑌_𝑁/𝑝) =

= 𝑓(𝑌₀/𝑝)

𝑓(𝑌₁/𝑌₀, 𝑝)∗ 𝑓(𝑌₂/𝑌₀, 𝑌₁, 𝑝) ∗ … ∗ 𝑓(𝑌_𝑁/𝑌₀, 𝑌₁, … 𝑌_𝑁 − 1, 𝑝). (1.35) Для вычисления условных плотностей выходов строятся условные плот- ности распределения вероятностей векторов состояний относительно предше- ствующих наблюдений. Эта задача решается использованием уравнений филь- тра Калмана. Как известно, апостериорная плотность вероятности 𝑓(𝑋_𝑛/ 𝑌₀ , 𝑌₁, … 𝑌_𝑛−1/ 𝑝) нормальна.

Пусть

𝑀(𝑋_𝑛/𝑌₀ , 𝑌₁, … 𝑌_𝑛−1, 𝑝) = 𝑚_𝑛, 𝑐𝑜𝑣(𝑋_𝑛/𝑌₀ , 𝑌₁, … 𝑌_𝑛−1, 𝑝) = 𝐷_𝑛.

(1.36) Тогда

22

𝑀(𝑌_𝑛/𝑌₀ , 𝑌₁, … 𝑌_𝑛−1, 𝑝) = 𝐻(𝑝) ∗ 𝑚_𝑛,

𝑐𝑜𝑣(𝑌_𝑛/𝑌₀ , 𝑌₁, … 𝑌_𝑛−1, 𝑝) = 𝐻(𝑝) ∗ 𝐷_𝑛∗ 𝐻(𝑝)^𝑇 + 𝜎² (1.37) и

𝑓(𝑌_𝑛/𝑌₀ , 𝑌₁, … 𝑌_𝑛−1, 𝑝) =

= (2 ∗ 𝜋 ∗ ( 𝐻(𝑝) ∗ 𝐷_𝑛 ∗ 𝐻(𝑝)^𝑇 + 𝜎²)) − 0.5 ∗ 𝑒𝑥𝑝(−0.5 ∗

∗ (𝑌_𝑛 − 𝐻(𝑝) ∗ 𝑚_𝑛)²/( 𝐻(𝑝) ∗ 𝐷_𝑛 ∗ 𝐻(𝑝)^𝑇 + 𝜎²).

(1.38) Функция правдоподобия наблюдаемой реализации вычисляется как

𝑓(𝑌₀, 𝑌₁, … 𝑌_𝑁/𝑝) =

= ∏(2 ∗ 𝜋 ∗ (𝐻(𝑝) ∗ 𝐷_𝑛 ∗ 𝐻(𝑝)^𝑇 + 𝜎² ))^−0.5

𝑁

𝑛=0

∗

∗ 𝑒𝑥𝑝(−0.5 ∗ (𝑌_𝑛− 𝐻(𝑝) ∗ 𝑚_𝑛)²/( 𝐻(𝑝) ∗ 𝐷_𝑛∗ 𝐻(𝑝)^𝑇 + 𝜎² ).

(1.39)

Рекуррентные соотношения для вычисления 𝑚_𝑛, 𝐷_𝑛 имеют вид:

𝑚_𝑛+1 = 𝐴(𝑝) ∗ (𝑚_𝑛 + 𝐷_𝑛∗ 𝐻(𝑝)^𝑇 ∗ ( 𝑌_𝑛 − 𝐻(𝑝) ∗ 𝑚_𝑛)/ ( 𝐻(𝑝) ∗ 𝐷_𝑛 ∗

∗ 𝐻(𝑝)^𝑇 + 𝜎² )), (1.40)

𝐷_𝑛+1 = 𝐴(𝑝) ∗ ( 𝐷_𝑛 − 𝐷_𝑛∗ 𝐻(𝑝)^𝑇 ∗ 𝐻(𝑝) ∗ 𝐷_𝑛 /( 𝐻(𝑝) ∗ 𝐷_𝑛∗ 𝐻(𝑝)^𝑇 +

+ 𝜎² )) ∗ 𝐴(𝑝)^𝑇 + 𝐵(𝑝) ∗ 𝐵(𝑝)^𝑇. (1.41) Максимизация выражения по неизвестным параметрам р и дает решение поставленной задачи. В качестве начального значения р0 для процедуры мак- симизации функции правдоподобия целесообразно выбирать оценки неизвест- ных параметров, полученные более простыми методами, например, методом наименьших квадратов. Предлагаемый подход дает возможность построить эффективные оценки параметров, что и было подтверждено численными экс- периментами. Функция правдоподобия требует для вычисления существен- ных вычислительных ресурсов, поэтому использование предлагаемых алго- ритмов в быстродействующих системах реального времени нецелесообразно, по крайней мере при современном уровне вычислительной техники.