И ГИДРОСФЕРЫ: ВОЗМОЖНОСТИ И ПРОБЛЕМЫ
Игнатов А.В., Чекмарев А.А.
Институт географии им. В.Б. Сочавы СО РАН, Иркутск, Россия E-mail: ignatov@irigs.irk .ru, cvv32@yandex.ru
В настоящее время сохраняется практическая потребность в уточнении прогнозов гидрометеоро- логических характеристик с заблаговременностью от месяца до года или до нескольких лет. Мы пытаем- ся внести свой вклад в решение этой проблемы на пути построения стохастической модели, описываю- щей совместную динамику избранной группы переменных, характеризующих состояние атмосферы и гидросферы Земли с разрешением по времени от месяца до года. При постановке задачи предполагается, что такая динамика формируется в планетарном масштабе при возможном влиянии на нее ряда космиче- ских факторов. Для построения подобных моделей обычно используются временные ряды достаточно большой группы характеристик, различающихся между собой физическим смыслом, географической привязкой и пространственным осреднением. Характеристики подбираются с учетомналичия доступных данных об их динамике в прошлом, практической значимости прогнозных оценок выбираемых перемен- ных, ожидания более четкого проявления физических закономерностей во взаимосвязях между ними.
Значения таких характеристик задаются с одинаковым шагом по времени на всем периоде, по которому имеются данные об их изменчивости. Решение задачи моделирования ищется в форме системы стоха- стических соотношений между выбранными переменными. Значения переменных в таких соотношениях могут быть сдвинуты относительно друг друга по времени. Каждое из соотношений, включаемых в си- стему, не должно противоречить имеющимся сведениям о временной динамике соответствующих харак- теристик.
В нашем случае необходимые материалы для задачи моделирования были взяты, в основном, из доступных через Интернет источников сведений о временной динамике характеристик атмосферы и гид- росферы. Отдельные данные были получены от других исследователей в рамках научного сотрудниче- ства. Общее количество избираемых характеристик мы ограничили числом 1000. Значения переменных были заданы с годовым шагом по времени. Для решения задачи была разработана специализированная технология, реализованная в пакете программ «Стохастическое моделирование»
(www.irigs.irk.ru/work.html). Использование данного пакета предоставляет разработчикам моделей сле- дующие основные возможности:
• формировать по желанию пользователей пакета произвольный список переменных моде-
• ли;непосредственно использовать в задаче моделирования реальные данные (ряды разной длины, с пропусками внутри рядов и разной точностью имеющихся оценок) о значениях переменных;
• формировать различные процедуры подбора наиболее подходящих предикторов для про- гнозируемых переменных;
• применять набор стандартизованных операторов регрессии, аппроксимирующих модели- руемые зависимости от произвольного числа аргументов;
• формировать при необходимости операторы с оригинальной математической структурой для моделирования отдельных специфических взаимосвязей между переменными;
• использовать различные средства контроля и учета надежности разрабатываемых моде- лей;
• организовать параллельную работу исследователей по поиску и моделированию частных закономерностей;
• формировать общую модель совместной динамики как систему частных стохастических соотношений прогностического и диагностического характера между отдельными груп- пами переменных;
• использовать построенные модели (как частные, так и совместной динамики) для прогно- стических расчетов.
• Опыт работы по построению модели совместной динамики избранных переменных поз- воляет назвать также проблемы, возникающие в процессе ее выполнения. В качестве главных проблем можно выделить:
• слабость прогностических стохастических связей между гидрометеорологическими пере- менными, заданными с годовым шагом по времени;
• большая априорная неопределенность в выборе оптимальных моделей;
• наличие значительного количества существенных ошибок в доступных для использования данных;
• чувствительность процедур выбора наиболее подходящих предикторов и операторов к со- держанию используемых данных;
• потребность в существенных вычислительных ресурсах, требуемых для автоматизирован- ного отбора лучших по статистическим критериям моделей, на больших массивах данных;
• необходимость, как правило, экспертного контроля результатов автоматизированного мо- делирования;
• недостаточное количество экспертов, обладающих одновременно достаточно глубокими знаниями, как в технологии моделирования, таки в предметной области исследования.
Прокомментируем перечисленные возможности.
Формирование абсолютно произвольного списка переменных модели допустимо только для чисто эмпирического подхода к моделированию. В реальных же ситуациях произвольность списка ограничива- ется разработчиком модели, исходя из его экспертных представлений о важности выбираемых перемен- ных для решаемой задачи и ожидания их статистической связности. Однако использование стохастиче- ского аппарата моделирования позволяет заменять причинно зависимые переменные на их индикаторы.
Наблюдаемая сила статистической взаимосвязи между индикаторами обычно меньше, чем между при- чинно связанными переменными, но такая замена значительно облегчает подбор эмпирических данных для разрабатываемой модели.
Применяемые в пакете алгоритмы моделирования используют сведения об оценке значения пере- менной и о нормативной ошибке такой оценки для каждого значения всех переменных. При отсутствии сведений об ошибке, оценка значения полагается точной. При отсутствии значения оценка ошибки зада- ется, исходя из наблюдаемого размаха изменчивости имеющихся оценок значений переменной. Такой подход позволяет использовать в задаче моделирования реальные временные ряды, имеющие различную длину, пропуски внутри рядов и оценки значений одной и той же переменной, заданные с разной точно- стью.
Программа «Стохастической моделирование» предоставляет пользователю возможность форми- ровать гипотезы о вероятных предикторах для выбранной зависимой переменной с разным объемом про- веряемых за одно задание комбинаций (от одной до многих тысяч). Параметры постановки задачи поиска наиболее подходящей комбинации определяют содержание процедуры, с помощью которой будет ре- шаться эта задача. Для каждой постановки задачи такая процедура формируется индивидуально на осно- ве стандартных алгоритмов, выполняемых в некоторой их нестандартной последовательности.
Применяемый набор стандартизованных операторов позволяет осуществлять гладкую (с ненуле- выми производными по аргументам до 2-го порядка) аппроксимацию искомых регрессионных зависимо-
стей от произвольного числа аргументов. Операторы, использующие численные локальные оценки таких производных, способны адаптироваться к произвольному виду зависимости аппроксимируемых регрес- сий от аргументов стохастической функции. Для избранных задач в инструментарий программы могут быть включены операторы с оригинальной математической структурой для моделирования отдельных специфических взаимосвязей между переменными.
Важным параметром регрессионной модели, пусть даже удачно аппроксимирующей прошлые данные, является вероятность правомерности ее применения для прогностических расчетов. Такая веро- ятность называется надежностью модели. В использованной программе имеются различные средства оценки, контроля и учета надежности разрабатываемых моделей.
Построение модели совместной динамики сотен переменных, закономерные взаимосвязи между которыми априори неизвестны, представляет собой достаточно громоздкую задачу. Для ускорения про- цесса ее решения желательно распределить эту работу среди многих исследователей. Пакет программ
«Стохастическое моделирование» позволяет организовать такую параллельную работу исследователей по поиску и моделированию частных закономерностей формирования изменчивости отдельных характе- ристик. Результат каждого такого исследования запоминается в форме стандартизованного описания мо- дели зависимости выбранной переменной от ее предикторов. Множество частных стохастических соот- ношений прогностического и диагностического характера между отдельными группами переменных при выполнении совместных расчетов объединяется в систему большей или меньшей степени связности. В совокупности с использованными для построения моделей данными такая система и представляет собой модель совместной динамики.
Построенные модели являются инструментом для прогностических расчетов. Для их выполнения в программу должны быть загружены исходные данные и описание построенных моделей. При исполь- зовании одной частной модели значения предикторов зависимой переменной должны быть заданы из внешних источников. При совместном прогнозировании используются все построенные модели, описа- ния которых хранятся в базе моделей, и предсказываются значения не только предиктантов, но и предик- торов. Это позволяет организовать итерационный процесс совместного прогнозирования переменных модели совместной динамики на произвольное число шагов по времени. Однако целесообразное число таких шагов ограничивается скоростью нарастания ошибки прогноза с увеличением его заблаговремен- ности.
Теперь детальнее о проблемах, которые имеют место при построении модели совместной межго- довой изменчивости избранных характеристик атмосферы и гидросферы. Основной проблемой, ограни- чивающей возможности прогнозирования названных характеристик, является слабость прогностических связей между годовыми значениями этих характеристик. Это означает, что предшествующие оценки та- ких характеристик определяют их будущие значения с недостаточной для практики точностью. Попытки использовать в качестве дополнительных предикторов космические или геофизические факторы не при- вели пока к заметным успехам. Быстро и кардинально решить эту проблему в рамках используемой па- радигмы, по-видимому, невозможно. Реальным представляется путь постепенного улучшения качества прогнозов за счет:
• уточнения исходных данных и учета их фактического качества,
• сочетания использования эмпирических данных и экспертных представлений модельеров о моделируемом объекте,
• выбора и объединения в ансамбли лучших частных моделей,
• минимизации потерь исходной информации при моделировании и прогностических рас- четах и т.д.
Даже если используемые исходные эмпирические данные достаточно точно, отражают прошлую динамику соответствующих избранных характеристик, выбор наилучшей комбинации предикторов для зависимой переменной представляет большую проблему. Это связано с тем, что число возможных ком- бинаций таких предикторов чрезвычайно велико, а при увеличении числа проверяемых комбинаций на ограниченных выборках данных возрастает вероятность принять случайную статистическую связь за закономерную зависимость. Такая вероятность тем выше, чем слабее искомые зависимости. В программе предусмотрены различные приемы сокращения числа проверяемых комбинаций предикторов при выборе оптимальной модели. Все эти приемы, так или иначе, основываются на априорном определении (по со- держательным или формальным критериям) предпочтительности предикторов перед окончательным вы- бором их рекомендуемой комбинации.
В процессе моделирования выявляется немалое количество существенных ошибок или сбоев в ис- пользуемых для моделирования эмпирических данных. Наличие таких ошибок значительно затрудняет и замедляет процесс моделирования. Процедура их выявления и исправления, как правило, требует раз- личных, часто нестандартных, действий со стороны разработчика в течение всего процесса построения модели. Однако это необходимая работа, так как неисправленные ошибки существенно ухудшают ре- зультаты моделирования. Для облегчения поиска сбойных данных в программу включен ряд инструмен- тов, помогающих разработчику модели выполнять эту работу.
Опыт поиска оптимальных моделей, соответствующих реальным данным, показывает, что поверх- ность критерия выбора модели не имеет выраженного экстремума. В первую очередь это касается выбо- ра комбинации предикторов. В меньшей степени, но подобная ситуация наблюдается и при выборе оп- тимального оператора регрессии. Такая ситуация обуславливает высокую чувствительность процедур выбора наиболее подходящих предикторов и операторов к малым вариациям используемых данных. Для преодоления последствий такой чувствительности приходится применять различные приемы, делающие процесс моделирования более долгим и сложным.
Совокупность перечисленных проблем делает задачу автоматизированного моделирования сов- местной динамики достаточно большой группы характеристик весьма громоздкой и требующей суще- ственных вычислительных ресурсов. Однако, даже при наличии таких ресурсов, результаты автоматизи- рованного моделирования, как правило, необходимо подвергать экспертному контролю со стороны раз- работчиков модели, так как использования только статистических критериев для подтверждения каче- ства модели часто оказывается недостаточно. С необходимостью такого контроля связана еще одна про- блема – малое количество экспертов, обладающих одновременно интересом к данной задаче, достаточно глубокими знаниями в области технологии моделирования и в обсуждаемой предметной области иссле- дования.
Наличие перечисленных проблем не является фатальным для рассматриваемой задачи. Однако их преодоление требует серьезной и обширной работы по улучшению данных о динамике исследуемых процессов, совершенствованию технологии моделирования, обучению пользователей, в частности, нашей программы, формированию групп заинтересованных экспертов и так далее.