Учёные разработали метод машинного обучения для восстановления пропущенных или скрытых данных в сложных динамических системах, описывающих климатические изменения и биологические процессы. Новый подход превзошёл по точности все современные аналоги, сократив ошибки в предсказании «упущенных» данных в десятки раз. Благодаря этому технология будет полезна при обработке медицинских сигналов, прогнозировании погоды и экономических процессов.
Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале IEEE Transactions on Neural Networks and Learning Systems. О достижении учёных рассказывает официальный сайт Десятилетия науки и технологий «Наука.рф», портал «Нейроновости».
Во многих отраслях науки учёным приходится анализировать большие объёмы сложных данных. Например, климатологи выявляют закономерности в многолетних погодных записях и по ним прогнозируют возможность экстремальных погодных явлений в будущем. Врачи по записям ЭЭГ (электроэнцефалограммы) находят нарушения в работе мозга. Однако часто в подобных наборах данных есть пропуски и искажения, связанные со сбоем в показаниях метеостанций, «шумами» при записи мозговой активности или вовсе потерей значений. Чтобы такую неполную информацию можно было использовать для прогнозирования, нужны алгоритмы, способные корректно восстанавливать утраченные данные.
Существующие инструменты, в том числе новейшие нейросети, пока недостаточно хорошо справляются с этой задачей из-за того, что процессы, которые нужно описать (изменения в погоде, активность нервных клеток и другие), очень изменчивы, причём часто на разных временных масштабах, поэтому их сложно анализировать.
Учёные из Саратовского университета и Российского экономического университета имени Г.В. Плеханова (Москва) в рамках междисциплинарного проекта РНФ, выполняемого в Высшей школе экономики, разработали метод машинного обучения NGRC-MDS, способный справиться с этой проблемой.
За основу авторы взяли алгоритм резервуарных вычислений нового поколения (NG-RC) — очень быструю и экономичную с точки зрения вычислений нейросеть, которую уже используют для прогнозирования. Однако существующая версия NG-RC плохо справляется с анализом неполных данных. Дело в том, что этот алгоритм ищет закономерности в существующей информации на строго определённых временных интервалах.
Артём Александрович Бадарин,
ведущий научный сотрудник кафедры физики открытых систем СГУ и научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова:
Представим, что для предсказания погоды он рассматривает данные с интервалом в 10 минут. Но в реальности погода меняется не так постоянно: есть быстрые процессы (резкие порывы ветра) и очень медленные (плавные изменения атмосферного давления). Поэтому одинаковый шаг в 10 минут позволит отлично уловить быстрые изменения, но совершенно бесполезен для понимания длительных.
С помощью математических инструментов авторы усовершенствовали работу модели так, чтобы она не просто «считывала» равномерные шаги во времени, а анализировала структуру всех данных и выделяла в них ключевые периоды изменений — от самых быстрых до самых медленных. В результате алгоритм смог, меняя масштаб наблюдений, подбирать индивидуальные отрезки времени в прошлом, которые лучше всего помогают предсказать будущее состояние системы.
Учёные проверили эффективность разработки на трёх классических моделях, описывающих поведение сложных систем — нейронов, атмосферы и популяций живых организмов. Новый метод превзошёл по точности все современные алгоритмы-аналоги, используемые для восстановления неполных данных, и позволил сократить ошибку при прогнозировании в десятки раз.
Александр Евгеньевич Храмов,
главный научный сотрудник кафедры физики открытых систем:
Предложенная технология открывает путь к надежному прогнозированию экстремальных погодных явлений в климатологии, раннему предупреждению эпилептических приступов по ЭЭГ в медицине и предсказанию рыночных кризисов в экономике — там, где данные обычно многомасштабны и зашумлены и при этом критически важна каждая секунда предсказания. В дальнейшем мы планируем развивать этот метод для анализа макроэкономических процессов совместно с коллегами из ВЭБ.РФ, а также исследовать применимость данного алгоритма для медицинской диагностики с нашими клиническими партнёрами — Национальным медико-хирургическим центром имени Н.И Пирогова, Национальным медицинским исследовательским центром терапии и профилактической медицины Минздрава России, Пловдивским медицинским университетом и другими.
