Теория вероятности в прогнозе погоды

Теория вероятности погоды на завтра

Вычислительный центр Росгидромета переходит на современные компьютерные технологии.

Можно утверждать наверняка, что каждый из нас хотя бы раз в день интересуется прогнозом погоды. Однако далеко не все знают, что за скромными числами температуры и скорости ветра стоят сложнейшие математические расчеты.

Еще в начале ХХ в. английский ученый Льюис Фрай Ричардсон предположил, что с помощью систем дифференциальных уравнений гидродинамики можно рассчитать поведение воздушных масс. Однако, по его оценкам, для того чтобы успеть провести необходимые вычисления вовремя, понадобилось бы несколько тысяч человек – в то время все расчеты выполнялись с помощью механических калькуляторов, либо вообще вручную.

Интересна дальнейшая судьба этих работ. Узнав, что военные используют придуманные им методы для расчета эффективности применения отравляющих газов, Ричардсон оставил метеорологию и уничтожил свои работы. В последующие десятилетия на основе расчетов Ричардсона была разработана комплексная модель численного прогноза – математические формулы, которые учитывают все известные физические законы, управляющие погодными явлениями.

В последние годы гидрометеорологическая наука достигла больших успехов в способности предсказывать опасные природные явления. Например, по региональным моделям, разработанным в Росгидромете, можно прогнозировать атмосферные фронты и циклоны, ливни, град, снегопад, сильные ветры и прочие неприятные события в масштабах от минут до суток и с разрешением в несколько километров.

Оперативное предсказание погоды на основе математической модели стало возможным с появлением производительных компьютеров. Но современным метеорологическим службам для точного расчета прогнозов требуются особенные, мощнейшие вычислительные комплексы – кластеры, использующие суперкомпьютерные технологии. Только несколько стран имеют достаточно производительные системы для того, чтобы самостоятельно проводить метеорологические расчеты, и весьма приятно, что одна из этих стран – Россия. Два года назад в вычислительном центре Росгидромета в Москве был установлен кластер производительностью 27 ТФЛОПС (триллионов операций в секунду). С его помощью метеорологи получили возможность решать такие сложные задачи, о которых раньше не могло быть и речи. Наверное, многие помнят редкое погодное явление – ледяной дождь, который прошел 25 декабря прошлого года в центральном районе России. Благодаря этому вычислительному комплексу сотрудники Росгидромета смогли заранее предупредить о надвигающейся опасной ситуации.

На очереди – создание комплексной модели нашей планеты, которая будет учитывать не только физические, но и химические и биологические процессы атмосфере, океанах и почве, и их нелинейное взаимодействие. Модели такого рода можно назвать моделями погоды и климата нового поколения, и с их помощью планируется создать систему «бесшовного» прогноза на интервалах от нескольких минут до десятков лет. Однако для расчетов таких сложных моделей мощности имеющегося вычислительного комплекса не хватает, поэтому было принято решение о его модернизации.

Первым шагом программы модернизации стала установка нового 15-терафлопсного кластера (в конце года планируется увеличение мощности до 30 ТФЛОПС), основанного на передовой архитектуре РСК-Торнадо. Он состоит из 96 вычислительных блоков, в каждом из которых – два процессора Intel Xeon 5680 с рабочей частотой 3,33 ГГц, 48 Гбайт оперативной памяти и жесткий диск SSD. Отличительная черта этого комплекса – жидкостная система охлаждения, которая впервые в мире используется для систем на базе процессоров Xeon. Благодаря этому на охлаждение тратится максимум 5,7% от общего энергопотребления системы, и это по-настоящему рекордный показатель для вычислительных комплексов такого класса. (А между тем, выделяемого этим компьютером тепла хватит на то, чтобы вскипятить бочку воды!) Кроме этого, новый кластер вместе с системой охлаждения занимает гораздо меньше места, чем его старший «коллега», а продуманная компоновка системы позволяет быстро заменять в случае аварии как сами модули (причем для этого не требуется выключения питания), так и процессоры, и память в модуле.

Как же новые вычислительные мощности могут помочь предсказывать погоду? Прогноз станет точней или можно будет сразу рассчитать погоду на год вперед? На эти вопросы можно ответить «и да, и нет». Дело в том, что далеко не всегда можно абсолютно точно предсказать погоду в каком-то определенном месте и в определенное время. Природа слишком сложна, причем значительное влияние на нее оказывает сам человек, поэтому смоделировать поведение воздушных масс с абсолютной точностью, даже используя самые современные модели, практически невозможно. Зато можно рассчитать вероятность прогноза. Проще говоря, прогноз будет выглядеть так: солнечно, без осадков, с вероятностью 95%. И сразу станет понятно, довериться ли этому прогнозу или все-таки захватить на всякий случай зонтик – если вероятность прогноза будет невысокой. Для подсчета вероятностей нужно несколько раз решить системы уравнений, используя разные алгоритмы, или немного изменяя начальные данные. Сравнивая результаты, можно оценить точность прогноза. Получается, что объем вычислений возрастает в несколько раз, поэтому вероятностное прогнозирование погоды требует увеличения мощности компьютеров тоже в несколько раз.

Самые современные компьютерные технологии позволяют сберечь миллиарды рублей – такими порядками оцениваются убытки от стихийных бедствий – и сохранить бесценные человеческие жизни.

На снимках (сверху вниз): ситуационный центр Гидромета; новый кластер РСК-Торнадо; вычислительный модуль; часть старого вычислительного комплекса.

Источник

nauka_yaru

Наука и технология

Существует довольно простая формула математика прошлого Томаса Байеса, опубликованная впервые в 1763 году в его посмертной работе «Опыт решения одной проблемы теории вероятностей». В ней впервые был поставлен вопрос о том, как может быть использована теория вероятностей для составления того или иного суждения о явлении, располагая лишь ограниченным рядом наблюдений.

Читайте также:  Прогнозы развития российского фондового рынка

Пусть перед нами урна с шарами. Шары могут быть только белыми, могут быть только черными, а могут быть и белые и черные, то есть состав шаров – смешанный. Мы скажем, что любой состав урны имеет равные априорные вероятности.
(Что такое априорные? Латынь, которая обильно украшала научные сочинения прошлого, вышла сейчас из моды, но некоторые слова оказались стойкими. К ним относятся a priori и a posteriori, что означает «до опыта» и «после опыта»).
Предположим, мы вытащили один шар: он оказался белым. Ситуация после этого сразу изменилась, поскольку уже ясно, что предположение, будто все шары черные, надо отбросить. А если мы вытащили 5 белых шаров подряд? Этот факт сильно повышает вероятность гипотезы, что в урне много белых шаров. Можно ли выяснить, какова вероятность, что белых шаров 100 процентов, или 90, или 80, после того, как произведен опыт? Или короче – какова априорная вероятность того, что в урне столько-то белых шаров после того, как мы вытащили из урны 5 белых шаров?
Вот такие и подобные проблемы решал Байес в своей работе.

Одна из формул, выведенных Байесом, и прогнозирует погоду.
Если какое-то событие произошло несколько раз, то можно высчитать, какова вероятность его свершения и в следующий раз. Формула очень простая: p = (q+1) / (q+2) (вероятность равна дроби, числитель которой равен числу происшедших событий плюс единица, а знаменатель равен этому же числу плюс два).

Значит, если дождь идет один день, то вероятность, что он будет идти завтра, равна 2/3, если дождь идет два дня, то назавтра вы можете ждать такой же погоды с вероятностью 3/4, три дня – 4/5… восемь дней – 9/10. Просто, не правда ли?

Но если бездумно применять эту формулу, то можно прийти к абсурду. Например, я два раза набирал по телефону 01, вызывая пожарную команду, и она приезжала: значит, если я буду вызывать ее третий раз, то она прибудет тушить пожар с вероятностью в 75 процентов. Глупо ведь? Конечно, глупо. Или в этом году с Эйфелевой башни бросились и разбились две девушки, обманутые женихами. Значит, следующая имеет шанс из четырех остаться в живых. Глупо? Конечно, глупо. Но при чем здесь наша простая формула? Прочитав внимательно работу этого превосходного математика, мы увидим, что формула введена в предположении, что о вероятности единичного события нам неизвестно ровно ничего, то есть что эта вероятность может быть любой – от 0 до 1.

Итак, формулу Байеса следует применять в том случае, когда мы ровно ничего не знаем о единичном событии. Так ли обстоит дело с дождливой погодой?
На основании многолетних наблюдений в городе Брюсселе установлено, что если дождь идет 1 день, то вероятность того, что он будет идти и завтра, равняется 0,63; если дождь идет 2 дня – его вероятность на завтра равна 0,68, 3 дня – 0,70, 5 дней – 0,73. Согласно же формуле Бейеса мы должны были бы иметь 0,66; 0,75; 0,80 и 0,86. Хотя опыт и теория близки, полного совпадения нет: формула оказывается несколько более пессимистична, чем реальная действительность.

Лучше совпадают с выводами теоремы Байеса данные, полученные при наблюдении смены температуры. По данным того же города Брюсселя, вероятность того, что завтра температура будет такой же, как и вчера, равна 0,75; если 2 дня температура была неизменной, то она останется такой же и завтра с вероятностью 0,76; если 3 дня неизменна, то сохранится и завтра с вероятностью 0,78; если 5 дней, то с вероятностью 0,83, и если температура не менялась 10 дней, то с вероятностью 0,85 она останется той же и в 11-й день.

Как видите, предсказание по принципу «сегодня как вчера» имеет обоснование в теории вероятности. Большинство прогнозов погоды носит именно такой характер, а чтобы судить о научной мощи предсказаний, надо было бы скидывать со счетов все прогнозы типа «погода остается без изменений». Кажется, так метеорологи и поступают, когда испытывают новые теории и схемы предсказания погоды. Предвидение потепления или похолодания – вот в чем должно проявиться понимание законов климата.

Но вернемся к работе Байеса. Мы проиллюстрировали примерами лишь одну из формул его теории, касающихся вероятности повторения событий. Но оправданы также попытки предсказания будущего и тогда, когда ряд событий неоднороден и состоит из чередующихся удач и неудач. В этом случае формула Байеса меняется лишь незначительно: в ее знаменателе будет стоять полное число событий плюс 2. Например, если проведенная на курорте неделя (7 дней) порадовала нас всего лишь одним хорошим днем, то вероятность дождя на восьмой день нашего отдыха будет вычисляться так: P = (6+1) / (7+2) = 7/9.

Работы Томаса Байеса лежат в основе современного подхода к эксперименту. Подход этот используется в генетических исследованиях, в теории военной стратегии, в исследовании движения ядерных частиц и во многих других областях деятельности людей.

Источник

Точность метеорологических прогнозов

Разнообразие температур, наблюдающееся этой зимой, напомнило мне о проекте MyCli.me Хабраюзера aib, собирающего прогнозы погоды сразу с нескольких гидрометеорологических сайтов и позволяющего путем усреднения «в голове» повысить их точность.

Собственно, еще полтора года назад при первом знакомстве с сайтом, меня первым делом посетила мысль о том, что статистика с него — идеальный материал для неформальной оценки качества предсказаний погоды. Если быть совсем точными, то сайт и сам имеет систему рейтинга достоверности прогнозов, выбирая наилучшего «предсказателя» для каждого занесенного в реестр города за прошедший месяц.

Но мне хотелось более продолжительной и «взвешенной» оценки.

Читайте также:  Что можно сделать сегодня магией
Входные данные

Города, участвующие в анализе: Москва, Санкт-Петербург, Нижний Новгород, Киев, Сочи — равномерно из разных частей европейской части России и Украины. Красноярск, Новосибирск и другие рядом расположенные города, пришлось исключить из-за частых сильных (до 22 градусов) ошибок у многих метеосайтов, сильно изменяющих, как следствие, общую статистику качества прогнозирования.

Первый срез: краткосрочный или долгосрочный

Второй срез: дневной или ночной

Попытаемся определить совокупную точность прогноза на конкретный день. Для этого присвоим веса (коэффициенты) [ 45%, 25%, 15%, 10%, 5% ] ошибкам прогнозов за 1, 2,… и 5 дней соответственно. Это экспоненциально взвешенное среднее (EMA) с периодом T=2 дня (т.е. любая пара коэффициентов, отстоящих друг от друга на 2 дня отличаются в 2,718 раза). Логично предположить, что ошибка в прогнозе за день до срока может вызвать более неприятные последствия, чем за 4 или 5. Графически веса выглядят примерно следующим образом:

Для того, чтобы графическое изображение было нагляднее, рассчитаем среднюю ошибку с этими весами отдельно для дневных и отдельно для ночных температур и отложим их по разным осям. Соответственно, признак высокого качества прогноза — близость к точке (0;0), этот факт дополнительно выделен заливкой. Интересно резкое ухудшение на этом графике позиций BBC Weather, т.к. его дневные прогнозы — одни из самых точных, в то время как ночные — не в первой пятерке.

В «сухом остатке»

Озвучивать выводы дело неблагодарное — каждый может сделать их для себя сам. Кому-то интереснее прогноз «на завтра», кому-то «на 5 дней вперед», кому-то важнее температура днем, а кому-то и наоборот. Конечно, некоторых сайтов здесь нет вообще, а некоторые сайты имеют весомые конкурентные преимущества, например, в длительности публикуемого прогноза. Задачей не стояло найти «самый лучший метеосайт», а только лишь сравнить точность краткосрочных прогнозов за ближайший прошедший 3-месячный период.

Если сравнение вас заинтересовало — можно попытаться сделать аналогичный анализ за 12 месяцев.

Источник

Ставка на улучшение предсказаний: новая математика прогнозов погоды

Доктор Хана Кристенсен из Оксфордского университета говорит, что мы лучше справляемся с предсказанием погоды, поскольку компьютеры становятся быстрее, а математика – умнее. В статье она объясняет, как метеорологи начинают использовать математическую технику стохастические процессы – давно уже применяемую в индустрии финансов

Погодный цикл: с использованием стохастических методов семидневные прогнозы погоды достигли такого же качества, какими трёхдневные были два десятилетия назад

В 2017 году британское метеорологическое бюро запустило новый суперкомпьютер Cray XC40 стоимостью в £97 миллионов. Он серьёзно улучшил точность и детализацию прогнозов погоды.

Как он это делает? Я изучаю предсказание погоды в департаменте атмосферной, океанической и планетарной физики Оксфордского университета, и проблема с прогнозами состоит не только в том, чтобы задействовать компьютеры побольше – хотя это, очевидно, помогает – но и затем, чтобы использовать их более хитроумными способами.

Давайте совершим экскурс в историю и посмотрим, как это делалось раньше, поскольку за последние несколько десятилетий прогнозирование погоды очень сильно изменилось.

До 1960-х годов прогнозы были основаны на записях наблюдений и поиске закономерностей в этих записях, каких-либо аналогий. Идея была очень простой. Если вести записи погоды достаточно долго, то у метеоролога будет (относительно) простая задача – поискать в записях день, когда атмосфера выглядит примерно так же, как сегодня, и представить историческое развитие атмосферы с той стартовой точки в качестве сегодняшнего прогноза на следующую неделю.

Но это не работало должным образом. Причиной тому был хаос, или эффект бабочки. Развитие погоды на масштабах дней или недель очень чувствительно к малым деталям состояния атмосферы, но эти детали могут быть слишком мелкими, чтобы обнаружить их при помощи данных со спутников и метеорологических зондов.

Идея с аналогиями была пусть и плохим, но единственным вариантом, поскольку другой метод – использование уравнений для создания математических моделей – был непрактичным до появления электронных компьютеров.

Английский математик Льюис Фрай Ричардсон первым применил математические модели для предсказаний погоды во время Первой Мировой войны. Но он столкнулся с серьёзной проблемой. Для подсчёта прогноза на шесть часов вперёд было необходимо вручную решить дифференциальные уравнения в частных производных – при этом на их решение требовалось порядка шести недель, и результат был очень неточным.

Но идея Ричардсона оказалась правильной, и сейчас она в обязательном порядке применяется в компьютерных симуляциях атмосферы.

Современный прогноз погоды начинается с математики – уравнений, описывающих эволюцию атмосферы:

Во-первых, у нас есть уравнение Навье-Стокса – на самом деле, три уравнения, описывающие сохранение импульса в каждом из трёх направлений системы координат. Здесь мы учли вращение Земли, перейдя во вращательную систему отсчёта – второй член с правой стороны отвечает за силу Кориолиса, а третий – за центробежную силу.

Уравнение особенно сложно решить, поскольку в адвективной производной D/Dt прячутся очень неприятные нелинейные члены в u (не зря нахождение решений уравнения Навье-Стокса остаётся одной из нерешённых «задач тысячелетия», за решение которых Математический институт Клэя назначил премию в 1 млн долларов США).

Затем у нас есть уравнение непрерывности. Всё, что затекло в контейнер, должно вытечь из него, или же плотность внутри контейнера должна увеличиться.

В-третьих, у нас есть уравнение термодинамической энергии, где Q – диабатическая скорость нагрева. И, наконец, у нас есть уравнение состояния атмосферы.

И что нам с этим всем делать?

Первый шаг – дискретизация уравнений движения. Мы не можем подсчитать точно, как именно закрутится каждый небольшой шквал ветра, да это на самом деле и не нужно. Поэтому мы разбиваем атмосферу на небольшие параллелепипеды – в симуляторе погоды они могут быть размером 10х10 км по горизонтали, и от нескольких сотен метров до нескольких километров по вертикали. Внутри каждого из кубов мы считаем атмосферу постоянной, с одним числом, обозначающим среднюю температуру, одним, обозначающим влажность, скорость ветра, и так далее. И тут же ясно, какая проблема у нас возникает – а что насчёт процессов, происходящих на меньших масштабах?

Читайте также:  Талисманы на богатство из рун

Такие процессы, например, облака, всё равно играют важную роль в прогнозах, поэтому их необходимо учитывать. Они не только влияют на развитие процессов на более крупных масштабах, но и описывают важные погодные явления для нас, остающихся на земле – дождь или сильные порывы ветра.

Мы представляем эти процессы при помощи приблизительных уравнений, или схем параметризации. Эти приближения и упрощения – крупный источник ошибок в прогнозах погоды.

В идеале надо делать наши контейнеры как можно меньшими. И мы обязательно должны включить в описание все процессы мелкого масштаба, что мы можем себе представить. И сделать эти схемы максимально точными. Но в итоге приходится принять, что компьютерный симулятор никогда не будет идеальным. Он всегда будет оставаться просто симулятором.

Так что вместо того, чтобы пытаться сделать невозможное, и предсказать, какой точно погода будет в следующий вторник со 100% точностью, не будет ли более полезно просто принять наши ограничения и выдать вероятностный прогноз погоды на следующую неделю?

Вместо того, чтобы предсказывать дождь со 100% точностью, мы признаём неопределённость наших прогнозов – возможно, вероятность дождя будет, к примеру, всего лишь 90%. Для этого нам нужно критически оценить наш симулятор и определить, откуда именно происходят ошибки в прогнозах.

Именно этим я и занимаюсь в своём исследовании. Я работаю с новой техникой, стохастической схемой параметризации. В ней используются случайные числа (именно это и означает «стохастический») для представления неопределённостей, внесённых нашим прогнозом из-за нераспознанных процессов мелкого масштаба. Вместо подсчёта наиболее вероятных облаков над Оксфордом, к примеру, мы подсчитываем влияние множества различных возможных облаков на крупномасштабной картине погоды, чтобы увидеть, как это влияет на прогноз. Иначе говоря, теперь наши схемы параметризации вероятностные.

И теперь, вместо того, чтобы делать один, наиболее вероятный прогноз, для следующей недели делается набор прогнозов. Он начинается с различных, но равновероятных начальных условий, которые мы оцениваем на основании атмосферных измерений. Каждый прогноз также использует различные случайные числа для стохастической схемы параметризации, обозначающие различные вероятные эффекты, происходящие на малых масштабах.

В использовании стохастических процессов для представления неопределённости нет ничего нового – их полно, к примеру, в финансовом моделировании – но их использование в прогнозировании погоды только набирает обороты, несмотря на то, что метеорологи одни из первых стали описывать хаотические системы.

Была обнаружена интересная особенность – определённые закономерности погоды очень легко предсказать. Ошибки в измерении начальных условий и при упрощении модели не очень сильно влияют на будущее, и прогнозы из нашего набора остаются довольно близкими друг к другу.

Хорошим примером может служить блокирующий антициклон – погодная система высокого давления, засиживающаяся над Скандинавией днями и даже неделями, засасывающая холодный воздух с севера и отражающая штормы к югу от Британии. Чрезвычайно холодные, но солнечные зимние дни? Его работа.

В других случаях неопределённость приводит к сильным расхождениям в прогнозах на следующую неделю, что говорит о том, что атмосфера находится в очень непредсказуемом состоянии. И эта информация весьма полезна! Прекрасным примером этого может служить печально известный великий шторм 1987-го. Майкл Фиш [известный сотрудник английского метеорологического офиса, много лет выступавший с прогнозами погоды по BBC / прим. перев.] не виноват в том, что прогноз не сбылся – просто в тот вечер атмосфера находилась в весьма непредсказуемом состоянии.

Великий шторм 1987, предсказанный современными вероятностными системами прогнозов за 66 часов. Вверху слева – результаты наблюдений, система крайне низкого давления с очень сильными ветрами; справа от него – прогноз с наибольшей вероятностью; то, что увидел бы Майкл Фиш. Остальные пятьдесят вариантов – равновероятные предсказания современной вероятностной системы прогнозов погоды – демонстрируют серьёзную неопределённость результатов.

Со временем наши компьютеры становятся больше и лучше (а также улучшаются и наблюдения), и наши прогнозы улучшаются.

На графике внизу показаны возможности системы, выдающей «наиболее вероятный» прогноз, сделанный в Европейском центре прогнозов погоды средней дальности (ECMWF) в городе Рединге (я работаю с их компьютерными симуляциями; их суперкомпьютер – один из крупнейших в стране). Видно, как со временем точность прогнозов увеличивается. Семидневный прогноз, сделанный сегодня, по точности получается таким же, как пятидневный прогноз двадцать лет назад.

Также мы можем измерять качество наших вероятностных прогнозов – это не хитрая попытка уйти от ответственности («Ну мы же сказали, что солнечная погода только возможна»). Надёжность вероятностных распределений можно измерить статистически, и мы на самом деле наблюдаем быстрое улучшение качества вероятностных прогнозов за последние десять лет – 7-дневный прогноз сегодня настолько же хорошо, насколько был трёхдневный 20 лет назад.

Качество вероятностных прогнозов погоды за последние два десятилетия. Зелёный – прогноз на 7 дней, красный – на 5 дней, синий – на 3 дня.

Но, в конечном счёте, проблема ограничения вычислительных мощностей никуда не девается. Хорошо, когда у метеорологического бюро появляется новый суперкомпьютер, но это просто ставит вопрос о том, как задействовать дополнительные ресурсы.

Невозможно быть уверенным в том, что принесёт нам будущее, включая и погоду на следующей неделе. Но признав это, и стараясь точно оценить неопределённость предсказаний, мы можем выдавать честные прогнозы погоды общественности, а люди уже сами решат, как использовать дополнительную информацию.

Источник

Оцените статью
Adblock
detector