OpenWeatherMap – как энтузиасты делают погоду. Метеорологическая станция
Скачайте Meteobot® App
Мобильное приложение Meteobot® бесплатное и поставляется со следующими языковыми версиями:
ДАННЫЕ ОТ МЕТЕОСТАНЦИЙ
ТЕКУЩИЕ ДАННЫЕ
Meteobot® App передает вам текущую информацию от ваших метеостанций в виде диаграмм или таблиц.
При стандартных настройках Meteobot®
отслеживает данные датчиков каждые 10 мин. и отправляет их каждый час. Если вам будет нужно, можете изменить настройки и получать данные чаще – через каждые полчаса или 10 минут.
Проведенное тестирование показало, что аккумулятор Metеobot®
выдерживает до 30 дней без зарядки от солнечной панели. Однако имейте в виду, что более частая передача данных связана с более высоким потреблением энергии и в зимний период это может разрядить аккумулятор.
ИСТОРИЧЕСКИЕ ДАННЫЕ
Meteobot® App надежно хранит все данные метеостанций на неограниченный период времени. Таким образом, могут быть избегнуты упущения и пробелы – в отличие от ведения записей от руки на бумаге.
ПРОГНОЗ И УЧТЕННЫЕ ДАННЫЕ
Для вашего удобства мы объединили прогноз погоды и текущие данные от станций в одну диаграмму. Таким образом, вы можете увидеть, например, сколько осадков выпало до настоящего момента и сколько еще ожидается.
ЛОКАЛЬНЫЙ ПРОГНОЗ ПОГОДЫ
С помощью Meteobot® App вы получаете локальный прогноз погоды в конкретном регионе, который вас интересует. Прогноз включает в себя следующее:
- Осадки
- Температура
- Относительная влажность воздуха
- Атмосферное давление
- Скорость ветра
- Направление ветра
- Облачность
- Мгла (видимость)
- Точка росы
Прогноз дается на 10 дней. На следующие два дня он дается по часам, а от третьего до десятого – по 6-часовым промежуткам. Имеются данные для каждой точки на земле с пространственной точностью 8 км. Прогноз идет из Европейского центра среднесрочных прогнозов погоды, модель которого является
АГРОНОМИЧЕСКИЕ ПОКАЗАТЕЛИ
Meteobot® App вычисляет такие важные агрономические показатели, как:
- Сумма осадков
- Недельные и месячные осадки
- Сумма температур
- Средняя суточная температура
- Часы с наличием влажности листьев
АГРОМЕТЕОРОЛОГИЧЕСКАЯ ИСТОРИЯ
Поскольку Meteobot® App является специализированной земледельческой системой, она записывает данные метеостанций к истории ваших участков. Необходимо только приблизительно очертить их границы на карте. Сразу после этого вы получите полную агрометеорологическую историю с момента установки станции. Основное преимущество Meteobot® состоит в том, что вы получаете локальные данные от вашей собственной (или другой близкой) метеостанции, а не от такой, которая находится на расстоянии многих километров.
В отношении конкретного участка и конкретной культуры Meteobot® App дает вам следующее:
- Агрономические показатели, описанные выше
- Количество осадков с накоплением после высева
- Дни после последнего дождя
- Начало вегетации
- Температурные условия поздней осенью во время подготовки растений к зиме (т.н. закаливание озимых культур)
Данные для каждого участка берутся с ближайшей к нему метеостанции. Если впоследствии вы установите или подпишетесь на новую метеостанцию, которая находится ближе к данному полю, то система автоматически начинает записывать данные о нем, передаваемые от новой станции.
МЕТЕОРОЛОГИЧЕСКИЕ СООБЩЕНИЯ
На основе информации, полученной от метеостанций, Meteobot® App делает подсчет и отправляет сообщения о следующих агрометеорологических показателях:
- Средняя суточная температура выше 10⁰С
- Средняя температура почвы выше 10⁰С
- Интенсивный дождь (больше 1 литра /в минуту)
- Первые осенние заморозки
- Весенние заморозки
Мы живем в удивительное время, то что раньше казалось очень сложным внезапно становится доступным и простым. Задачи для решения которых надо было создавать научные институты и крупные организации, сейчас решаются саморганизованными группами энтузиастов. Энтузиасты создают карты и энциклопедии снимают фильмы и разрабатывают software. Я хочу рассказать о той области, в которую этот свежий ветер перемен еще не подул в полную силу – это погода. И нашим проектом – OpenWeatherMap - мы хотим изменить эту ситуацию!
Почему мы привыкли, что прогноз погоды это удел специализированных организаций?
Так сложилось в нашем мире, что погодой всегда занимались и занимаются изолированные от внешнего мира институты, лаборатории и крупные государственные организации. Кто и как рождает прогнозы погоды, всегда оставалось загадкой, покрытой налетом мистики. Большинство из них - это крупные государственные организации, объединенные в World Meteorological OrganizationПричем все знают, насколько фантастически точные бывают прогнозы, и мы радуемся как дети, когда этот так. И насколько же неприятны и даже опасны бывают промахи. В конце концов, правильный прогноз погоды влияет не только на наше ежедневное настроение. От него зависят наши жизни! Одним словом, погода это все. Поэтому мы подумали и решили, что такая жизненно важная тема как погода должна быть доступна всем. Она принадлежит людям и должна создаваться теми же людьми, которым это нужно!
Она должна быть доступна, удобна, а, главное, бесплатна!
Нас вдохновляет пример поразительно успешных Википедии и OpenStreetMap. Мы верим, что энтузиасты, объединённые одной идеей, всегда могут достигнуть большего результата, чем крупные бюрократические организации.
Цель проекта - свободный API
Идея свободной и доступной информации о погоде привела к тому, что мы создали и предоставили всем разработчикам приложений бесплатный API для получения разнообразных данных о погоде, такими как:
- Интерактивная карта с данными о текущей погоде
- Прогноз на неделю в городе
- Исторические данные в 120 000 городах мира.
- Данные от 40 000 метеостанций по всему миру получаемые практически в режиме online. (Задержка от секунд до часа)
- Много различных web карт , включая карты облаков, осадков, ветра, температуры и т.п.
Как это работает?
На входе мы имеем (1) данные от погодных станций, а также (2) прогнозы метеорологических служб и научных лабораторий. Эти данные сохраняются в базе данных OWM, а после обработки с помощью уникальных математических алгоритмов
уличной магии они превращаются в интерполированные данные о текущей погоде в любой точке мира, а также во множество карт с погодными явлениями (3). И напоследок, предоставляется (4) API ко всем данным о погоде, включая карты с погодными явлениями. А теперь немного подробнее про каждый из 4-х пунктов.
Что на входе?
Данные метеостанций
Сервис OpenWeatherMap получает данные от профессиональных и частных погодных станций. На сегодня таких станций более 40 тысяч. Большая часть из них это профессиональные станции, которые установлены в аэропортах и крупных городах мира. Но также не менее важным для сервиса являются данные от непрофессиональных станций, которые собирают и устанавливают любители везде, где это возможно. И это очень важно для нас, т.к. уровень любительских станции сейчас очень высокий, точность и, главное, оперативность передаваемой информации также находятся на очень высоком уровне. И чем больше таких станций будет подключено к OWM, тем выше будет точность как текущей информации о погоде, так и прогнозов. Любительские погодные станции это вообще отдельная тема. Но в данной статье хотелось бы подчеркнуть, что спектр таких станций очень широк. И интересно будет установить такую станцию у себя дома или на даче не только серьезному радиолюбителю, но и, например, папе с сыном. Можно купить готовую станцию стоимостью от $100 до $1000, либо собрать самому, к примеру, на Arduino.
Прогнозы
Кроме погодных станций сервис OWM собирает уже обработанные данные о прогнозе погоды. Расчет глобального прогноза для всего мира требует невероятных компьютерных мощностей, и, увы, пока у нас нет своего IBM Deep Thunder. К счастью, многие метео службы разделяют нашу любовь к свободным данным и результаты работы их систем доступны. Мы используем данные двух метеослужб – американской NOAA, которые гоняют модель GFS, и канадской из Environment Canada. Обе модели глобальные и имеют своей целью скорее не предсказать конкретную погодную ситуацию в определенной точке земли, а определить общую атмосферную динамику на планете в целом. Они имеют большой шаг сетки – порядка 50 км и большой временной диапазон прогноза – 5-7 дней.Кроме того, для отдельных регионов рассчитываются более подробные, с меньшим шагом, модели.
Мы объединяем данные разномасштабных прогнозов – от усредненных и глобальных, до локальных и более точных, соответственно. В результате web карты OpenWeatherMap работают очень удобно – для крупного масштаба используются глобальные прогнозы, а в процессе увеличения загружаются все более и более детальные данные.
Но все это не было бы так интересно, если бы метеорологи не разделяли бы и нашу любовь к свободному софту! Некоторые модели используемые крупными метеослужбами доступны в OpenSource - к примеру модель WRF.
Например, группа французских энтузиастов развернула подобную систему обработки данных на своих домашних серверах и предоставляет детальные и точные прогнозы по всей территории Франции. Кстати сказать, стоимость всей их системы составила 5 тысяч долларов (Blade server на 16 ядер), что не выглядит недоступным.
Сервис OpenWeatherMap объединяет такие точные локальные модели вместе с глобальными. После этого мы ассимилируем сверхоперативные данные от погодных станций. И уже на основе всех этих данных и строятся интерактивные карты, в которых степень детализации данных зависит от масштабирования карты.
Что на выходе?
Карты - многообразие видов
После обработки «сырых» данных, которые OWM получает от метеостанций и метеорологических институтов, создаются различные интерактивные карты с данными о погоде и погодных явлениях. Это карты облаков, давления, температуры, осадков, ветра. Также это данные радаров, погодных станций и просто текущей погоды в любой точке мира. 
API
Сервис OpenWeatherMap предоставляет бесплатный API ко всем данным о погоде, к их истории, прогнозам и всему многообразию погодных карт.API есть двух видов - JSON для получения данных и Tile / WMS для картографии
Используя JSON можно получать:
- Данные о погоде в более чем 120 тысячах городов. При этом города не нужно выбирать из жестко ограниченного списка, их можно найти на карте и увидеть оценочные прогнозы погоды как в самом городе, так и в ближайших регионах.
- Данные о текущей погоде в выбранной точке по координатам lat/lon
- Прогноз на 7 дней в компактной или в полной форме
- «Сырые» данные, полученные от метеостанций
- Данные о погоде за прошедшие периоды
Как используют наш API
Спектр применения API бесконечно широк. Это мобильные приложения для всех платформ. Это разнообразные web-сайты, которые могут использовать API для отображения текущей погоды, различных погодных графиков, виджетов и т. д. Это системы умного дома.К примеру, один из пользователей OpenWeatherMap из Великобритании организовал систему автоматического полива своего английского садика. Для планирования количества воды и режима полива он использует данные о прогнозе осадков.
Почему в России все так, как всегда?
Скажу сразу, мы не предоставляем на территории России того, что называется прогноз погоды. Да и вообще не ведем на территории страны какой-либо деятельности. Данный вид деятельности в России требует лицензирования.Однако, давайте посмотрим, что происходит с погодными станциями и погодным энтузиазмом в России. На иллюстрации ниже можно увидеть текущую картину распределения погодных станций. По сравнению с плотным покрытием всей европейской части, Россия выглядит более чем скромно. И это одна из причин неточности прогнозов погоды на нашей бескрайней территории.
А что мы можем изменить?
Мы уверены, что силами энтузиастов можно изменить ситуацию. Если Вам интересна эта тема и вы хотите помочь проекту, то есть очень много возможностей.
Вы можете, например, следующее:
- подключить свою метеостанцию
- если вы разработчик – использовать наши данные в своих проектах
- или доделать нашу мобильную версию – m.openweathermap.org
- да просто написать о нас в своем блоге
Или если вам интересна математика – очень много задач вокруг этого. К примеру – одна из наиболее важных задач в системе это определение текущей погоды. Как я уже говорилось выше, мы получаем оперативные данные от метеостанций, которые нужно интерполировать в сетку важных для географических точек – городов или отдельных районов. Данные от станций разнородны и поступают не регулярно. Более того, поступает много мусора из ошибочных и неверных измерений, их надо отсеивать. Причем ошибки могут появляться и в данных от вполне надежных метеостанций.
Сейчас мы используем достаточно жёсткий и не адаптивный алгоритм. Очень хотелось бы попробовать в этой задаче какой-либо обучающийся алгоритм.
Очень интересно попробовать в схожей задаче нейросеть.
Или, к примеру, внешний вид карт. Очень хочется сделать свой слой на основе данных OpenStreetMap с меньшим количеством подробностей, но более естественно выглядящий. Если есть идеи, очень рады будем, особенно, если вы знаете как их реализовать на mapnik.
Нам нужны все, способные держать оружие!
Архитектура
Я не буду подробно останавливаться на архитектуре системы, проведу общую картинку для иллюстрации:
Архитектура -одна шт.
Мы используем только Open Source software, среди которых NgInx, Apache, PHP, Tilecache, OpenLayers, Leaflet, Mapnik, PostGIS, Memcache, MongoDB, Gearman, MySQL, Python and more.
PS
Небольшое лирическое отступление.Сейчас модный термин bigdata становится продающим брендом, который активно используют все акулы ИТ рынка. Но кроме чистого маркетинга это имеет и огромное влияние на всю индустрию – суть в том, что стоимость транзакции и стоимость хранения больших объёмов информации падает колоссальными темпами, да практически стремится к нулю. Это открывает необыкновенные возможности не только для крупных игроков рынка, но и для небольших. Грубо говоря, несколько лет назад стоимость разработки и поддержки системы с объёмом данных в несколько терабайт и нагрузкой в тысячи транзакций в секунду была неподъемной для небольшой компании, и тем более для энтузиастов. Сейчас все меняется!
Bigdata становится доступной. Это революция, в которой может участвовать каждый!
Собственно отсюда и ответ на вопрос, который мне часто задают - а почему бесплатно? Мы считаем, что строить бизнес на платном API это путь в ад, как в технологическом, так и в коммерческом плане. Наш API останется бесплатным всегда – это основная идея и цель проекта.
Что будет дальше?
Сама идея свободной погоды дает возможности для развития проекта. В данный момент мы уже работаем над новыми направлениями и функциями, такими как:Социальность. Это возможность сказать – нет, в нашем городе сейчас не падает снег, а светит солнце и цветут цветы. Это значит, что метеостанция в городе выдает неверные данные, и мы будем искать другие возможности для поддержки точной погоды в этом городе. Автоматические алгоритмы это хорошо, но люди лучше.
Будем продолжать подключать к проекту внешние расчетные модули для детальной информации по регионам.
Продвижение идеи любительских погодных станций и подключение их к OpenWeatherMap
Использование OpenWeatherMap для агропромышленной индустрии, тут потребность в локальных прогнозах очень высока
Разработка специализированных метеорологических приложений
Ну и конечно мы очень надеемся на ВАШУ помощь!
Если у вас есть автоматическая метеостанция, подключенная к Интернету, мы приглашаем вас передавать получаемые данные наблюдений на рп5 - лучший негосударственный онлайн-архив погоды стран бывшего СССР. Вы могли бы воспользоваться ресурсами и технологиями рп5 для надёжного хранения и быстрого доступа к данным, загруженным как только что, так и годы назад.
Разрешённый интервал передачи и хранения данных составляет 1 минуту (и более). Срок хранения данных в архиве не ограничен по времени. Смотрите примеры (1) данных из Симферополя , поступающие с "шагом" по времени 1 минута, и (2) данных из Санкт-Петербурга , хранящиеся в нашем архиве с 1 февраля 2005.
Просим обратить внимание, что, исходя из нашей политики максимальной открытости информации о погоде, данные, загруженные на сервер рп5 и успешно прошедшие контроль качества, будут доступны любому посетителю сайтов рп5 из любой точки мира 24 часа в сутки 7 дней в неделю. Если вас не устраивает такая открытость (доступность) ваших данных любому желающему, пожалуйста, не загружайте данные на рп5.
Если же вы поддерживаете информационную открытость рп5, пожалуйста, попробуйте передавать данные наблюдений на рп5 следующим путём, состоящим из двух "шагов": регистрации и передачи данных.
1) Регистрация.
Пожалуйста, пришлите на наш адрес электронное сообщение о своём желании передавать данные наблюдений со своей метеостанции, подключенной к интернету, на наш сайт рп5 в автоматическом режиме.
В том же электронном сообщении укажите
1.1) адрес, по которому находится метеостанция (номер дома не обязателен): улица, населённый пункт, район, регион, страна.
Если метеостанция расположена вне населённого пункта или вам удобнее сообщить географические координаты, сообщите географические координаты (широту и долготу) местоположения метеостанции.
1.2) Модель / название используемой метеостанции.
После получения от вас вышеуказанной информации мы вышлем вам уникальный ключ (далее - api_key), который разрешит метеостанции передавать данные на наш сервер.
2) Передача данных.
После получения от нас api_key, вам следует воспользоваться одним из двух доступных способов:
2.1) с помощью программы WeeWX
Для этого необходимо:
а) метеостанция из списка http://weewx.com/hardware.html
б) компьютер под управлением ОС Linux или macOS с доступом в интернет
в) установить программу WeeWX. Инструкция по установке http://weewx.com/docs.html
г) подключить модуль для автоматической выгрузки на наш сайт. Инструкция по установке и настройке https://github.com/sapegin-o1eg/weewx-rp5
Пример данных, поступающих описанным выше способом (2.1), см. на странице Архив погоды в Херсоне, неофициальная метеостанция .
2.2) самостоятельно организовать автоматическую выгрузку данных с метеостанции на сайт рп5 через следующий URL:
http://sgate.сайт/?T=X&U=X&DD=X&FF=X&ff10=X&updated=X&api_key=X
T - температура воздуха в градусах Цельсия (от -99.9 до 99.9),
X - числовое значение того или иного параметра,
U - влажность в процентах (0 - 100),
DD - направление ветра в градусах (0 - 359),
FF - скорость ветра в м/с (>= 0),
ff10 - порыв ветра в м/с (>= 0),
updated - время выполнения наблюдения (метка времени UTC по Гринвичу в формате UNIX),
api_key - уникальный ключ, предоставленный вам на "шаге" 1, описанном выше.
Параметр погоды (температура воздуха, влажность, направление, скорость или порыв ветра), не наблюдаемый метеостанцией, должен быть либо полностью
удалён из запроса, либо после знака равенства не должно быть никакого значения. Например, если метеостанция не измеряет влажность (U), запрос
должен быть
либо (1) без всей группы U=X:
http://sgate.сайт/?T=X&DD=X&FF=X&ff10=X&updated=X&api_key=X
либо (2) без значения X после U=:
http://sgate.сайт/?T=X&U=&DD=X&ff=X&ff10=X&updated=X&api_key=X
Пример передачи метеоданных по HTTP GET на PHP (с использованием библиотеки cURL)
Пример данных, поступающих описанным выше способом (2.2), см. на странице
Метеорологическая сеть является основой информационно-измерительной системы Росгидромета. Первые инструментальные метеорологические наблюдения в России были начаты в Петербурге в 1725 году академиком Ф. Х. Майером. В 1834 году было принято решение о создании центрального метеорологического органа - Нормальной магнитно-метеорологической обсерватории в Петербурге под руководством академика А.Я. Купфера. Ее штат состоял из директора и 2–3 помощников. Обсерватория выполняла магнитные и метеорологические наблюдения(три срока).
В 1849 году при Институте Корпуса горных инженеров в была учреждена Главная физическая обсерватория, которая являлась правопреемницей Нормальной обсерватории. Главная физическая обсерватория размещалась в специально для нее построенном здании. «Положение для Главной физической обсерватории» и штат сотрудников утверждались Николаем I. В функции Главной физической обсерватории входило руководство всеми метеорологическими и магнитными наблюдениями России по единым методикам и программам, разработка приборов и обеспечение ими создаваемой сети наблюдений, обобщение и издание материалов наблюдений. С основанием Главной физической обсерватории начался качественно новый этап в развитии российской метеорологии, важнейшим направлением которого стало создание метеорологических обсерваторий для отдельных краев и подчинение геофизических наблюдений единому государственному центру. Благодаря усилиям обсерватории, количество метеорологических станций стало быстро увеличиваться, и к концу XIX века государственная метеорологическая сеть насчитывала 839 станций, 1020 дождемерных и 1830 снегомерных постов. Наряду с государственной сетью, на территории России функционировали пункты метеорологических наблюдений других ведомств (Русского Географического общества, университетов и др.). К 50-летию Главной физической обсерватории (1899 г.) был издан «Климатический Атлас Российской империи».
В 1912 году Главной физической обсерваторией был разработан план организации общегосударственной сети России. По этому плану предусматривалось поделить всю территорию России на климатически однородные области и внутри каждой из них выделить, как минимум, одну опорную станцию с полной программой наблюдений. Опорные станции должны были составить часть мировой сети. Однако этот план не был реализован сначала в связи с началом Первой мировой войны, затем революции. И если к 1914 году метеорологическая сеть насчитывала 1416 станций и 1480 постов, то к 1920 году она сократилась до 200 станций и 125 постов.
В 1924 году Главную физическую обсерваторию переименовали в Главную геофизическую обсерваторию, а в 1949 году по случаю 100-летия со дня основания обсерватории было присвоено имя выдающегося российского климатолога А. И. Воейкова, которое она носит по сей день.
Двадцатилетие 1921–1940 гг. можно считать периодом воссоздания метеорологической сети страны на новой основе. Число метеорологических станций увеличилось почти в 10 раз. В 1929 г. постановлением ВЦИК и СНК СССР ведомственные гидрометеорологические службы были объединены в единую Гидрометслужбу СССР. Для руководства ею был создан Гидрометеорологический комитет СССР и территориальные управления гидрометеорологического комитета.
Освобожденная в связи с этим от организационных задач по обеспечению функционирования наземной сети Главная геофизическая обсерватория им. А. И. Воейкова резко активизировала научно-методическое обеспечение работы метеорологической сети. Эта деятельность является одной из ведущих на протяжении всех 150 лет существования обсерватории и по сей день.
В 30-х годах под руководством известных ученых Е. С. Рубинштейн, О.А. Дроздова, Т. В. Покровской была начата работа по разработке научных принципов построения метеорологической сети Советской России. В соответствии с этими принципами были введены понятия «основной» и «специальной» сети метеорологических станций. Первая предназначалась для получения информации о метеорологическом режиме территории в целом, вторая – для уточнения метеорологического режима конкретных пунктов, расположенных в особых условиях.
Вторая мировая война снова прервала и отбросила назад процесс развития наземной метеорологической сети. По количеству пунктов наблюдений, обеспеченности кадрами и техническими средствами она вернулась к уровню начала 20-х годов. Потребовались годы для восстановления предвоенного потенциала. В 60–70-х годах ХХ века метеорологическая сеть развивалась высокими темпами. В это же время начинается активное рвзвитие актинометрической и теплобалансовой сетей для наблюдений за приходящей солнечной радиацией и для получения сведений о расходе солнечной радиации, поглощенной земной поверхностью, на нагревание воздуха и испарение с земной поверхности.
К концу 70-х годов XX в. число станций и постов на территории бывшего СССР превысило 6000, из которых 4665 относились к системе Гидрометслужбы, остальные - к другим ведомствам. Метеорологическая сеть России своего максимального развития достигла к 1986 году, когда на ее территории насчитывалось 2308 станций и 3274 поста.
С переходом на новые экономические условия за период с 1987 по 2005 гг. число метеорологических станций сократилось почти на 30%, постов – на 35%. Средняя по России плотность существующей ныне метеорологической сети (10,5 тыс. км2) сравнима с плотностью 1950г. Плотность метеорологической сети крайне неравномерна, в отдельных регионах, в частности, в Республике Саха (Якутия) и на арктическом побережье она в 8–10 раз меньше, чем в центральных и южных районах Европейской части России.
Характерной особенностью современной метеорологической сети является комплексность наблюдений: то есть производство на метеорологических станциях других видов наблюдений - актинометрических, теплобалансовых, аэрологических, агрометеорологических, морских гидрометеорологических, а также наблюдений за общим содержанием озона, испарением, химическим составом осадков и , радиоактивным загрязнением природной среды.
