Підготовка метеорологічних даних для навчання моделі штучного інтелекту

Abstract

UA: Прогнозування метеоумов за допомогою сучасних моделей штучного інтелекту потребує попередьої обробки великої кількості даних різних типів. Перед використанням метеоданих для навчання моделей, метеодані мають бути зібрані, об’єднані та структуровані. У статті розглянута підготовка метеоданих для подальшого використання при навчанні графових нейронних мереж з метою прогнозування метеоумов - визначення джерел історичних метеоданих, засобів збору даних, обробки та зберігання у базі даних. Описано властивості метеоресурсів даних вільного використання, з яких здійснюється збір метеоданих, а також підхід до підготовки даних щодо використання. Особлива увага приділяється аспектам забезпечення різноманіття даних для забезпечення навчання моделей штучного інтелекту та росту прогностичних можливостей моделей. Наведено розрахунок статистичних характеристик метеопоказнику «температура» засобами Python. Запропоновано використання бази даних MongoDB Atlas для збереження різноманітних метеоданих.

EN: Forecasting weather conditions by classical methods is now successfully supplemented by artificial intelligence methods that allow processing unstructured, semi-structured and structured data. The article considers and analyzes such sources of semistructured weather data as open APIs of weather resources. An approach to preparing weather data as data for training a graph neural network for forecasting weather data is proposed. The ability to obtain JSON objects with weather parameters (temperature, humidity, pressure, wind speed) by processing HTTP requests using the created Python program and the Requests library ensured the execution of the first stage of data preprocessing. The properties of the selected weather resources and the approach to preparing data for use are described. After receiving weather data from 10 different weather resource APIs, the data are combined and structured. Cleaning, normalization, aggregation and analysis of additional properties of the collected weather data are performed. For example, the calculation of statistical characteristics of the weather indicator "temperature" using Python tools is given. The article justifies the use of the MongoDB Atlas database to store unstructured meteorological data as objects such as images, audio, video, document files, and other file formats. MongoDB Atlas supports a document-oriented format that increases the flexibility and scalability of data management, which is an advantage for processing large and complex meteorological datasets used in training a graph neural network. The proposed approach combines preprocessing and data storage into a single structure, ensuring the completeness and representativeness of meteorological data. This integration increases the reliability of weather forecasts by using a variety of data. Research confirms the advantages of using MongoDB Atlas and a graph neural network together in capturing spatial and temporal relationships in meteorological data.