Élaborer des outils de type ChatGPT pour l’observation de la Terre

Un coup de main numérique pour les données

L’observation de la Terre génère quotidiennement de vastes volumes de données indispensables, et il nous est difficile, en tant qu’humain, de faire en sorte de tirer le meilleur parti de ces données. Heureusement, l’IA aide à interagir avec des jeux de données aussi volumineux et complexes, à identifier des fonctionnalités clés et à présenter les informations dans un format convivial.

I * STAR par exemple, une activité cofinancée par le programme ESA InCubed, a développé une plateforme qui utilise l’IA pour surveiller l’actualité – comme les tremblements de terre ou les éruptions volcaniques – afin que les opérateurs de satellites puissent planifier automatiquement les prochaines acquisitions de données pour les clients.

L’outil SaferPlaces AI, qui a également le soutien d’InCubed, fusionne des mesures in situ avec des données satellites pour créer des cartes des inondations à destination des équipes d’intervention en cas de catastrophe. SaferPlaces a joué un rôle crucial dans la démarche d’évaluation des dégâts lors des inondations de l’an dernier en Émilie-Romagne (Italie).

Ces dernières années, les progrès de l’IA se sont considérablement accélérés, et les avancées d’outils comme ChatGPT et Gemini ont même surpris les experts de ce domaine. Afin de tirer parti de cette innovation transformatrice et de saisir les opportunités offertes par cette technologie, une prochaine étape consiste naturellement à construire une requête textuelle de type ChatGPT pour les données d’observation de la Terre.

Avec divers partenaires des domaines du spatial, de l’informatique et de la météorologie, l’ESA développe actuellement un assistant numérique d’observation de la Terre qui comprendra les requêtes humaines et répondra comme le ferait un humain – c’est ce que l’on appelle la fonctionnalité de langage naturel.

Sans surprise cependant, il y a un certain nombre de pièces du puzzle à terminer pour créer un tel assistant numérique, à commencer par le modèle de fondation sous-jacent.

Le moteur qui rugit sous le capot

Les modèles d’IA fonctionnent en s’entraînant et en s’améliorant au fil du temps, mais dans l’apprentissage automatique (machine learning) traditionnel, la machine doit être alimentée avec de grands ensembles de données qui ont été étiquetées, souvent par un humain.

Les modèles de fondation adoptent une approche très différente. Un modèle de fondation est un modèle d’apprentissage automatique qui s’entraîne, en grande partie sans supervision humaine, sur des sources considérables et variées de données non étiquetées. Les modèles de fondation sont assez généraux, mais peuvent être adaptés à des applications spécifiques.

Le résultat est un moteur d’IA flexible et puissant, et depuis leur création en 2018, les modèles de fondation ont contribué à une énorme transformation de l’apprentissage automatique, qui a touché de nombreuses industries et la société dans son ensemble.

Plusieurs initiatives qui visent à créer des modèles de fondation dédiés aux tâches liées à l’observation de la Terre sont en cours chez ESA Φ-Lab. Ces modèles utilisent des données pour fournir des informations sur des sujets cruciaux pour l’environnement, tels que les fuites de méthane et l’atténuation des événements météorologiques extrêmes.

Un projet de modèle de fondation, PhilEO, a débuté début 2023 et atteint aujourd’hui sa maturité. Un cadre d’évaluation basé sur les données mondiales de Copernicus Sentinel-2 et, prochainement, le modèle PhilEO lui-même sont en cours de publication auprès de la communauté de l’observation de la Terre afin de stimuler une approche collaborative, de faire progresser le développement dans ce domaine et de s’assurer que le modèle de fondation dérivé est largement validé.

L’image ci-dessus montre la structure de Richat, le type de caractéristique que le modèle PhilEO a appris à reconnaître sans supervision humaine.

L’interface humaine

Des initiatives distinctes de l’ESA se penchent sur le côté humain du puzzle ; elles créent l’assistant numérique qui, à partir d’une question en langage naturel d’un utilisateur, traitera les bonnes données grâce à des modèles de fondation d’observation de la Terre et produira une réponse en texte et/ou en images.

Un projet précurseur de jumeau numérique de la Terre a récemment démontré que son prototype d’assistant numérique pouvait effectuer des tâches multimodales en fouillant parmi de multiples archives de données telles que Sentinel-1 et 2 pour comparer les informations.

Une activité ESA Φ-Lab qui doit débuter en avril s’intéressera au traitement du langage naturel pour extraire et analyser les informations provenant de sources textuelles vérifiées d’observation de la Terre, et pour interpréter les requêtes des experts et des utilisateurs généraux. Cette activité débouchera à terme sur la création d’un assistant numérique pleinement opérationnel.

« Le concept d’un assistant numérique d’observation de la Terre capable de fournir un large éventail d’informations provenant de sources variées est une perspective alléchante, et comme le montrent ces initiatives, il y a un certain nombre de briques fondamentales à mettre en place pour atteindre cet objectif », commente le chef de l’ESA Φ-Lab Giuseppe Borghi.

« Compte tenu des progrès extrêmement encourageants déjà réalisés avec PhilEO et l’assistant numérique précurseur, je suis convaincu que les nouveaux projets donneront des résultats révolutionnaires dans un avenir proche ».