Lancement du projet européen ADMIRE | EurêkAlerte ! Actualités scientifiques
IMAGE: Illustration des principaux sujets dans la vue du projet ADMIRE Suite
Crédit : ill./© : projet ADMIRE
Quatorze institutions de six pays européens développent un nouveau système de stockage adaptatif pour le calcul haute performance dans le cadre du projet ADMIRE. Leur objectif est d’améliorer considérablement le temps d’exécution des applications dans des domaines tels que les prévisions météorologiques, la dynamique moléculaire, la modélisation de la turbulence, la cartographie, la recherche sur le cerveau et le catalogage de logiciels. Coordonné par l’Université Carlos III de Madrid (UC3M), le projet est financé par l’Entreprise commune européenne pour le calcul à haute performance (EuroHPC JU) et les États participants.
Le traitement de grandes quantités de données, comme cela est souvent nécessaire pour l’intelligence artificielle, est l’une des forces motrices du concept d’ordinateurs hautes performances – une tendance qui remet en question la conception traditionnelle qui se concentrait principalement sur des tâches à forte intensité de calcul. Leurs hiérarchies de stockage à plat avec un système de fichiers central parallèle s’avèrent de plus en plus inadéquates. Les nouvelles technologies offrant un stockage en vrac rapide, non volatile et en même temps économe en énergie ouvrent des opportunités pour répondre aux besoins des applications gourmandes en données. Cependant, il existe actuellement un manque de mécanismes de contrôle adéquats pour les ressources disponibles et de systèmes de fichiers spécifiquement adaptés pour réaliser ce potentiel. Résoudre ce défi est l’objectif principal du projet européen ADMIRE.
La pile logicielle et les applications ADMIRE
Quatre institutions allemandes jouent un rôle majeur dans le projet et travailleront sur divers composants du système ADMIRE global au cours des trois prochaines années.
* Université Johannes Gutenberg de Mayence (JGU):
Les chercheurs de JGU se concentrent sur les systèmes de stockage ad hoc, qui seront contrôlés par le système ADMIRE global lorsque requis par les applications. Avec les systèmes de stockage ad hoc, la charge du système de fichiers parallèle central peut être réduite tout en permettant des débits de données et de métadonnées considérablement plus élevés. Par conséquent, ces systèmes de fichiers peuvent aider à répondre aux exigences d’E/S d’une grande variété d’applications. La contribution de JGU s’articulera autour du système de fichiers GekkoFS, qui a déjà été développé dans des projets précédents. Dans le projet ADMIRE, GekkoFS sera étendu pour répondre aux besoins des applications de calcul haute performance modernes en ce qui concerne leurs exigences sémantiques et de cohérence et leurs modèles d’accès E/S, entre autres. En conséquence, le système de fichiers peut fournir les meilleures performances d’E/S possibles et réagir de manière dynamique aux décisions prises par le système ADMIRE.
* Université technique de Darmstadt :
La TU Darmstadt développe des algorithmes et des outils pour ajuster les ressources utilisées par un programme pendant l’exécution de manière à optimiser à la fois l’exécution des programmes individuels et la capacité de traitement de l’ensemble du système. Extra-P, un outil de modélisation des performances créé par la TU Darmstadt lors de projets précédents, sera étendu dans le cadre d’ADMIRE pour inclure une fonctionnalité de modélisation des E/S.
* Forschungszentrum Jülich :
Le Jülich Supercomputing Center (JSC) du Forschungszentrum Jülich génère des workflows de traitement évolutifs et efficaces pour les applications d’observation de la Terre (EO) basées sur des méthodes d’apprentissage automatique et d’apprentissage en profondeur. En tant que contribution à ADMIRE, le JSC optimisera les performances d’E/S de l’ensemble des pipelines de traitement, qui pourront ensuite mettre à jour automatiquement les cartes d’occupation des sols existantes en analysant une série capturée en temps réel d’images satellite multispectrales. La nouvelle pile logicielle ADMIRE accélérera l’accès et l’analyse des données dans les étapes de traitement, de l’ingestion des données aux produits finaux. Le JSC vise à mettre à disposition des flux de travail de traitement EO efficaces qui peuvent traiter d’énormes quantités de données de capteurs à distance provenant de plusieurs sources dans des scénarios opérationnels afin de fournir aux décideurs des informations claires, à jour et utiles.
* L’installation de calcul et de données Max Planck (MPCDF) :
Le MPCDF travaille sur la production de méthodes in-situ par lesquelles les données peuvent être traitées, par exemple compressées, et analysées pendant les simulations en cours. Cela signifie que de nombreuses tâches, qui ne sont généralement effectuées qu’après la fin d’une simulation et que les données ont été enregistrées dans le système de fichiers, peuvent déjà être entreprises pour les données actives encore dans la mémoire principale, réduisant ainsi considérablement la quantité de données qui est finalement stockée. Les méthodes in-situ ont été développées à l’origine pour des applications de visualisation mais seront adaptées pour une utilisation plus générale au cours du projet ADMIRE, l’objectif étant de faciliter l’utilisation de l’intelligence artificielle et d’autres techniques d’analyse de données.
À propos d’ADMIRE
ADMIRE est un projet financé par l’UE. Il a été lancé le 1er avril 2021 et est doté d’un budget de 7,9 millions d’euros sur trois ans. Coordonnée par l’Université Carlos III de Madrid (Espagne), l’équipe de recherche collaborative multidisciplinaire se compose de membres du Barcelona Supercomputing Center (Espagne), de l’Université Johannes Gutenberg de Mayence (Allemagne), de l’Université technique de Darmstadt (Allemagne), de la Société Max Planck (Allemagne), Forschungszentrum Jülich GmbH (Allemagne), DataDirect Networks (France), Paratools (France), Institut national de recherche en sciences et technologies du numérique (France), Consorzio Interuniversitario Nazionale per l’Informatica (Italie), CINECA Consorzio Interuniversitario (Italie), E4 Computer Engineering SpA (Italie), Instytut Chemii Bioorganicznej Polskiej Akademii Nauk (Pologne) et Kungliga Tekniska högskolan (Suède).
Le projet ADMIRE a reçu un financement de l’entreprise commune européenne pour le calcul à haute performance (JU) dans le cadre de la convention de subvention n° 956748. L’entreprise commune est soutenue par le programme de recherche et d’innovation Horizon 2020 de l’Union européenne et les pays participants d’Espagne, d’Allemagne, de France, Italie, Pologne et Suède.
Lien associé : https://
###
Avertissement: AAAS et EurekAlert ! ne sont pas responsables de l’exactitude des communiqués de presse publiés sur EurekAlert! par les institutions contributrices ou pour l’utilisation de toute information via le système EurekAlert.