Projets technologiques de pointe dans les plus grandes banques, fonds spéculatifs et sociétés de capital-investissement du monde

Réécriture d’une pierre angulaire de la plate-forme de données de Man Group avec un moteur C++ suralimenté

Solidifier: Groupe d’hommes

Projet: Mise à niveau du moteur de science des données de Man Group pour prendre en charge d’énormes quantités de données

Exécutif principal : Gary Collier, directeur de la technologie d’Alpha Technology chez Man Group

Les données sont la pierre angulaire de toute entreprise d’investissement. Et chez Man Group, l’un des plus grands fonds spéculatifs cotés, avec 142 milliards de dollars d’actifs sous gestion, il s’agit de gérer des données à grande échelle.

C’est ce qui a incité l’entreprise à créer Arctic, un système de science des données centré sur Python que les analystes en investissement de Man Group utilisent pour générer de l’alpha, effectuer des analyses de risques et alimenter des applications d’apprentissage automatique. Le système a été rendu open source en 2015 et compte plus d’un million de téléchargements à ce jour, selon Collier.

« Chaque jour, nous traitons régulièrement des milliards de points de données et la force et la flexibilité de notre plate-forme nous permettent de fournir 9 500 Go de données nettoyées sur les positions, les risques, les échanges et le marché pour alimenter notre entreprise », a déclaré Collier, qui supervise la technologie utilisée par les gestionnaires d’investissement. , a déclaré Insider par e-mail. Un élément clé d’Arctic est qu’il s’interface de manière transparente avec Python, un langage de codage largement utilisé dans les services financiers, car il a été conçu pour servir d’extension naturelle à la pile Python que les équipes de Man Group utilisent quotidiennement.

« Lorsque vous traitez des données pertinentes pour la modélisation des marchés financiers, quels que soient leur type et leur forme initiaux – numériques, textuels, images – très rapidement, vous vous retrouvez à travailler avec des blocs de données. Essentiellement, de très grandes matrices », a déclaré Collier. « Arctic offre la possibilité de stocker, d’interroger et de manipuler des trames de données à l’échelle industrielle requise – pensez potentiellement à des milliards de lignes et à des centaines de milliers de colonnes. »

Fin 2017, Man Group s’est lancé dans une réécriture complète d’Arctic pour « s’assurer qu’il est prêt pour la prochaine génération de défis de données auxquels notre industrie est confrontée ». Arctic a évolué pour devenir ArcticDB, qui contient la même interface Python conviviale, mais également un moteur C++ suralimenté. Ce moteur fournit une amélioration considérable de l’échelle des données que le système peut gérer, de la rapidité avec laquelle les requêtes sont récupérées et de l’efficacité avec laquelle les données sont stockées.

« Un exemple concret de cela est Arctic, ce qui rend trivial le traitement de trames de données ultra-larges, telles qu’une trame de données de 400 000 colonnes représentant un grand univers d’obligations d’entreprises », a déclaré Collier. « Arctic fait face à ces types de défis liés aux données en ce moment et en production. »

ArcticDB gère désormais des centaines de téraoctets de données à travers la recherche et la production, a ajouté Collier. Et bien que la réécriture ait commencé en 2017, elle est toujours en cours de développement, Man Group ajoutant des fonctionnalités pour optimiser les performances et l’efficacité.

« Il est souvent plus utile de considérer les projets technologiques transformationnels comme des » fronts d’onde de changement « , par opposition à des initiatives binaires de démarrage, de mise en œuvre et d’arrêt », a déclaré Collier.