Qu’est-ce qu’un superordinateur et comment fonctionne-t-il ?

Se promener parmi les rangées d’armoires de superordinateurs du Leadership Computing Facility de l’Argonne National Laboratory, situé à environ 40 km de Chicago, c’est un peu comme errer dans une version high-tech du labyrinthe Overlook de « The Shining » – le fou maniant la hache en moins.

Les deux superordinateurs primaires de ce labyrinthe d’acier, nommés Mira et Theta, comprennent 101 armoires de la taille d’un réfrigérateur standard qui contiennent des piles de racks et pèsent entre 3 450 et 4 390 livres chacun. Leur poids total combiné est de 160 tonnes, dont une grande partie est due aux systèmes de refroidissement par eau qui empêchent la surchauffe. Ces machines, ainsi que plusieurs autres systèmes plus petits, sont hébergées dans un centre de données de 25 000 pieds carrés aux plafonds bas et au sol en carrelage blanc. Avec tous ces équipements qui ronronnent, ce n’est pas un endroit tranquille. Près des ordinateurs, les visiteurs doivent parler-crier pour être entendus au-dessus d’un bourdonnement fort et constant.

Six milliards de fois plus rapide : La nouvelle maison du superordinateur Aurora

Très vaste, cette installation n’est pas suffisante pour accueillir la bête qui va bientôt y atterrir. En 2021, si tout se passe comme prévu, un nouveau supercalculateur extrêmement puissant, baptisé Aurora, y prendra ses quartiers. Et donc, pour préparer son arrivée, une expansion majeure est en cours. D’un coût de 500 millions de dollars, Aurora sera le premier de trois superordinateurs dits « exascale », capables d’effectuer un milliard de milliards (ou quintillions) de calculs par seconde, dans lesquels le ministère américain de l’énergie (DOE), qui dirige Argonne et 17 autres laboratoires nationaux, investit 1,8 milliard de dollars. (Un autre, baptisé Frontier, sera bientôt installé au Oak Ridge National Laboratory dans le Tennessee).

Sans surprise pour un tel pognon, Aurora sera capable de réaliser de petits miracles de calcul. Mesuré en 1018 FLOPS (qui signifie opérations en virgule flottante par seconde), le système sera six milliards de fois plus rapide que son prédécesseur de jadis, le révolutionnaire Cray-1 de 1964. En termes plus tangibles, avec l’aimable autorisation de Design News, « une personne ajoutant 1+1+1 dans une calculatrice manuelle une fois par seconde, sans temps mort pour manger ou dormir, aurait besoin de 31,7 trillions d’années pour faire ce qu’Aurora fera en une seconde. »

C’est entre cinq et dix fois plus rapide que l’actuel champion en titre des superordinateurs, une méga-machine IBM-Nvidia appelée Summit qui réside à Oak Ridge. L’esprit, soufflé.

Qui sera détrôné par Aurora ? Voici un aperçu des 10 superordinateurs les plus rapides du monde selon le brain trust du TOP500.

« Il y a des limites à ce que nous pouvons faire aujourd’hui sur un superordinateur », a déclaré récemment Mike Papka, directeur de la Leadership Computing Facility, après avoir fait visiter l’espace. « Avec Aurora, nous pouvons les faire passer au niveau supérieur. Actuellement, nous pouvons faire des simulations de l’évolution de l’univers. Mais avec Aurora, nous pourrons le faire de manière plus réaliste, en y ajoutant plus de physique et de chimie. Nous commençons à faire des choses comme essayer de comprendre comment différents médicaments interagissent entre eux et, disons, avec une certaine forme de cancer. Nous pouvons le faire à petite échelle maintenant. Nous serons en mesure de le faire à une échelle encore plus grande avec Aurora. »

En tant que l’un des 52 superordinateurs du département de l’énergie, Aurora sera probablement le seul système exascale existant lors de ses débuts. (C’est-à-dire, à moins que la Chine n’en construise un en premier – ce qui, selon certains initiés, est assez peu probable malgré les rapports selon lesquels le pays se démène pour en fabriquer un d’ici 2020). Lors d’une conférence de presse organisée en mars 2019 pour annoncer l’installation d’Aurora, Rick Stevens, directeur associé du laboratoire d’Argonne, a expliqué que le système gèrera des applications de calcul à haute performance ainsi que l’analyse des données en continu générées par les accélérateurs, les détecteurs, les télescopes et autres équipements de recherche.

À ce stade, cependant, Aurora reste un travail en cours tandis que Summit obtient la gloire. Prévu à l’origine pour être mis en service il y a plusieurs années dans une incarnation beaucoup moins puissante et lancé à la mi-2018, Summit a coûté 200 millions de dollars, peut effectuer des calculs mathématiques complexes à un rythme de 200 quadrillions (ou 200 trillions) par seconde et est responsable du fait que l’Amérique a repris à la Chine la première place de la liste TOP500. Physiquement imposant, il est composé de plus de 300 unités – de taille similaire à celles de Mira et Theta – qui pèsent au total 340 tonnes, occupent 9 250 pieds carrés et sont alimentées par 9 216 puces de traitement central. À l’intérieur se trouvent des kilomètres de câbles en fibre optique, et le refroidissement de ce mastodonte nécessite 4 000 gallons d’eau par minute. De plus, il consomme de l’énergie de manière vorace – assez pour alimenter des milliers de foyers.

Lorsque le « père du supercalculateur », Seymour Cray, a commencé à construire ses machines révolutionnaires dans les années 1960, un tel étalage ondulant de muscle computationnel était incompréhensible. Plus d’un demi-siècle plus tard, il devient lentement la norme – et semblera un jour aussi désuet qu’un Atari 2600 aujourd’hui.

Qu’est-ce qu’un superordinateur ?(Indice : le calcul parallèle est la clé)

Les superordinateurs utilisent depuis des années une technique appelée « traitement massivement parallèle », par laquelle les problèmes sont divisés en parties et travaillés simultanément par des milliers de processeurs, par opposition à la méthode « en série », un par un, de votre bon vieux MacBook Air, par exemple. Voici une autre bonne analogie, celle-ci provenant d’Explainthatstuff.com :

C’est comme arriver à une caisse avec un panier plein d’articles, mais ensuite diviser vos articles entre plusieurs amis différents. Chaque ami peut passer à une caisse séparée avec quelques-uns des articles et payer séparément. Une fois que vous avez tous payé, vous pouvez vous réunir à nouveau, charger le panier et partir. Plus il y a d’articles et plus vous avez d’amis, plus il devient rapide de faire les choses par traitement parallèle – du moins, en théorie.

« Vous devez utiliser le calcul parallèle pour vraiment profiter de la puissance du superordinateur », explique Caitlin Joann Ross, candidate au doctorat à l’Institut polytechnique de Rensselaer, qui a récemment effectué une résidence de six mois à Argonne. « Il faut comprendre comment les données doivent être échangées entre les processus afin de le faire de manière efficace, et il y a donc beaucoup de petits défis différents qui rendent le travail très amusant. Bien qu’il y ait des jours où cela peut certainement être frustrant »

Les problèmes de « débogage », dit-elle, sont la principale cause de cette frustration. Des calculs qui pourraient fonctionner sans problème avec quatre processeurs, par exemple, pourraient tomber en panne si un cinquième est ajouté.

« Si tout fonctionne parfaitement, dit Mme Ross, alors ce que vous exécutez tourne beaucoup plus vite que sur un ordinateur avec moins de processeurs ou un seul processeur. Il y a certains calculs qui peuvent prendre des semaines ou des mois à exécuter sur votre ordinateur portable, mais si vous pouvez les paralléliser efficacement pour les exécuter sur un superordinateur, cela peut prendre une journée. »

Un autre domaine de travail de Ross consiste à simuler les superordinateurs eux-mêmes – plus précisément, les réseaux utilisés sur les superordinateurs. Les données provenant d’applications qui fonctionnent sur des superordinateurs réels sont introduites dans un simulateur, qui permet de tester diverses fonctions sans mettre tout le système hors ligne. Une fonction appelée « interférence des communications » est l’une de ces fonctions.

« Dans la vie réelle, différents utilisateurs soumettront des travaux au superordinateur, qui fera un certain type de programmation pour déterminer quand ces travaux seront exécutés », explique Ross. « Il y aura généralement plusieurs travaux différents exécutés sur le superordinateur en même temps. Ils utilisent différents nœuds de calcul, mais ils partagent les ressources du réseau. Ainsi, la communication de la tâche de quelqu’un d’autre peut ralentir la vôtre, en fonction de la façon dont les données sont acheminées sur le réseau. Avec nos simulations, nous pouvons explorer ces types de situations et tester des choses comme d’autres protocoles de routage qui pourraient aider à améliorer les performances du réseau.

À quoi servent les superordinateurs ?À simuler la réalité, c’est tout

Depuis plusieurs décennies et jusqu’à aujourd’hui, la principale contribution de la superinformatique à la science est sa capacité sans cesse améliorée à simuler la réalité afin d’aider les humains à faire de meilleures prévisions de performance et à concevoir de meilleurs produits dans des domaines allant de l’industrie manufacturière et pétrolière à l’industrie pharmaceutique et militaire. Jack Dongarra, l’un des plus grands experts mondiaux en supercalcul, compare cette capacité à celle d’une boule de cristal.

« Disons que je veux comprendre ce qui se passe lorsque deux galaxies entrent en collision », dit Dongarra. « Je ne peux pas vraiment faire cette expérience. Je ne peux pas prendre deux galaxies et les faire entrer en collision. Je dois donc construire un modèle et le faire fonctionner sur un ordinateur. Autrefois, lorsqu’on concevait une voiture, on la prenait et on l’écrasait contre un mur pour voir si elle résistait bien à l’impact. C’est assez cher et cela prend beaucoup de temps. Aujourd’hui, nous ne faisons pas cela très souvent ; nous construisons un modèle informatique avec toute la physique et nous l’écrasons contre un mur simulé pour comprendre où sont les points faibles. »

Les entreprises, en particulier, voient la valeur monétaire (ROI, comme disent les types d’entreprise) dans les simulations de superordinateurs, qu’elles fabriquent des voitures, forent du pétrole ou découvrent de nouveaux médicaments. En 2018, les achats des entreprises et des gouvernements ont contribué à un marché du calcul haute performance de plus en plus robuste.

« Sur les cinq cents meilleurs ordinateurs, plus de la moitié sont dans l’industrie », déclare Dongarra, qui a passé une partie de sa carrière à Argonne. « L’industrie a compris. Ils investissent dans des ordinateurs à haute performance pour être plus compétitifs et prendre l’avantage sur leurs concurrents. Et ils estiment que cet argent est bien dépensé. Ils investissent dans ces choses pour aider à stimuler leurs produits et l’innovation, leur résultat net, leur productivité et leur rentabilité. »

Mais c’est plus grand que le simple retour sur investissement.

« L’entreprise commerciale traditionnelle peut voir des calculs de retour sur investissement du type : « Cela nous a permis d’économiser tel montant de coûts de tests physiques » ou « Nous avons pu arriver plus rapidement sur le marché et donc gagner des revenus supplémentaires », explique Andrew Jones, consultant en calcul haute performance basé au Royaume-Uni. « Mais le calcul du retour sur investissement de base pour le calcul haute performance n’est pas nécessairement la source de la valeur. Si vous demandez à une compagnie pétrolière, cela ne se résume pas à pouvoir trouver du pétrole 30 % moins cher. Il s’agit de pouvoir trouver du pétrole ou non. »

Les entreprises qui utilisent le supercalculateur pour apporter des améliorations à grande échelle et accroître l’efficacité ont un avantage sur leurs concurrents.

« Et la même chose est vraie pour une grande partie de la science », ajoute Jones. « Vous ne cherchez pas nécessairement un retour sur investissement dans un sens spécifique, vous cherchez la capacité générale – si nos chercheurs sont capables de faire de la science qui est compétitive au niveau international ou non. »

Le besoin de vitesse

‘ »Il n’y a pas deux plus grands délinquants de ‘regardez comment mon système est grand’ que les États-Unis.

Parce que des ordinateurs plus rapides permettent aux chercheurs de mieux comprendre plus rapidement ce sur quoi ils travaillent, il y a un besoin croissant – ou du moins un fort désir – de vitesse. Pour M. Dongarra, il s’agit d’une « quête sans fin », et les capacités exascales soutenues d’Aurora (qui n’ont pas encore été prouvées) constitueraient le point culminant de cette quête jusqu’à présent. Pourtant, il ne sera qu’un parmi tant d’autres. Des dizaines d’autres superordinateurs portant des noms parfois épiques (Titan, Excalibur) fonctionnent dans 26 autres pays du monde. Fabriqués par 36 fournisseurs différents, ils sont pilotés par 20 générations de processeurs et servent une variété d’industries ainsi que des fonctions gouvernementales allant de la recherche scientifique à la défense nationale.

Ces statistiques proviennent du site web TOP500.org. Cofondé par Dongarra, ce site suit tout ce qui concerne les superordinateurs depuis 1993 et utilise son Benchmark LINPACK (qui estime la vitesse à laquelle un ordinateur est susceptible d’exécuter un ou plusieurs programmes) pour mesurer les performances. Selon son dernier classement des plus grands et des plus mauvais ordinateurs du monde, l’Amérique possède cinq (et bientôt six) des dix premiers, dont le superordinateur le plus rapide de la planète, le Summit d’Oak Ridge, et le deuxième, Sierra, au Lawrence Livermore National Laboratory en Californie. La Chine, deuxième, n’en a que deux (mais bientôt trois). Certes, le pays occupe 227 des 500 premières places et a fabriqué 303 des machines figurant sur cette liste, mais les États-Unis peuvent toujours brandir leur doigt de mousse géant. Pour l’instant. Le concours est en cours et ne montre aucun signe d’affaiblissement.

« Il n’y a pas deux plus grands délinquants du « regardez comme mon système est gros » que les États-Unis et la Chine », déclare Nicole Hemsoth, cofondatrice et corédactrice de The Next Platform.

Si la Chine s’est historiquement moins préoccupée du Top 500, explique-t-elle, au cours des dernières années, elle a fait du calcul à haute performance « un point de fierté nationale », en mettant davantage l’accent sur les « performances de haut niveau » et en dépensant des milliards pour les atteindre. La France et le Japon comptent parmi les autres concurrents exascale. Selon une étude, 10 milliards de dollars sur les 130 milliards de dollars prévus pour les superordinateurs entre 2018 et 2021 seront consacrés aux systèmes exascale comme celui qui est prévu pour Argonne.

« La course entre les pays est en partie réelle et en partie artificielle », dit Jones. « Ainsi, par exemple, si vous êtes le directeur d’un laboratoire national américain et que vous essayez d’obtenir des fonds pour votre prochaine machine HPC, c’est un très bon argument de dire : ‘Eh bien, la Chine en a une dix fois plus grande, nous devons donc la rattraper’. L’Union européenne et la Chine jouent le même jeu contre les États-Unis, donc il y a un peu de tension créée qui n’est pas nécessairement réelle, mais qui aide à conduire le . »

Les médias jouent également un rôle important. Les journalistes adorent présenter des statistiques de superordinateur époustouflantes et les expliquer de manière évocatrice. Il y a un exemple de cela au début de cette histoire. En voici un autre, tiré du New York Times : « Si un stade construit pour 100 000 personnes était plein, et que chacun de ses occupants disposait d’un ordinateur portable moderne, il faudrait 20 stades pour égaler la puissance de calcul de Summit. » N’ÊTES-VOUS PAS ENTRAÎNÉS ?

Les responsables gouvernementaux apprécient également un peu d’arrogance en matière de supercalculateurs, présentant leur puissance de traitement gargantuesque comme la clé de l’amélioration de la société – et, bien sûr, comme la preuve de l’impressionnante capacité de leur pays. John F. Kennedy, qui a relancé la course à l’espace en 1961, aurait été tout à fait d’accord avec cela.

« C’est la compétitivité économique de base », dit Jones. « Si vous descendez si bas que votre nation n’est plus économiquement compétitive par rapport à d’autres nations de taille comparable, alors cela entraîne toute une série d’autres problèmes politiques et de sécurité à gérer. »

COmputing SPeed + Power = Military Might

Au delà des aspects sécuritaires et économiques, ajoute-t-il, ceux qui comprennent clairement les implications du calcul haute performance voient ses énormes avantages pour la science, les affaires et d’autres secteurs. « C’est donc une évidence que de faire ce genre de choses ». (Dans le domaine de l’armement nucléaire, par exemple, les superordinateurs se sont révélés être une bénédiction pour les choses qui explosent. Des simulations sophistiquées ont éliminé le besoin de tests en conditions réelles.

« Ils ne développent pas quelque chose, vont dans le désert, percent un trou et voient si cela fonctionne », dit Dongarra d’une pratique qui a cessé il y a des décennies. « Ils simulent cette conception sur un superordinateur. Ils simulent également ce qui arrive à ceux-ci s’ils sont sur une étagère pendant tant d’années, car ils doivent vérifier que le stock fonctionnera. »

Dans une mise à niveau majeure récente, le laboratoire de recherche de l’armée de l’air – l’un des cinq centres de supercalculateurs du ministère de la Défense des États-Unis – a installé quatre superordinateurs partageables sur lesquels l’ensemble de l’armée américaine peut mener des recherches classifiées. Le projet a été présenté comme un moyen d’aider les chercheurs de l’armée de l’air, de l’armée de terre et de la marine à « répondre rapidement aux défis les plus pressants et les plus complexes de notre nation, ce qui accélère également la mise à disposition de nouvelles capacités pour le combattant à des coûts moindres pour le contribuable. »

Interprétez cela comme vous voulez.

Supercalculateurs et intelligence artificielle

L’intelligence artificielle est encore assez rudimentaire, mais les supercalculateurs changent cela en turbo-chargeant les processus d’apprentissage automatique pour produire des résultats plus rapides à partir de plus de données – comme dans cette recherche en sciences du climat.

« S’engager dans la superinformatique, c’est croire au pouvoir de l’algorithme pour distiller des informations précieuses et significatives à partir de la mise en œuvre répétée de la logique procédurale », écrit Scott Fulton III dans un article perspicace sur ZDNet. « A la base du supercalculateur se trouvent deux idéaux : l’un qui professe que la machine d’aujourd’hui finira par atteindre une solution nouvelle et extraordinairement précieuse, suivi d’une seconde notion plus subtile selon laquelle la machine d’aujourd’hui est un prototype pour celle de demain. »

Comme le directeur d’Argonne Paul Kearns l’a déclaré à HPCWire, Aurora est destiné à l’IA de « prochaine génération » qui accélérera les découvertes scientifiques et rendra possible des améliorations dans des domaines tels que les prévisions météorologiques extrêmes, les traitements médicaux, la cartographie du cerveau, le développement de nouveaux matériaux. Il nous aidera même à mieux comprendre l’univers, a-t-il ajouté, « et ce n’est qu’un début ».

Si M. Dongarra pense que les superordinateurs façonneront l’avenir de l’IA, la manière exacte dont cela se produira n’est pas entièrement prévisible.

« Dans une certaine mesure, les ordinateurs qui sont développés aujourd’hui seront utilisés pour des applications qui nécessitent des calculs d’intelligence artificielle, d’apprentissage profond et de neuro-réseaux », déclare M. Dongarra. « Ce sera un outil qui aidera les scientifiques à comprendre et à résoudre certains des problèmes les plus difficiles auxquels nous sommes confrontés. »

« Sera » – le futur. L’IA ne représente encore qu’un faible pourcentage des activités des superordinateurs. Pour la plupart, dit Jones, ils sont des « machines à remonter le temps » qui « amènent la prochaine science de cinq ans en avant à aujourd’hui. »

« Quatre-vingt-dix pour cent des installations de calcul haute performance traditionnelles font encore des charges de travail de calcul haute performance traditionnelles – simulations d’ingénierie, dynamique des fluides, modélisation météorologique et climatique », explique-t-il. « Et l’IA est là au niveau de cinq ou dix pour cent, augmentant ces charges et aidant à les faire fonctionner mieux, mais elle ne domine pas encore les exigences pour l’achat de plates-formes HPC ou même pour guider les programmes de financement du HPC. »

Hemsoth pense qu’il faudra probablement attendre encore cinq ans avant que les flux de travail HPC existants incluent beaucoup d’IA et d’apprentissage profond, qui auront tous deux des exigences de calcul différentes de celles qu’ils ont actuellement.

« Tout le monde saute un peu les étapes en ce qui concerne l’IA », dit-elle. « Ils achètent des systèmes qui sont adaptés à l’IA telle qu’elle est actuellement. L’IA sera une partie pratique des charges de travail, mais elle va changer. Et les logiciels et les applications sur lesquels elle doit fonctionner vont changer, ce qui va modifier le matériel dont vous avez besoin. Ce genre de choses évolue rapidement, mais avec des cycles de production de matériel vraiment longs – surtout si vous êtes un laboratoire national et que vous devez vous procurer ce genre de choses trois à cinq ans avant même d’avoir la machine. »

L’avenir du supercalculateur

« L’amélioration de l’humanité est un objectif noble à avoir. »

Un autre coup de massue : votre smartphone actuel est aussi rapide qu’un supercalculateur l’était en 1994 – un qui avait 1 000 processeurs et faisait des simulations nucléaires. (Y a-t-il une application pour cela ?) Il va donc de soi que le smartphone (ou quel que soit son nom) que vous aurez dans un quart de siècle pourrait théoriquement être au niveau d’Aurora. Le fait est que cette technologie est rapide et qu’elle ne fait que s’accélérer. Voici comment Dongarra résume la situation :

« Nous avons atteint le téraflops en 1997 sur une machine des Sandia National Laboratories. C’était 1012 teraflops. Puis, en 2008, nous avons atteint le pétaflops – 1015 – à Los Alamos. Nous sommes maintenant sur le point d’atteindre l’exascale, avec 1018 opérations, vers le début de 2020 ou 2021. Dans 10 ou 11 ans probablement, nous serons à zettascale – 1021 opérations par seconde. Lorsque j’ai commencé dans l’informatique, nous faisions des mégaflops, soit 106 opérations. Les choses changent donc. Il y a des changements dans l’architecture, des changements dans les logiciels et les applications qui doivent évoluer avec cela. Passer au niveau supérieur est une progression naturelle. »

Un article récent sur TOP500.com intitulé « Le supercalculateur se dirige vers une crise existentielle » brosse un tableau des choses à venir dans lequel les simulations passent au second plan.

« L’apprentissage automatique, en particulier, pourrait en venir à dominer la plupart des domaines informatiques, y compris le HPC (et même l’analyse des données) au cours de la prochaine décennie et demie », écrit l’auteur Michael Feldman. « Alors qu’aujourd’hui, il est surtout utilisé comme une étape auxiliaire dans l’informatique scientifique traditionnelle – pour les simulations de prétraitement et de post-traitement, dans certains cas, comme la découverte de médicaments, il pourrait carrément remplacer les simulations. »

Quelle que soit la forme que prendront les superordinateurs, M. Papka d’Argonne affirme qu’ils deviendront de plus en plus puissants et transformateurs, affectant tout, du piéton au profond – de la conception de batteries de voitures électriques plus efficaces à, juste peut-être, l’éradication de maladies longtemps combattues comme le cancer. C’est du moins ce qu’il espère.

« L’amélioration de l’humanité, » dit Papka, « est un objectif noble à avoir. »

RelatedRead More Stories About Hardware Companies