Wandelen tussen de rijen supercomputerkasten in de Leadership Computing Facility van Argonne National Laboratory, ongeveer 25 mijl van Chicago, is een beetje als dwalen door een high-tech versie van “The Shining’s” Overlook Maze – zonder de bijl-zwaaiende gek.
De twee primaire supercomputers in dat stalen labyrint, genaamd Mira en Theta, bestaan uit 101 kasten ter grootte van standaard koelkasten die stapels rekken bevatten en tussen de 3.450 en 4.390 pond wegen. elk. Hun gecombineerde totaal: 160 ton – een groot deel van dat gewicht is te danken aan waterkoelsystemen die oververhitting voorkomen. Samen met een aantal andere, kleinere systemen zijn de machines ondergebracht in een datacenter van 25.000 vierkante meter met lage plafonds en een witte tegelvloer. Met al die zoemende apparatuur is het er niet stil. In de buurt van de computers moeten bezoekers schreeuwen om boven het constante, luide gezoem uit te komen.
- Six Billion Times Faster: The Aurora SuperComputer’s New Home
- Wat is een supercomputer?(Hint: Parallel Computing is de sleutel)
- Waarvoor worden supercomputers gebruikt?Simulating Reality, that’s all
- Waarvoor worden supercomputers gebruikt?
- The Need for Speed
- COmputing SPeed + Power = Military Might
- Supercomputing en kunstmatige intelligentie
- De toekomst van supercomputing
Six Billion Times Faster: The Aurora SuperComputer’s New Home
Hoe groot de faciliteit ook is, het is niet genoeg voor het beest dat er binnenkort zal landen. Als alles volgens plan verloopt, zal ergens in 2021 een fantastisch krachtige nieuwe supercomputer, Aurora genaamd, er zijn intrek nemen. En om zijn komst voor te bereiden, is een grote uitbreiding aan de gang. Aurora kost 500 miljoen dollar en wordt de eerste van drie zogenaamde “exascale” supercomputers die een miljard miljard (of quintiljoen) berekeningen per seconde kunnen uitvoeren en waarin het Amerikaanse ministerie van energie (DOE), dat Argonne en 17 andere nationale laboratoria runt, 1,8 miljard dollar investeert. (Een ander, Frontier genaamd, zal binnenkort worden geïnstalleerd in het Oak Ridge National Laboratory in Tennessee).
Niet verrassend voor zoveel poen, zal Aurora in staat zijn om kleine rekenwonderen te verrichten. Gemeten in 1018 FLOPS (wat staat voor floating point operations per seconde), zal het systeem zes miljard keer sneller zijn dan zijn lang geleden overleden voorganger, de baanbrekende Cray-1 uit 1964. In tastbaarder bewoordingen, met dank aan Design News: “Een persoon die eenmaal per seconde 1+1+1 optelt in een handrekenmachine, zonder vrije tijd om te eten of te slapen, zou 31,7 triljoen jaar nodig hebben om te doen wat Aurora in één seconde zal doen.”
Dat is tussen de vijf en tien keer sneller dan de huidige regerende kampioen van supercomputers, een IBM-Nvidia megamachine genaamd Summit die zich in Oak Ridge bevindt. Geest, geblazen.
Wie zal Aurora onttronen? Hier is een overzicht van de 10 snelste supercomputers ter wereld volgens de TOP500.
“Er zijn beperkingen aan wat we vandaag de dag met een supercomputer kunnen doen,” zei Mike Papka, directeur van de Leadership Computing Facility, onlangs nadat hij een rondleiding door de ruimte had gegeven. “Met Aurora kunnen we die naar een hoger niveau tillen. Op dit moment kunnen we simulaties maken van de evolutie van het heelal. Maar met Aurora kunnen we dat op een realistischer manier doen, met meer fysica en meer chemie erbij. We beginnen dingen te doen zoals proberen te begrijpen hoe verschillende medicijnen op elkaar inwerken en, laten we zeggen, op een vorm van kanker. Dat kunnen we nu op kleine schaal doen. Met Aurora zullen we dat op nog grotere schaal kunnen doen.”
Als een van de 52 supercomputers van het ministerie van Energie, zal Aurora waarschijnlijk het enige exascale systeem zijn dat bestaat wanneer het debuteert. (Dat wil zeggen, tenzij China er eerst een bouwt – wat volgens sommige insiders vrij onwaarschijnlijk is, ondanks berichten dat het land zich haast om er een te maken tegen 2020). Tijdens een persconferentie in maart 2019 waarin de installatie van Aurora werd aangekondigd, legde Rick Stevens, directeur van het Argonne-laboratorium, uit dat het systeem zal werken met krachtige computertoepassingen en met de analyse van streaming gegevens die worden gegenereerd door versnellers, detectoren, telescopen en andere onderzoeksapparatuur.
Op dit moment is Aurora echter nog een werk in uitvoering, terwijl Summit de eer krijgt. Summit, dat oorspronkelijk enkele jaren geleden in een veel minder krachtige versie in gebruik zou worden genomen en medio 2018 is gelanceerd, kostte 200 miljoen dollar, kan complexe wiskundige berekeningen uitvoeren met een snelheid van 200 quadriljoen (of 200 biljoen) per seconde en is verantwoordelijk voor het terugveroveren van de eerste plaats van Amerika op de TOP500-lijst van China. De computer is fysiek indrukwekkend: hij bestaat uit meer dan 300 eenheden – vergelijkbaar met die van Mira en Theta – die in totaal 340 ton wegen, een oppervlakte hebben van 9.250 vierkante meter en worden aangedreven door 9.216 centrale verwerkingschips. Binnenin bevinden zich kilometers glasvezelkabels, en voor het koelen van deze kolos is 4.000 gallons water per minuut nodig. Ook verbruikt het gulzig energie – genoeg om duizenden huizen van stroom te voorzien.
Toen de “vader van de supercomputing”, Seymour Cray, in de jaren zestig voor het eerst begon met de bouw van zijn revolutionaire machines, was zo’n kabbelend vertoon van rekenkracht onbegrijpelijk. Meer dan een halve eeuw later wordt het langzaam de norm – en zal het op een dag net zo vreemd lijken als een Atari 2600 nu is.
Wat is een supercomputer?(Hint: Parallel Computing is de sleutel)
Supercomputers maken al jaren gebruik van een techniek die “massaal parallelle verwerking” wordt genoemd, waarbij problemen in delen worden opgesplitst en gelijktijdig door duizenden processors worden verwerkt, in tegenstelling tot de één-per-tijd “seriële” methode van bijvoorbeeld uw gewone oude MacBook Air. Hier is nog een goede analogie, deze is van Explainthatstuff.com:
Het is alsof je bij een kassa aankomt met een winkelwagentje vol artikelen, maar je artikelen vervolgens verdeelt over verschillende vrienden. Elke vriend kan apart afrekenen met een paar artikelen en apart betalen. Als jullie allemaal betaald hebben, kunnen jullie weer samenkomen, het winkelwagentje volladen en weggaan. Hoe meer artikelen er zijn en hoe meer vrienden je hebt, hoe sneller het gaat om parallelle verwerking – althans, in theorie.
“Je moet parallel computing gebruiken om echt te kunnen profiteren van de kracht van de supercomputer,” zegt promovendus Caitlin Joann Ross van het Rensselaer Polytechnic Institute, die onlangs een half jaar in Argonne verbleef. “Je moet begrijpen hoe gegevens tussen processen moeten worden uitgewisseld om het op een efficiënte manier te doen, dus er zijn een heleboel verschillende kleine uitdagingen die het heel leuk maken om ermee te werken. Hoewel er dagen zijn dat het zeker frustrerend kan zijn.”
“Debugging”-problemen, zegt ze, zijn de belangrijkste oorzaak van die frustratie. Berekeningen die bijvoorbeeld met vier processoren goed lopen, kunnen stuk gaan als er een vijfde wordt toegevoegd.
“Als alles perfect werkt,” zegt Ross, “dan werkt alles wat je doet een stuk sneller dan op een computer met minder processors of een enkele processor. Er zijn bepaalde berekeningen die weken of maanden kunnen duren op je laptop, maar als je ze efficiënt kunt parallelliseren om ze op een supercomputer uit te voeren, duurt het misschien maar een dag.”
Een ander gebied van Ross’ werk betreft het simuleren van supercomputers zelf – meer specifiek, de netwerken die op supercomputers worden gebruikt. Gegevens van toepassingen die op echte supercomputers draaien, worden in een simulator ingevoerd, waarmee verschillende functies kunnen worden getest zonder het hele systeem offline te halen. Een van die functies is de zogenaamde “communicatie-interferentie”.
“In het echte leven dienen verschillende gebruikers taken in bij de supercomputer, die een soort planning uitvoert om te bepalen wanneer die taken worden uitgevoerd,” zegt Ross. “Er zullen meestal meerdere verschillende taken tegelijkertijd op de supercomputer draaien. Ze gebruiken verschillende computernodes, maar ze delen de netwerkbronnen. Dus de communicatie van de job van iemand anders kan jouw job vertragen, gebaseerd op de manier waarop gegevens door het netwerk worden geleid. Met onze simulaties kunnen we dit soort situaties onderzoeken en bijvoorbeeld andere routeringsprotocollen testen die de prestaties van het netwerk zouden kunnen verbeteren.
Waarvoor worden supercomputers gebruikt?Simulating Reality, that’s all
In de afgelopen decennia en tot op de dag van vandaag is de belangrijkste bijdrage van supercomputers aan de wetenschap het steeds betere vermogen om de werkelijkheid te simuleren, zodat mensen betere prestatievoorspellingen kunnen doen en betere producten kunnen ontwerpen op gebieden variërend van productie en olie tot farmaceutica en defensie. Jack Dongarra, een van ’s werelds meest vooraanstaande supercomputerdeskundigen, vergelijkt dat vermogen met het hebben van een kristallen bol.
“Stel dat ik wil begrijpen wat er gebeurt als twee melkwegstelsels botsen,” zegt Dongarra. “Ik kan dat experiment niet echt doen. Ik kan niet twee sterrenstelsels nemen en ze laten botsen. Dus moet ik een model bouwen en dat op een computer laten draaien. Vroeger, toen ze een auto ontwierpen, reden ze met die auto tegen een muur om te zien hoe goed hij tegen de klap bestand was. Nou, dat is vrij duur en tijdrovend. Tegenwoordig doen we dat niet zo vaak meer; we bouwen een computermodel met alle fysica en botsen ermee tegen een gesimuleerde muur om te begrijpen waar de zwakke punten zitten.”
Waarvoor worden supercomputers gebruikt?
Vooral bedrijven zien de monetaire waarde (ROI, zoals de bedrijfstypen zeggen) in supercomputersimulaties, of ze nu auto’s produceren, naar olie boren of nieuwe medicijnen ontdekken. In 2018 droegen bedrijfs- en overheidsaankopen bij aan een steeds robuustere markt voor high-performance computing.
“Van de top vijfhonderd computers is meer dan de helft in de industrie”, zegt Dongarra, die een vroeg deel van zijn carrière bij Argonne doorbracht. “De industrie begrijpt het. Ze investeren in computers met hoge prestaties om concurrerender te zijn en een voorsprong te krijgen op hun concurrentie. En ze hebben het gevoel dat dat geld goed besteed is. Ze investeren in deze dingen om hun producten en innovatie, hun bottom line, hun productiviteit en hun winstgevendheid te stimuleren.”
Maar het is groter dan alleen ROI.
“Traditionele commerciële ondernemingen kunnen rendementsberekeningen maken van, ‘Het heeft ons dit bedrag aan fysieke testkosten bespaard’, of, ‘We konden sneller op de markt komen en daardoor extra inkomsten verwerven'”, zegt Andrew Jones, een in het Verenigd Koninkrijk gevestigde High Performance Computing-consultant. “Maar een basis ROI-berekening voor HPC is niet noodzakelijk waar de waarde vandaan komt. Als je het een oliemaatschappij vraagt, komt het er niet op neer dat je in staat bent olie 30 procent goedkoper te vinden. Het gaat erom of je olie kunt vinden of niet.”
Bedrijven die supercomputing gebruiken om grote verbeteringen aan te brengen en de efficiëntie te verhogen, hebben een streepje voor op hun concurrenten.
“En hetzelfde geldt voor veel van de wetenschap,” voegt Jones toe. “Je bent niet per se op zoek naar een rendement op investering in specifieke zin, je bent op zoek naar algemene capaciteit – of onze onderzoekers in staat zijn om wetenschap te bedrijven die internationaal concurrerend is of niet.”
The Need for Speed
“”Er zijn geen twee grotere overtreders van ‘kijk eens hoe groot mijn systeem is’ dan de V.S. en China.VS en China.””
Omdat snellere computers onderzoekers in staat stellen sneller meer inzicht te krijgen in wat ze ook aan het doen zijn, neemt de behoefte – of in ieder geval de wens – aan snelheid toe. Dongarra noemt het “een nooit eindigende zoektocht”, en de (nog niet bewezen) duurzame exascale capaciteiten van Aurora zouden tot nu toe het hoogtepunt van die zoektocht zijn. Toch zal het een van de velen zijn. In 26 andere landen over de hele wereld staan nog tientallen supercomputers met soms episch klinkende namen (Titan, Excalibur). Ze worden gemaakt door 36 verschillende leveranciers, worden aangedreven door 20 generaties processors en dienen een verscheidenheid aan industrieën en overheidsfuncties variërend van wetenschappelijk onderzoek tot nationale defensie.
Deze statistieken zijn afkomstig van de website TOP500.org. De website is mede opgericht door Dongarra en houdt sinds 1993 alles bij over supercomputing. De website gebruikt zijn LINPACK-benchmark (waarmee wordt geschat hoe snel een computer waarschijnlijk één of meer programma’s kan uitvoeren) om de prestaties te meten. Volgens het laatste overzicht van de grootste en slechtste ter wereld heeft Amerika vijf (binnenkort zes) van de top 10 – waaronder de snelste supercomputer ter wereld in Oak Ridge’s Summit en de op een na snelste, Sierra, in het Lawrence Livermore National Laboratory in Californië. China, dat op de tweede plaats staat, heeft er slechts twee (maar binnenkort drie). Zeker, het land bezet 227 van de top 500 plaatsen en heeft 303 van de machines op die lijst vervaardigd, maar de VS kunnen nog steeds met hun reusachtige schuimvinger zwaaien. Voorlopig. De wedstrijd is aan de gang en vertoont geen tekenen van vermindering.
“Er zijn geen twee grotere overtreders van ‘kijk eens hoe groot mijn systeem is’ dan de VS en China,” zegt Nicole Hemsoth, medeoprichter en -redacteur van The Next Platform.
“De wedloop tussen landen is deels reëel en deels kunstmatig,” zegt Jones. “Dus als je bijvoorbeeld directeur bent van een Amerikaans nationaal lab en je probeert de financiering voor je volgende HPC-machine veilig te stellen, is het een heel goed argument om te zeggen: ‘Nou, China heeft er een die tien keer groter is, dus we moeten die achterstand inhalen.’ De Europese Unie en China spelen hetzelfde spel tegen de VS, dus er is een beetje gecreëerde spanning die niet noodzakelijk echt is, maar het helpt om de .”
De media spelen ook een belangrijke rol. Journalisten houden ervan verbijsterende supercomputer-statistieken uit te rollen en ze beeldend uit te leggen. Er is een voorbeeld daarvan aan het begin van dit verhaal. Hier is er nog een, van de New York Times: “Als een stadion voor 100.000 mensen vol zou zitten, en iedereen zou een moderne laptop hebben, dan zouden er 20 stadions nodig zijn om de rekenkracht van Summit te evenaren.”
Overheidsfunctionarissen houden ook van een beetje supercomputing branie, praten over hun gigantische rekenkracht als de sleutel tot maatschappelijke verbetering – en, natuurlijk, het bewijs van de totale ontzagwekkendheid van hun land. John F. Kennedy, die de ruimtewedloop in 1961 aanwakkerde, zou hier helemaal weg van zijn geweest.
“Het is fundamenteel economisch concurrentievermogen,” zegt Jones. “Als je zo ver afzakt dat je land economisch niet meer kan concurreren met andere landen van vergelijkbare grootte, dan leidt dat tot een hele lading andere politieke en veiligheidskwesties.”
COmputing SPeed + Power = Military Might
Naast de veiligheids- en economische aspecten, voegt hij eraan toe, zien degenen die de implicaties van high-performance computing duidelijk begrijpen, de enorme voordelen ervan voor de wetenschap, het bedrijfsleven en andere sectoren. “Dus het is een no-brainer dat we deze dingen doen.” (Toegegeven, sommige rapporten zeggen dat die voordelen overdreven zijn.) Op het gebied van kernwapens, bijvoorbeeld, hebben supercomputers bewezen een enorme zegen te zijn voor dingen die ontploffen. Geavanceerde simulaties hebben de noodzaak van testen in de echte wereld weggenomen.
“Ze ontwikkelen niet iets, gaan de woestijn in, boren een gat en kijken of het werkt,” zegt Dongarra over een praktijk die decennia geleden is gestopt. “Ze simuleren dat ontwerp op een supercomputer. Ze simuleren ook wat er met die gebeurt als ze zoveel jaar op een plank liggen, omdat ze moeten verifiëren dat de voorraad zal werken.”
In een belangrijke recente upgrade installeerde het Air Force Research Lab – een van de vijf supercomputercentra van het Amerikaanse ministerie van Defensie – vier deelbare supercomputers waarop het hele Amerikaanse leger geclassificeerd onderzoek kan uitvoeren. Het project werd aangeprezen als een manier om onderzoekers van de luchtmacht, het leger en de marine te helpen “snel te reageren op de meest urgente en complexe uitdagingen van onze natie, waardoor ook nieuwe mogelijkheden sneller beschikbaar komen voor de oorlogsvoering tegen lagere kosten voor de belastingbetaler.”
Leg uit hoe je wilt.
Supercomputing en kunstmatige intelligentie
Artificiële intelligentie is nog steeds vrij rudimentair, maar supercomputers brengen daar verandering in door processen voor machinaal leren te turbo-chargen om sneller resultaten te produceren uit meer gegevens – zoals in dit klimaatwetenschappelijk onderzoek.
“Je bezighouden met supercomputing is geloven in de kracht van het algoritme om waardevolle, zinvolle informatie te destilleren uit de herhaalde uitvoering van procedurele logica,” schrijft Scott Fulton III in een inzichtelijk verhaal op ZDNet. “Aan de basis van supercomputing liggen twee idealen: een die belijdt dat de machine van vandaag uiteindelijk een nieuwe en buitengewoon waardevolle oplossing zal bereiken, gevolgd door een tweede en subtielere opvatting dat de machine van vandaag een prototype is voor die van morgen.”
Zoals Argonne-directeur Paul Kearns vertelde aan HPCWire, is Aurora bedoeld voor “volgende generatie” AI die wetenschappelijke ontdekkingen zal versnellen en verbeteringen mogelijk zal maken op gebieden als het voorspellen van extreem weer, medische behandelingen, het in kaart brengen van de hersenen, de ontwikkeling van nieuwe materialen. Het zal ons zelfs helpen het universum beter te begrijpen, voegde hij eraan toe, “en dat is nog maar het begin.”
Terwijl Dongarra denkt dat supercomputers de toekomst van AI vorm zullen geven, is niet helemaal te voorzien hoe dat precies zal gebeuren.
“Tot op zekere hoogte zullen de computers die vandaag worden ontwikkeld, worden gebruikt voor toepassingen die kunstmatige intelligentie, deep learning en neuro-networking-berekeningen nodig hebben,” zegt Dongarra. “Het wordt een hulpmiddel dat wetenschappers helpt bij het begrijpen en oplossen van enkele van de meest uitdagende problemen die we hebben.”
“Gaat worden” – toekomstige tijd. AI-werk is nog steeds slechts een klein percentage van wat supercomputers doen. Voor het grootste deel, zegt Jones, zijn het “tijdmachines” die “de volgende wetenschap van vijf jaar vooruit naar vandaag brengen.”
“Negentig procent van de traditionele HPC-installaties doet nog steeds traditionele HPC-workloads – engineeringsimulaties, vloeistofdynamica, weer- en klimaatmodellering,” legt hij uit. “En AI is daar op het niveau van vijf of tien procent om die te vergroten en te helpen om ze beter te laten werken, maar het domineert nog niet de vereisten voor het kopen van HPC-platforms of zelfs voor het sturen van HPC-financieringsprogramma’s.”
Hemsoth denkt dat het waarschijnlijk nog vijf jaar zal duren voordat bestaande HPC-workflows veel AI en deep learning bevatten, die beide andere compute-eisen zullen hebben dan ze nu doen.
“Iedereen springt een beetje op de zaken vooruit als het gaat om AI,” zegt ze. “Ze kopen systemen die geschikt zijn voor AI zoals het nu is. AI zal een praktisch onderdeel zijn van workloads, maar het zal veranderen. En de feitelijke software en toepassing waarop die dingen moeten draaien, gaat veranderen, waardoor de hardware die je nodig hebt, gaat veranderen. Dit spul ontwikkelt zich snel, maar met zeer lange productiecycli voor hardware – vooral als je een nationaal lab bent en dit spul drie tot vijf jaar moet aanschaffen voordat je de machine ooit krijgt.”
De toekomst van supercomputing
“De verbetering van de mensheid is een nobel doel.”
Nog een breinbreker: uw huidige smartphone is net zo snel als een supercomputer in 1994 – eentje die 1000 processors had en nucleaire simulaties deed. (Is daar een app voor?) Het is dus logisch dat de smartphone (of hoe die dan ook heet) die je over een kwart eeuw hebt, theoretisch op het niveau van Aurora zou kunnen staan. Het punt is, dit spul is snel – en het wordt alleen maar sneller. Hier is hoe Dongarra het samenvat:
“We bereikten teraflops in 1997 op een machine bij Sandia National Laboratories. Dat was 1012 teraflops. Daarna, in 2008, bereikten we petaflops – 1015 – in Los Alamos. Nu staan we op het punt om exascale te bereiken, met 1018 operaties, rond het begin van 2020 of 2021. Over waarschijnlijk 10 of 11 jaar zullen we op zettascale zitten – 1021 bewerkingen per seconde. Toen ik begon met informatica, deden we megaflops – 106 bewerkingen. Dus dingen veranderen. Er zijn veranderingen in architectuur, veranderingen in software en toepassingen die moeten meebewegen. Naar het volgende niveau gaan is een natuurlijke progressie.”
Een recent verhaal op TOP500.com getiteld, “Supercomputing is heading towards an existential crisis,” schetst een beeld van de dingen die komen gaan waarin simulaties op een achterbank komen te staan.
“Machine learning, in het bijzonder, zou in de komende anderhalf decennium de meeste computerdomeinen kunnen gaan domineren, inclusief HPC (en zelfs data-analyse),” schrijft auteur Michael Feldman. “Terwijl het vandaag meestal wordt gebruikt als een hulpstap in traditionele wetenschappelijke berekeningen – voor zowel pre-processing als post-processing simulaties, zou het in sommige gevallen, zoals de ontdekking van geneesmiddelen, simulaties helemaal kunnen vervangen.”
Welke vorm supercomputers ook aannemen, Argonne’s Papka zegt dat ze steeds krachtiger en transformatief zullen worden, met invloed op alles van de voetganger tot het diepgaande – van het ontwerp van efficiëntere batterijen voor elektrische auto’s tot, heel misschien, de uitroeiing van lang bestreden ziekten zoals kanker. Althans, dat hoopt hij.
“De verbetering van de mensheid,” zegt Papka, “is een nobel doel om te hebben.”
GerelateerdeLees meer verhalen over hardwarebedrijven