Vestas' nye supercomputer nr. 53 på verdensranglisten: 14.664 kerner og 29 terabyte ram
Vindmøllefirmaet Vestas har fået en ny medarbejder, som har fået plads i et datacenter et hemmeligt sted i Jylland: Den 40 meter lange og 24 ton tunge supercomputer Firestorm.
Dermed kan Vestas igen prale af at have Danmarks hurtigste computer, og med en ydelse på hele 150 teraflops, altså 150 billioner regneoperationer i sekundet, er Firestorm også komme på listen over de 500 hurtigste supercomputere på kloden på plads 53.
Med Firestorms regnekraft vil Vestas nu kunne lave uhyre detaljerede vejrudsigter og fuldstændigt kortlægge vindens bevægelse i et landskab, hvilket har stor betydning for kunderne, der kan spare mange penge ved at vælge den optimale placering.
»Når et område er fundet til at bygge vindmøller i, kan vi lave modeller med ekstremt stor nøjagtighed, der viser, hvor der er turbulens. Så kan vi undgå, at en mølle kommer til at stå i en uheldig lomme med meget turbulens, som er hårdt for møllerne og koster meget i reparation,« forklarer Anders Rhod Gregersen, seniorspecialist Vestas’ Wind & Site Competence Center.
29 terabyte ram og 14.664 kerner
De tekniske detaljer i det nye datalogiske vidunder vil kunne få de fleste hardware-nørder til at savle:
Firestorm er bygget op af 1.222 IBM-servere, der hver har 2 x 6 processorkerner med en clockfrekvens på 2.93 gigahertz. Hver maskine har 24 gigabyte ram, så i alt er der 14.664 kerner og 29 terabyte ram at arbejde med. Lagerpladsen er på 2,6 petabyte.
Men skal der fart på beregningerne, skal der være god forbindelse mellem de 1.222 computere, og det sørger et Infiniband-netværk for.
»Det giver en båndbredde på 40 gigabit pr. sekund, men endnu vigtigere, en meget lav svartid, som er hundrede gange hurtigere end med Ethernet og TCP/IP. En port-til-port-transfer tager med Infiniband omkring 200 nanosekunder, og det gør hele forskellen, fordi CPU’erne skal koordinere beregningerne og vente på hinanden,« siger Anders Rhod Gregersen.
Firestorm bliver kørt på plads. Foto: Vestas
Samtidigt er de 1.222 maskiner - også kaldet beregningsknuder - bundet godt sammen på kryds og tværs, så vejen mellem dem ikke bliver for lang og kringlet.
»Det er også vigtigt med stor båndbredde mellem alle beregningsknuderne, når du kører så store beregninger. Netværket er bygget op efter en ’fat tree’-topologi, hvor alle knuder kan få lov at kommunikere med stor båndbredde på samme tid,« siger Anders Rhod Gregersen.
For hver to beregningsknuder i Firestorm, er der et dedikeret uplink til de centrale switche, som udgør livsnerven i supercomputeren. Ved at have så mange direkte uplink-forbindelser, får man en kapacitet, der betyder, at hvis man delte supercomputeren op i to dele, ville alle de 611 maskiner på den side kunne kommunikere med den anden side med 20 gigabit pr. sekund.
Netværkets switche er så kraftige, at de tilsammen kan switche over 24 terabit i sekundet, svarende til at de kan switche en ADSL-forbindelse (4,8 megabit) for hver eneste dansker, forklarer Anders Rhod Gregersen.
Ingen langhåret terminaladgang
En håndfuld master-servere koordinerer arbejdet, der foregår på Red Hat Linux, men den voldsomme computer bliver ikke betjent på normal desktop-vis. Beregningerne bliver kørt som batchjobs.
Men de eksperter hos Vestas, der kommer til at køre beregninger på Firestorm, skal ikke slås med langhåret terminal-adgang.
»På den ene side er det som at komme lidt tilbage i tiden. Du smider et job i kø, det bliver afviklet, og så får du resultatet tilbage. Der er ikke interaktivitet på den måde, man er vant til med normale computere med en grafisk brugergrænseflade. På den anden side opdager ingen af systems slutbrugere, at de har at gøre med en supercomputer. Vi har selv udviklet en grafisk brugergrænseflade til de komplekse beregninger, så den enorme beregningskraft bliver til at have med at gøre,« siger han.
Super-effektivt kølesystem giver PUE ned til 1,10
De 24 tons hardware kræver en del strøm, før alle kernerne er i fulde omdrejninger, men energieffektiviteten er langt højere end hos den supercomputer, Vestas fik i 2008.
Når alt kører for fuld damp, snurrer elmåleren ved en effekt på 484 kilowatt. Det kræver selvfølgeligt en del køling, og her har Vestas gjort sig ekstra umage og ramt en PUE-værdi på mellem 1,10 og 1,15. Det betyder, at der bliver brugt mellem 10 og 15 procent af den energi, som supercomputeren brænder af, til de øvrige opgaver i datacentret, hvilket altså først og fremmest er køling.
»Vi har ombygget vores datacenter, så vi bruger princippet om ’kolde gader’, hvor vi har dækket rackskabene til og puster kold luft ind. Så har du helt styr på, hvor den kolde luft bliver brugt,« siger Anders Rhod Gregersen.
Sammen med frikøling, hvor der bliver hentet luft udefra, giver det et forholdsmæssigt ganske lavt energiforbrug.
»For bare et par år siden var tommelfingerreglen, at man brugte 100 procent på køling. Så vi er meget stolte af, at vi er kommet ned på 10-15 procent. Bare det at cirkulere de væskemængder, man skal bruge til at køle en halv megawatt ned, kræver en del strøm,« siger Anders Gregersen.
Vestas nye supercomputer er omkring ti gange hurtigere end den tre år gamle model på 15 teraflops, som har stået for de komplicerede vindberegninger indtil nu. Prisen på Firestorm holder Vestas tæt ind til kroppen af konkurrencehensyn.
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.