CASUS speeds up simulations for new compact particle accelerators on the JUWELS Booster supercomputer at Jülich.
Wissenschaftler*innen des Instituts für Strahlenphysik und des Center for Advanced Systems Understanding (CASUS) am Helmholtz-Zentrum Dresden-Rossendorf (HZDR) gehören zu den ersten, die auf dem erst kürzlich um das Booster-Modul erweiterten Hochleistungsrechner JUWELS am Jülich Supercomputing Center (JSC) gerechnet haben. Bereits Monate vor dem offiziellen Start konnten sie die neue Rechenarchitektur mit ihrer Simulationssoftware PIConGPU und Nvidias neuster Grafikkartengeneration A100 intensiv testen.
JUWELS (Jülich Wizard for European Leadership Science) ist ein modular aufgebauter Supercomputer und seit 2018 in Betrieb. Im November 2020 erweiterte ein graphikkartenbasiertes Booster-Modul die Kapazitäten von JUWELS, so dass er nun in der Spitze rund 85 PetaFLOPS, also 85 Billiarden Gleitkomma-Rechenoperationen pro Sekunde erreicht. Seine Leistungsfähigkeit hat den JUWELS Booster auf Platz 7 der TOP500 katapultiert – einer Liste, die die 500 weltweit schnellsten Computersysteme vereint. Damit ist er gleichzeitig der aktuell schnellste Rechner Europas und besonders gut für große, massiv-parallele Anwendungen geeignet.
„Als eines von 14 aus verschiedenen Wissenschaftsfeldern ausgewählten Teams im JUWELS Booster Early Access-Programm hat unser HZDR-Team den sukzessiven Aufbau von Europas schnellstem Supercomputer bereits Monate vor dem Start im November durch umfassende Tests mit Hilfe unserer Simulationssoftware PIConGPU begleitet“, fasst Dr. Alexander Debus die zurückliegenden Arbeiten zusammen. Der HZDR-Forscher vom Institut für Strahlenphysik betreut diese Simulationen auf dem JUWELS Booster.
PIConGPU ist eine extrem vielseitige Simulationssoftware, die HZDR-Wissenschaftler*innen vor allem für den Bereich der Plasma- und Laserphysik konzipiert haben. Das Kürzel PIConGPU steht für Particle-In-Cell on Graphics Processing Unit und lässt sich mit Teilchen-Gitter-Verfahren auf Grafikprozessoren übersetzen. Der Code soll etwa bei der Entwicklung von Teilchenbeschleunigern für die Strahlentherapie von Krebs, in der Hochenergiephysik oder in der Forschung mit Photonen zum Einsatz kommen. Damit der Simulationscode auf unterschiedlichen Hardware-Typen läuft, ohne ihn ständig anpassen zu müssen, verwenden die Forscher*innen die Programmbibliothek alpaka.
Diese Programmbibliothek ist auch für künftige Exascale Computing-Anwendungen ausgelegt, die Rechenleistungen jenseits der ExaFLOPS-Schallmauer von einer Trillion Gleitkomma-Rechenoperationen pro Sekunde benötigen – eine Trillion besteht aus einer Eins, gefolgt von 18 Nullen. Die Wissenschaftler*innen von CASUS und HZDR entwickeln alpaka gemeinsam. Sie ermöglicht es, Software nur einmal zu schreiben und sie dann auf unterschiedlichsten Hardware-Systemen effizient auszuführen. Die Software wurde bereits auf anderen Supercomputern erfolgreich angewandt, beispielsweise auf dem Summit von IBM, dem derzeit leistungsfähigsten Superrechner in den USA, aber auch auf dem Taurus des Zentrums für Informationsdienste und Hochleistungsrechnen der TU Dresden sowie dem HZDR-System Hemera.
Auf dem Weg zum digitalen Zwilling
Dadurch konnten die Forscher*innen ihre Software innerhalb weniger Monate auf dem neuen JUWELS Booster-System mit bis zu 3.744, über ein Hochgeschwindigkeitsnetzwerk modernster Technologie verbundenen Grafikkartenprozessoren der neusten Generation von Nvidia einsetzen. Im Vergleich zum Vorgängermodell V100 kam PIConGPU auf den neuen am JSC eingesetzten A100-Grafikkarten auf 140 Prozent der Rechenleistung.
„Das ist ein deutlicher Anstieg. So kommen wir schneller an unsere Ergebnisse und können längere und damit leistungsfähigere Teilchenbeschleuniger simulieren“, fasst Alexander Debus die bisherigen Ergebnisse zusammen und fährt fort: „Der unmittelbare Zugang zu Großrechenanlagen wie JUWELS Booster ist von entscheidender Bedeutung, um exzellente Forschung mit Hochleistungsrechnern in Deutschland und Europa zu ermöglichen. Ein Schlüssel dabei ist die konzentrierte Expertise der Betreiberinstitution JSC vor Ort, die es erst ermöglicht, die verfügbaren Rechenressourcen bestmöglich für die einzelnen Forschungsvorhaben einzusetzen.“
Dr. Michael Bussmann von CASUS ergänzt: „Besonders interessant am neuen Großrechner ist die modulare Architektur, die das Cluster- und das Booster-Modul von JUWELS eng miteinander verzahnt und sie so für neuartige hybride Anwendungen von künstlicher Intelligenz und für Exascale-Simulationen nutzbar macht. Mit JUWELS Booster wollen wir vollständige digitale Zwillinge der Plasmabeschleuniger entwickeln, die derzeit am HZDR im Labor gebaut werden.“ Nach Ansicht von Alexander Debus sollte es dadurch in Zukunft möglich sein, „diese Plasmabeschleuniger virtuell zu untersuchen und für spezielle Anwendungen zu optimieren. Die echte Arbeit beginnt jetzt, denn wir erwarten bald eine so große Menge einzigartiger Daten, dass wir hierfür gemeinsam mit den Kollegen des JSC neue Wege finden müssen, um diese möglichst effizient analysieren zu können.“
CASUS was founded 2019 in Görlitz/Germany and pursues data-intensive interdisciplinary systems research in such diverse disciplines as earth system research, systems biology or materials research. The goal of CASUS is to create digital images of complex systems of unprecedented fidelity to reality with innovative methods from mathematics, theoretical systems research, simulations as well as data and computer science to give answers to urgent societal questions. Partners are the Helmholtz-Zentrum Dresden-Rossendorf (HZDR), the Helmholtz Centre for Environmental Research in Leipzig (UFZ), the Max Planck Institute of Molecular Cell Biology and Genetics in Dresden (MPI-CBG), the Technical University of Dresden (TUD) and the University of Wrocław. CASUS is funded by the Federal Ministry of Education and Research (BMBF) and the Saxon State Ministry for Science, Culture and Tourism.