Deutsche Klimaforscher analysieren Wind und Wetter mit Big-Data-Lösungen von IBM

Das Bild zeigt eine Simulation der Erdtemperaturen im Jahr 2090. Quelle: Flickr/IBM

Das Deutsche Klimarechenzentrum (DKRZ) nutzt IBM-Technologien und -Services, um das weltweit größte Archiv an Klimasimulationsdaten zu verwalten. Momentan enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt auf 20 Millionen Dateien.

Um diese Daten effizient verwalten und Forschern Zugang gewähren zu können, hat sich das DKRZ für die von IBM und dem U.S. Department of Energy entwickelte Software-Lösung High Performance Storage System (HPSS) entschieden. Unterstützt von IBM-Services könne diese Lösung mehr als 500 Petabyte Daten verarbeiten.

Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs. Dafür erfolgte die Migration der Daten des DKRZ auf die neuesten x86-Server mit dem Betriebssystem Linux von Red Hat und der HPSS-Software. Der HPSS-Festplattencache von fünf Petabyte entspricht der Speicherkapazität von 5.000 gut ausgestatteten Notebooks.

Die Datenmigration auf das neue Release von HPSS wurde laut IBM in weniger als zwei Tagen abgeschlossen. Das neue hierarchische Speichermanagementsystem (HSM-System) ermögliche einen deutlich höheren aggregierten Durchsatz, sodass die Klimadaten nun mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen könnten.

Bis Herbst dieses Jahres soll ein weiterer Ausbau erfolgen, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermögliche.

HPSS sei in der Lage, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.

HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt.

Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).