Ein unabhängiger Benchmark-Vergleich zwischen IBM SoftLayer Bare Metal, Google Cloud, Microsoft Azure, Amazon Web Services und IBM Softlayer virtual, der zeigen sollte, in welcher Umgebung die In-Memory-Datenbank VoltDB am performantesten arbeitet, hat einen klaren Gewinner: Softlayer Bare Metal ist im YCSB Test demnach knapp 3 mal so schnell wie die AWS Cloud. Allerdings erklärt IBM in ihrer Pressemitteilung nicht, dass in dem Test Bare Metal Server mit virtuellen Maschinen verglichen werden.
So heißt es in derIBM Pressemitteilung:
„IT-Spezialist Tim Callaghan lässt in einem neuen Benchmark fünf Cloud-Angebote gegeneinander antreten: Amazon Web Services (AWS), Google Cloud Platform und Microsoft Azure sowie IBM SoftLayer Virtual Machines und IBM SoftLayer Bare Metal kämpfen in den Kategorien Performance und Preis-Leistung um die Krone im Cloud-Segment. Diese geht klar an die IBM, die mit der SoftLayer Bare Metal Cloud 2,6 Mal so viele Rechenoperationen in der Sekunde schafft wie Schlusslicht AWS. Noch deutlicher fällt der Vorsprung beim Preis-Leistungs-Verhältnis aus. Hier erreicht IBM SoftLayer Bare Metal fast dreimal mehr Operationen pro US-Dollar als AWS. Gesponsert wurde der Vergleich vom Datenbankspezialisten VoltDB. (…) Auf den zweiten Platz kommt die Google Cloud Platform. Mit rund einer Million Rechenoperationen in der Sekunde ist sie immer noch gut doppelt so schnell wie AWS. Pro US-Dollar liefert sie etwa 3,3 Milliarden Operationen, dreimal mehr als AWS. Microsoft Azure kommt auf 902.107 Rechenoperationen in der Sekunde und liegt damit immer noch deutlich vor AWS. Beim Preis-Leistungs-Verhältnis ist für Microsoft mit 0,4 Milliarden Operationen pro US-Dollar nur noch der letzte Platz drin.
Einem Bericht der US-Fachzeitschrift Informationweek zufolge ist der Sieg in diesem Vergleichstest allerdings nicht ganz so überzeugend wie in der Pressemitteilung dargestellt. Der Benchmark beweise lediglich, dass Bare Metal Server schneller arbeiten als virtuelle Maschinen, eine Tatsache, die vielen erfahrenen IT-Managern durchaus bewusst sei, schreibt der Autor Charles Babcock. Außerdem zeige der Benchmark, dass Google, Microsoft und Amazon bei normalen Workloads auf virtuellen Maschinen bessere Leistungen erbringen als SoftLayer.
Laut Softlayers eigener Definition ist ein Bare Metal Server ein physikalischer Server, der ausschließlich von einem Kunden genutzt wird. Softlayer empfiehlt den Einsatz dieser Art von Cloud-Ressource vor allem dann, wenn es um Daten-intensive Workloads geht, bei denen es auf Performance und Verlässlichkeit ankommt.
Die englische Enterprise Times sieht das Benchmark-Ergbebnis differenzierter als die Informationweek. Der offensichtlichste Schluss, der sich aus dem Test ziehen lasse, sei die Tatsache, dass in dieser Art von Vergleichen (in-Memory Datenbank-Workloads) Bare Metal Server sehr viel schneller sind als virtuelle Cloud-Umgebungen. Das sei allerdings nicht überraschend. „Schließlich müssen sich Bare Metal Server nicht mit Hyper Visors und anderen Cloud-Komponenten herumschlagen“, schreibt Autor Ian Murphy. Überraschend sei vielmehr, dass dieser YCSB-Benchmark nicht auch mit einer Reihe anderer Bare Metal Cloud-Angeboten durchgeführt worden sei. Das hätte zumindest gezeigt, ob IBM SoftLayer etwas spezielles gemacht habe, um die Performance zu verbessern oder ob Bare Metal einfach die bessere Lösung für in-Memory Computing sei.
Die Ergebnisse, so Ian Murphy, dürften wegen der Vermischung von Bare Metal und Cloud -lattformen für viel Diskussion sorgen. Doch wenn man diese Irritationen außer acht lasse, drängt sich für Murphy ein ganz anderer Schluss auf. Cloud Provider hätten in den letzten Jahren immer wieder behauptet, ihre Plattformen seien bei deutlich geringeren Kosten leistungsstärker als On-Premise-Installationen. In diesem Fall stimme keine der beiden Behahuptungen. Schließlich unterschieden sich Bare Metal Server in der Cloud nicht von denen, die von der eigenen IT-Organisation gemanaged würden.