Ein Rechnerverbund oder Computercluster, meist einfach Cluster genannt (vom Englischen für „Rechner-Schwarm“, „-Gruppe“ oder „-Haufen“), bezeichnet eine Anzahl von vernetzten Computern. Der Begriff wird zusammenfassend für zwei unterschiedliche Aufgaben verwendet:
- die Erhöhung der Rechenkapazität (HPC-Cluster, engl. high performance computing – Hochleistungsrechnen)
- die Erhöhung der Verfügbarkeit (HA-Cluster, engl. high availability – Hochverfügbarkeit).
Die in einem Cluster befindlichen Computer (auch Knoten, vom englischen nodes oder Server) werden auch oft als Serverfarm bezeichnet.
Kategorien Bearbeiten
Der Begriff Cluster beschreibt primär die Architektur der einzelnen Bausteine und ihr Zusammenwirken. Hardware- oder Software-Cluster sind grundsätzlich unterschiedlich. Die einfache Form eines Hardware-Clusters ist als aktiv/passiv bekannt. Andere Varianten sind als cascading bekannt. Dabei muss eine Unterbrechung des Services mit berücksichtigt werden. HP OpenVMS Cluster sind in der Lage, eine Hardware-aktiv/aktiv-Funktionalität zu implementieren.
Softwarecluster oder Applikationscluster hingegen sind eher in der Lage, einen kontinuierlichen Betrieb zu realisieren (Beispiel: DNS-Server). Es hängt aber vom Client in der Client/Server-Architektur ab, ob er mit der Umschaltung des Dienstes (bzw. Service) umgehen kann.
Man unterscheidet zwischen sogenannten homogenen und heterogenen Clustern. Computer homogener Cluster laufen unter dem gleichen Betriebssystem und gleicher Hardware, beim heterogenen Cluster können unterschiedliche Betriebssysteme oder Hardware eingesetzt werden. Bekannte Linux-Cluster-Software sind z. B. HP Serviceguard, Beowulf und openMosix.
Verwendungszwecke Bearbeiten
Hochverfügbarkeitscluster Bearbeiten
Hochverfügbarkeitscluster (engl. High-Availability-Cluster – HA-Cluster) werden zur Steigerung der Verfügbarkeit bzw. für bessere Ausfallsicherheit eingesetzt. Tritt auf einem Knoten des Clusters ein Fehler auf, werden die auf diesem Knoten laufenden Dienste auf einen anderen Knoten migriert. Die meisten HA-Cluster besitzen 2 Knoten. Es existieren Cluster, bei denen ständig auf allen Knoten Dienste laufen. Diese Cluster nennt man aktiv-aktiv bzw. symmetrisch. Sind nicht alle Knoten aktiv, spricht man von aktiv-passiv oder asymmetrisch. Sowohl die Hardware als auch die Software eines HA-Clusters muss frei von Single-Point-of-Failures (Komponenten, die durch einen Fehler das gesamte System zum Ausfall brächten) sein. Anwendung finden solche HA-Cluster in kritischen Umgebungen, in denen Ausfallzeiten von nur wenigen Minuten im Jahr erlaubt sind. Im Rahmen von Katastrophenszenarien müssen kritische Computersysteme abgesichert werden. Dazu werden die Cluster-Knoten oft mehrere Kilometer auseinander in verschiedenen Rechenzentren platziert. Im Katastrophenfall kann der Knoten im nicht betroffenen Rechenzentrum die gesamte Last übernehmen. Diese Art von Clustern nennt man auch „stretched Cluster“.
Load-Balancing-Cluster Bearbeiten
Load-Balancing-Cluster werden zum Zweck der Lastverteilung auf mehrere Maschinen aufgebaut. Die Lastverteilung erfolgt in der Regel über eine redundant ausgelegte, zentrale Instanz. Mögliche Einsatzgebiete sind Umgebungen mit hohen Anforderungen an Computerleistung. Der Leistungsbedarf wird hier nicht durch Aufrüstung einzelner Computer abgedeckt, sondern durch das Hinzufügen zusätzlicher Computer. Grund für die Verwendung ist nicht zuletzt der Einsatz von preisgünstigen Standardcomputern (COTS-Komponenten) anstatt von teuren Spezialcomputern.
High Performance Computing Cluster Bearbeiten
High-Performance-Computing-Cluster (HPC-Cluster) dienen zur Abarbeitung von Rechenaufgaben. Diese Rechenaufgaben werden auf mehrere Knoten aufgeteilt. Entweder werden die Aufgaben in verschiedene Pakete aufgeteilt und parallel auf mehreren Knoten ausgeführt oder die Rechenaufgaben (Jobs genannt) werden auf die einzelnen Knoten verteilt. Die Aufteilung der Jobs übernimmt dabei meistens ein Job Management System. HPC-Cluster finden sich oft im wissenschaftlichen Bereich. In der Regel sind die einzelnen Elemente eines Clusters untereinander über ein schnelles Netzwerk verbunden. Auch die sogenannten Renderfarmen fallen in diese Kategorie.
Geschichte Bearbeiten
Das erste im Handel erhältliche Clusterprodukt war ARCNET, welches 1977 von Datapoint entwickelt wurde. Den ersten wirklichen Erfolg hatte das Unternehmen DEC im Jahr 1983 mit der Vorstellung des Produktes VAXCluster für ihr Computersystem VAX. Das Produkt unterstützte nicht nur paralleles Rechnen auf den Clusterknoten, sondern auch die gemeinsame Nutzung von Dateisystemen und Geräten aller beteiligten Knoten. Diese Eigenschaften fehlen noch heute bei vielen freien und kommerziellen Produkten. VAXCluster ist als „VMSCluster“ auch heute noch von der Firma HP für das Betriebssystem OpenVMS und die Prozessoren Alpha und Itanium erhältlich.
Technik Bearbeiten
HA-Cluster Bearbeiten
Die failover-Funktion wird meist durch das Betriebssystem zur Verfügung gestellt (Servicefailover, IP-Übernahme). Die Übernahme von Diensten kann z. B. durch die automatische Migration von IP-Adressen oder das Verwenden einer Multicastadresse erreicht werden.
Generell wird zwischen den Architekturen shared nothing und shared all unterschieden.
Typischer Vertreter des „active-active“-Clusters mit shared-nothing-Architektur ist DB2 mit EEE (gesprochen „triple e“). Hier beherbergt jeder Clusterknoten eine eigene Datenpartition. Ein Leistungsgewinn wird durch die Partitionierung der Daten und die damit einhergehende verteilte Verarbeitung erzielt. Ausfallsicherheit wird hiermit nicht gewährleistet.
Anders ist dies beim „shared-all“-Cluster. Diese Architektur gewährleistet durch einen konkurrierenden Zugriff auf Shared Storage, dass alle Clusterknoten auf den gesamten Datenbestand zugreifen können. Neben Skalierung und Leistungssteigerung wird durch diese Architektur auch eine zusätzliche Ausfallsicherheit erreicht. Fällt ein Knoten aus, übernehmen die anderen Knoten seine Aufgabe(n). Ein typischer Vertreter der shared-all-Architektur ist der Oracle Real Application Cluster (RAC).
HA-Computercluster können auch ohne lokale Datenträger direkt aus einem Storage Area Network (SAN) heraus als ein „Single System Image“ booten. Solche Diskless Shared Root Cluster erleichtern den Austausch von Cluster-Knoten, die in einer solchen Konfiguration nur noch ihre Rechenleistung und I/O Bandbreite zur Verfügung stellen.
Dienste müssen speziell für den Einsatz auf einem Cluster programmiert sein. Ein Dienst wird als „cluster aware“ bezeichnet, wenn er auf spezielle Ereignisse (wie z. B. den Ausfall eines Clusterknotens) reagiert und diese in geeigneter Weise verarbeitet.
Cluster-Software kann in Form von Skripten implementiert oder auch in den Betriebssystemkernen integriert sein.
HPC-Cluster Bearbeiten
Bei HPC-Clustern wird die zu erledigende Aufgabe, der „Job“, oft mittels eines Decomposition-Programms in kleinere Teile zerlegt und dann auf die Knoten verteilt.
Die Kommunikation zwischen Job-Teilen, die auf verschiedenen Knoten laufen, geschieht in der Regel mittels Message Passing Interface (MPI), da eine schnelle Kommunikation zwischen einzelnen Prozessen gewünscht ist. Dazu koppelt man die Knoten mit einem schnellen Netzwerk wie z. B. InfiniBand.
Eine gängige Methode zur Verteilung von Jobs auf einen HPC-Cluster ist ein Job-Scheduling-Programm, welches eine Verteilung nach verschiedenen Kategorien vornehmen kann, wie z. B. Load Sharing Facility (LSF) oder Network Queueing System (NQS).
Die TOP500 der Superrechner sind zu über 90 % Linux-Cluster, nicht zuletzt weil sich auch für anspruchsvolle Rechenaufgaben billige COTS Hardware nutzen lässt.
Cluster-Software Bearbeiten
- Das Beowulf-Projekt – Verteiltes Rechnen
- heartbeat – HA-Cluster-Software (neuer Link: [1])
- HACMP (PDF; 1,2 MB) – HA-Cluster-Software von IBM für AIX (englisch)
- Kerrighed – Verteiltes Rechnen
- Kimberlite – HA-Failover-Cluster
- MC/Service Guard – HA-Cluster-Software von HP für HP-UX und Linux
- MPI – The Message Passing Interface (MPI) standard
- MOSIX – Cluster and Multi-Cluster Management
- Open Mosix – Verteiltes Rechnen (Projekt eingestellt)
- Oracle RAC – Cluster-Software von Oracle (englisch)
- Proxmox VE – KVM Virtualisierungs-Software
- Solaris Cluster – Cluster-Software von Sun Microsystems (englisch)
- Veritas Cluster Server für AIX, HP-UX, Linux (Red Hat & Suse), Solaris und Microsoft (Windows 2000 & Windows 2003)
- VMSCluster – VMSCluster von HP für OpenVMS
- wackamole – HA-Cluster-Software (verschiebt IP-Adressen, Projekt eingestellt)
- Windows Server 2008 Failover-Cluster HA-Cluster-Software von Microsoft
- Windows HPC Server 2008 R2 von Microsoft
- x10sure – HA-Cluster-Software von Fujitsu
Siehe auch Bearbeiten
Literatur Bearbeiten
- Heiko Bauke, Stephan Mertens: Cluster Computing. Springer 2006, ISBN 3-540-42299-4
- Charles Bookman: Linux Clustering. ISBN 1-57870-274-7
- Hartmann Gebauer: Clustering mit Windows NT. Addison-Wesley 1999, ISBN 3-8273-1403-8
- Andrea Held: Oracle 10g Hochverfügbarkeit. Addison-Wesley 2004, ISBN 3-8273-2163-8
- Michael Soltau: Unix/Linux Hochverfügbarkeit. MITP 2002, ISBN 3-8266-0775-9
- Martin Wieczorek, Uwe Naujoks, Bob Bartlett (Hrsg.): Business Continuity. Springer 2003, ISBN 3-540-44285-5
- Volker Herminghaus, Albrecht Scriba: Veritas Storage Foundation, Springer (2006), ISBN 3-540-34610-4