Die in IT-Unternehmen verantwortlichen Personen überprüfen häufig, ob die strategischen Daten für das Unternehmen bei einem schwerwiegenden Ausfall im primären Zentrum, d. h. im Primary Data Center (PDC) gesichert sind.Ist die IT auf ein Blackout vorbereitet? Wie wird die Firma dann funktionieren? Diese vorab gestellten Fragen ermöglichen es, Maßnahmen zu ergreifen, die die gesamte Organisation vor schwerwiegenden Ausfällen des Kernzentrums schützen und die Systeme in einer kontrollierten und geplanten Weise zu einem vorher festgelegten Zeitpunkt im Disaster Recovery Center (DRC) zu vereinbartem Zeitpunkt starten. Dies ist besonders wichtig für Unternehmen mit mehreren Filialen mit einer komplexen Organisationsstruktur, für die jede ungeplante Systempause ein echter Verlust für das Unternehmen ist. Diese Maßnahmen wurden von Smithfield Polska ergriffen, um die Sicherheit der eigenen IT-Systeme zu stärken.
Business Continuity Plan
Die Schaffung eines guten Business Continuity Plans bei Smithfield Polska mit mehr als 50 Standorten in ganz Polen war sicherlich keine leichte Aufgabe. Dies erforderte eine strukturierte und methodische Herangehensweise an das Thema, deren Ergebnis es war, zyklische Testszenarien zu entwickeln und dann zu betreiben. Sie waren eine Basis, um die optimale Lösung zu erarbeiten.
Smithfiled verfügt in der Firmenzentrale über ein eigenes ausgebautes Datenverarbeitungszentrum. Das IT-Management des Unternehmens war sich jedoch bewusst, dass das Speichern von Geschäftsdaten an einem Ort keine vollkommen sichere Lösung darstellt. Leider stellen Sicherungskopien keine ausreichende Garantie für die Geschäftskontinuität dar. Wiederherstellungszeiten, Probleme mit der Anpassung der Umgebung nach der Wiederherstellung oder eine geringere Performance können Betriebsunterbrechungen verursachen, die sich ein Unternehmen dieser Größe, wie Smithfield, nicht leisten kann.
Daher wurde die Entscheidung getroffen, einen zweiten unabhängigen Standort für DRC (Disaster Recovery Center) zu starten. SNP Poland wurde als Projektpartner ausgewählt – ein Unternehmen, das Smithfiled-Systeme kennt, sich auf SAP-Services spezialisiert und über bewährte Rechenzentren verfügt.
Die wichtigsten Systeme für den Kunden
Zunächst bestimmten die SNP-Berater zusammen mit den Smithfiled-Mitarbeitern, welche Ressourcen für den Kunden am wichtigsten sind, d. h. welche von ihnen im aktiven Modus in die DRC repliziert werden müssen. Smithfield benannte die wichtigsten SAP-Systeme, die unter der Kontrolle von Linux samt der IBM DB2-Datenbank arbeiten. Die Replikation mit den IBM DB2-Tools im HADR-Modus (High Availability Disserver Recovery) gewährleistete eine hohe Verfügbarkeit kritischer SAP-Systeme mittels Replikation der Transaktionslogs mit der Fähigkeit zum Starten einer Standby-Datenbank in kurzer Zeit.
Replikation im Dauermodus
Die verbleibenden ausgewählten Systeme werden von VMware vReplication in einem Dauermodus in die DRC repliziert. Die Lösung ermöglicht es einer bestimmten Gruppe von virtuellen Maschinen die Replikation in einem Dauermodus mit einer festen maximalen Verzögerung. Dies führt dazu, dass in DRC die virtuellen Maschinen im sog. Standby-Modus verbleiben, welcher die kontinuierliche Hinzuschreibung der Differenz gegenüber VM in PDC ermöglicht.
In einer Situation, in der Smithfield möglicherweise den gesamten PDC verliert und beschließt, den DRC auszuführen, replizieren die Maschinen und arbeiten in einer Umgebung mit einer akzeptierbaren Differenz zu PDC. Die gesamte replizierte IBM HADR- und VMware vReplication-Umgebung bildet die Grundlage für weitere Schritte zur Wiederherstellung der wichtigsten Client-Systeme.
Der dritte Teil der Umgebung sind Systeme, die sich im DRC befinden und in den nächsten Schritten es ermöglichen, den verbleibenden Teil der Systeme in einer festgelegten Zeit aus der replizierten Sicherung wiederherzustellen.
Alle replizierten oder zusammengestellten Lösungen zusammen mit vorbereiteten Zeitplänen, Verfahren und Anweisungen sind die Grundlage für die gemeinsame Arbeit von Smithfield- und SNP-Teams im Falle eines PDC-Fehlers.
Detaillierte Testszenarien
Um die Anforderungen und Erwartungen von Smithfield zu erfüllen, haben die Ingenieure von SNP in Zusammenarbeit mit den Anwendern des Smithfiled-Systems detaillierte Szenarien für den Test der DRC-Lösung vorbereitet. Nur eine getestete DRC-Lösung ist ein Garant für die Kontinuität bei einem PDC-Ausfall. Der DRC-Testplan ist von Anfang bis Ende echter Test, wenn man davon ausgeht, dass die Smithfield-Werke von der Zentrale und PDC getrennt werden und bei SNP komplett auf DRC umgestellt werden.
Seit der Entwicklung der Verfahren fanden 4 Testschaltungen statt, die erste 2016 und drei weitere im Jahr 2017. In die Tests waren nicht nur IT-Mitarbeiter auf beiden Seiten, sondern auch Mitarbeiter auf der Fabrikseite eingebunden, die die umgeschaltete Umgebung testeten.
Übung macht den Meister
Dank des Einsatzes von Virtualisierungstechnologien auf beiden Seiten zusammen mit der Snapshot-Technologie (Snapshots) wurden die Tests unter realen Bedingungen durchgeführt, die die tatsächliche Situation des PDC-Verlustes widerspiegeln.
Bei jedem Test wurden andere Mitarbeiter der IT-Teams bei Smithfield und SNP sowie andere Personen in den Mitarbeiterteams einbezogen. All dies zur Verbreitung von Wissen und Betriebsstandards im Falle einer echten Umstellung. Im Falle eines PDC-Fehlers gibt es etwa 180 Aufgaben auf der Aufgabenliste, die von verschiedenen Mitarbeiterteams getestet werden müssen, um ihre Rolle zu erfüllen. Infolge der Tests der Prozedur wurden die Zeitpläne und Anleitungen präzisiert und die Wiederherstellungszeiten der vollen Funktionalität verkürzt. Dank der oben genannten Maßnahmen sind Smithfield-Systeme im Falle eines Ausfalls bestens geschützt.
Robert Wikieł, IT-Exekutivdirektor, Smithfield Polska
Aufrechterhaltung hoher Standards
Wir sind das größte Fleischunternehmen auf dem polnischen Markt und seit vielen Jahren führend im Export von Fleisch auf ausländische Märkte. Wir investieren in Technologien, Maschinen und Ausrüstung von Produktionswerken. Wir konzentrieren uns auf die Entwicklung, die ohne die IT-Systeme nicht möglich wäre, weil sie eben die Business Continuity garantieren.
Mit einer ziemlich zerstreuten Struktur (mehr als 50 Standorte in ganz Polen) ist die Gewährleistung einer zuverlässigen Kommunikation mit den Firmensystemen eine große Herausforderung für die IT-Abteilung. In der Situation, in der wir keinen Zugang zu Systemen haben, ist ein großer Teil unseres Unternehmens gelähmt. Wir verfügen über ein eigenes CPD, welches wir nach bestem Wissen aufrechterhalten. Die Erfahrung zeigt jedoch, dass unvorhersehbare Ereignisse gut vorweggenommen werden können. Aus diesem Grund haben wir beschlossen, das Disaster Recovery Center an einem unabhängigen externen Standort zu starten.
Bei der Auswahl des Partners für dieses Projekt hatte ich viele Angebote auf meinem Schreibtisch. Für die Entscheidung für SNP waren zwei Dinge ausschlaggebend und zwar technische Fähigkeiten und, noch wichtiger, die Fachkenntnisse der Basis-Berater, die es erlauben, Wiederherstellungsmaßnahmen zu ergreifen. Wir haben unsere Erwartungen dargelegt und gemeinsam mit SNP Verfahren entwickelt. Aber Prozeduren sind eine Sache und menschliche Handlungen sind die andere. Daher sind Tests das Wichtigste in diesem Projekt. Jede Wiederherstellungspause war eine große Lektion für alle. Dann haben wir gesehen, wo es Probleme gibt, was verbessert, optimiert und beschleunigt werden muss. Wir haben uns bemüht, die Reichweite in immer kürzerer Zeit zu erhöhen. In jeder weiteren Wiederherstellungspause wechselten wir die Teams, Mitarbeiter und zogen erneut Schlüsse. Wir haben die Anforderungen nicht gesenkt, sondern nur die Messlatte höher gelegt.
Momentan geben uns die entwickelten Verfahren die Garantie für den Betrieb der wichtigsten IT-Systeme für das Unternehmen, aber wir hören hier nicht auf. Wir müssen testen, denn nur dann können wir sagen, dass wir im Falle eines Scheiterns wirklich vorbereitet sind.
Robert Wikieł, IT-Exekutivdirektor, Smithfield Polska
Tomasz Wawrzonek, Stellvertretender IT-Direktor, SNP Poland
Sicherheit der Kundensysteme ist unsere Priorität
Die Infrastruktur der SNP Data Centers erfüllt hohe Anforderungen im Bereich Sicherheit und Performance. Monitoring-Systeme, Business-Continuity-Pläne und zertifizierte Arbeitsstandards stellen die Grundlage für die Erbringung unserer Dienstleistungen dar. Das Schlüsselelement ist die Kompetenz der Personen, die 24 Stunden am Tag, 7 Tage die Woche für die Aufrechterhaltung der Geschäftskontinuität und die Verfügbarkeit von Systemen verantwortlich sind. Deshalb ist es so immens wichtig, die Kompetenzen ständig zu verbessern.
Das Disaster Recovery Center ist für große Notfälle oder andere unvorhersehbare Ereignisse vorgesehen. Wenn ein kritisches Ereignis vorliegt, welches zur Nichtverfügbarkeit von IT-Systemen bei laufendem Betrieb führt, trifft eine seitens Smithfield autorisierte Person in Übereinstimmung mit einer vorbestimmten Prozedur die Entscheidung über das Umschalten der Systeme in einen Backup-Modus. Nach einem derartigen Signal wird der Wechsel zum Backup Center, d. h. zum Business Continuity Plan, gestartet. Zum geplanten Zeitpunkt übernimmt das SNP-Backup-Center die Rolle des primären Zentrums. Alle Systembenutzer erhalten eine Switch-Mitteilung mit Anweisungen, damit sie Backup-Verbindungen benutzen, um sich in die Systeme einzuloggen.
Als Teil des Disaster Recovery Center-Dienstes realisiert die SNP zu Gunsten von für Smithfield auch einen Kollokationsdienst für die Backup-Infrastruktur, welcher die Wiederherstellung von archivierten Daten ermöglicht.
Tomasz Wawrzonek, Stellvertretender IT-Direktor, SNP Poland
Smithfield Polska ist eine Gruppe von Unternehmen, die in Polen in der Lebensmittelproduktion tierischer Herkunft tätig sind und den Produktionsablauf "vom Feld zum Tisch“ kontrollieren. Sie ist Teil der Gruppe Smithfield Foods, Inc. (USA), deren Hauptaktionär die WH Group ist, die auf der Börse in Hongkong notiert wird. Diese Firmen bilden eine Gruppe, die weltweit der größte Schweinefleischhersteller ist.
Die Geschäftstätigkeit von Smithfield Polska basiert auf der Sorge um alle Aspekte der Betriebstätigkeit, indem die Sicherheit der Nahrung höchster Qualität gewährleistet wird.
Smithfield Polska setzt sich zusammen aus:
Animex Foods Sp. z o.o. – Hersteller von Schweine-, Geflügelfleisch und hochwertigen Fleischzubereitungen unter solchen bekannten Marken wie: Krakus, Morliny, Morlinki, Berlinki oder Mazury.
Agri Plus Sp. z o.o. – Geschäftstätigkeit im Bereich der Schweinezucht.
Agri Plus Sp. z o.o. – befasst sich mit der Herstellung von Futtermitteln.
