Sytuacja
Producent żywności z Mariampola na Litwie, zatrudniający około 250 osób, pracuje na dwie zmiany i zaopatruje sieci handlowe w ściśle określonych oknach dostaw. Infrastruktura IT jest typowa dla produkcji: kilka zwirtualizowanych serwerów z systemami ERP i magazynowym, osobne serwery sterowania liniami produkcyjnymi w sieci produkcyjnej, kilkadziesiąt stanowisk, sprzęt sieciowy z segmentami VLAN między biurem a produkcją oraz Microsoft 365 do poczty i dokumentów.
Kopie zapasowe istniały, ale tylko dla serwerów: Veeam wykonywał kopie maszyn wirtualnych na lokalny magazyn w tej samej serwerowni. Serwery sterowania liniami nie były objęte kopiami, ponieważ utrzymywał je dostawca urządzeń i nikt nie był pewien, czy wolno. Konfiguracje urządzeń sieciowych nie były przechowywane nigdzie poza samymi urządzeniami. Microsoft 365 uważano za „sprawę Microsoft”. Odtwarzania nigdy nie testowano.
Były dwa powody, by się z nami skontaktować. Po pierwsze, audyt sieci handlowej zażądał dowodu, że firma potrafi wznowić działalność po incydencie, a odpowiedź „mamy kopie zapasowe” nie wystarczyła. Po drugie, gdy zepsuł się jeden przełącznik, sieć produkcyjna stała przez pół zmiany, podczas gdy jego konfigurację odtwarzano z pamięci. Dyrektor produkcji zadał proste pytanie: jeśli jutro nie będzie serwerowni, ile czasu zajmie nam powrót do produkcji?
Czego potrzebowano
- Kopii zapasowych całej infrastruktury: serwerów, serwerów sterowania liniami, stanowisk, konfiguracji urządzeń sieciowych, Microsoft 365.
- Co najmniej jednej kopii poza zakładem, niedostępnej z sieci firmy.
- Uzgodnionego i przetestowanego czasu odtwarzania systemów krytycznych, wokół którego produkcja może planować pracę.
- Lokalizacji odtwarzania na wypadek utraty własnego sprzętu firmy.
- Udokumentowanych ćwiczeń z raportem, który można przekazać audytorom.
Co zrobiliśmy
Tygodnie 1–2: inwentaryzacja i lista krytyczności
Wypisaliśmy wszystko, co ma adres IP, i razem z kierownikami produkcji, logistyki i finansów ustaliliśmy dla każdego systemu, jak długo firma może bez niego pracować. Trzy okazały się krytyczne: ERP, system magazynowy i serwery sterowania liniami. Dla nich uzgodniliśmy cel odtworzenia w 4 godziny, a dla pozostałych do następnego dnia roboczego. Ta lista stała się później scenariuszem ćwiczeń.
Tygodnie 3–6: kopie zapasowe całej infrastruktury
Przebudowaliśmy kopie serwerów według zasady 3-2-1: kopie Veeam na miejscu, druga kopia w centrum danych MDP CLOUD na Litwie oraz trzecia kopia, niezmienialna i niewidoczna z sieci, do której ransomware nie dotarłby nawet z uprawnieniami administratora. Z dostawcą urządzeń sterujących liniami uzgodniliśmy, że jego serwery są kopiowane z wstrzymanym zapisem do bazy danych podczas nocnej przerwy. To trwało najdłużej, bo wymagało pisemnego potwierdzenia dostawcy.
Zaczęliśmy automatycznie zbierać konfiguracje urządzeń sieciowych każdej nocy do tego samego repozytorium kopii, z historią zmian. Dla stanowisk ze specjalistycznym oprogramowaniem (wagi, drukowanie etykiet) utworzyliśmy kopie obrazów. Pocztę, OneDrive i SharePoint z Microsoft 365 objęliśmy osobnym backupem Microsoft 365, ponieważ Microsoft przechowuje usunięte dane tylko przez ograniczony czas i nie obejmuje każdego scenariusza.
Tygodnie 7–8: PlanB
Dla systemów krytycznych przygotowaliśmy PlanB: wstępnie skonfigurowane środowisko w chmurze MDP CLOUD, w którym ERP i system magazynowy można uruchomić z kopii zapasowych bez kupowania sprzętu. Środowisko czeka wyłączone, aż będzie potrzebne; po włączeniu pracownicy łączą się przez VPN z dowolnego miejsca.
Tygodnie 9–10: ćwiczenia
Pierwsze ćwiczenie odbyło się w weekend: zasymulowaliśmy utratę serwerowni i odtworzyliśmy trzy systemy krytyczne w środowisku PlanB. Pierwsza próba trwała nieco ponad 4 godziny, ponieważ plik licencji ERP okazał się powiązany ze starą nazwą serwera. Poprawiliśmy procedurę i powtórzyliśmy ćwiczenie dwa tygodnie później, tym razem osiągając cel. Osobno odtworzyliśmy konfigurację jednego przełącznika na urządzeniu zapasowym. Zajęło to około 20 minut, a nie pół zmiany.
Wynik
Odtwarzanie systemów krytycznych zostało sprawdzone na 4 godziny, co nie jest już celem, lecz faktem zapisanym w raporcie z ćwiczeń. Audytorom sieci handlowej przekazaliśmy raport z ćwiczeń, politykę kopii zapasowych i procedury odtwarzania, i nie zostały żadne pytania.
Wszystkie konfiguracje urządzeń sieciowych, 100%, są przechowywane z dzienną historią. Zmiana, którą ktoś wprowadził na przełączniku we wtorek, jest widoczna w środę i w razie potrzeby można ją cofnąć.
Ćwiczenia odtwarzania odbywają się dwa razy w roku według uzgodnionego harmonogramu, za każdym razem z innym scenariuszem: utrata serwerów, atak ransomware, usunięcie konta Microsoft 365. Raport z każdego ćwiczenia trafia do zarządu i jest przechowywany na potrzeby audytów.
„Po raz pierwszy mamy odpowiedź na pytanie »ile zajęłoby nam powrót do produkcji«, a pochodzi ona z raportu, a nie z czyjejś głowy.”
Co doradzilibyśmy w podobnej sytuacji
- Kopie zapasowe bez przetestowanego odtwarzania to założenie, a nie ochrona. Pierwszy test prawie zawsze ujawnia coś, o czym nie wiedziałeś.
- Uwzględnij w inwentaryzacji wszystko, co ma konfigurację, a nie tylko serwery: przełączniki, zapory, wagi, drukarki.
- Kopie sprzętu produkcyjnego uzgadniaj z jego dostawcą na piśmie, zanim dojdzie do incydentu.
- Cel odtwarzania ustalaj z kierownikami produkcji i finansów, a nie w dziale IT: to oni wiedzą, ile kosztuje godzina przestoju.
