Sytuacja
Firma produkcyjna z Kowna na Litwie, zatrudniająca około 120 osób, przez ponad dziesięć lat miała jednego pracownika IT. Wiedział wszystko: gdzie stoją serwery, jakie są hasła, jak działa program do księgowości produkcji, która drukarka na hali się zacina i co wtedy zrobić. Dokumentacji praktycznie nie było. Znajdowała się w głowie jednej osoby i w kilku prywatnych plikach z notatkami.
Pracownik odszedł po dwutygodniowym okresie wypowiedzenia. W ciągu tych dwóch tygodni firma zrozumiała, że nie ma komu przekazać obowiązków ani czego przekazywać: znalezienie nowego informatyka zajmuje firmie produkcyjnej miesiące, a ludzi o takim profilu brakuje na rynku. Tymczasem codzienna praca zaczęła się zacinać. Pracownicy pisali do dyrektora finansowego o niedziałającej poczcie, kierownik magazynu sam próbował zrestartować serwer, a nikt nie potrafił powiedzieć, czy kopie zapasowe w ogóle są wykonywane.
Kierownik firmy przyszedł do nas z konkretnym pytaniem: czy da się przejąć wsparcie IT tak, aby produkcja działała bez przerwy, a firma przestała zależeć od jednej osoby?
Czego potrzebowano
Na pierwszym spotkaniu z kierownikiem i dyrektorem finansowym określiliśmy, co jest najważniejsze, a co może poczekać:
- Helpdesk dla pracowników od pierwszego dnia, z jasnym czasem reakcji, aby zgłoszenia nie przechodziły już przez dział finansowy.
- Przejęcie dwóch fizycznych serwerów (księgowość produkcji i serwer plików) oraz około 90 stanowisk pracy, w tym komputerów na hali produkcyjnej.
- Ustalenie, jakie kopie zapasowe są wykonywane, i upewnienie się, że można je odtworzyć.
- Przegląd dostępów: dotychczasowy pracownik miał wszędzie uprawnienia administratora, a część z nich była współdzielona.
- Udokumentowanie całej infrastruktury, aby przy następnej zmianie osób firma nie znalazła się w tej samej sytuacji.
- Budżet: nie więcej niż koszt dotychczasowego stanowiska IT wraz z podatkami.
Jedno dodatkowe ograniczenie: produkcja pracuje na dwie zmiany, więc prace na serwerach były możliwe wyłącznie w weekendy lub w nocy.
Co zrobiliśmy
Tydzień 1: przejęcie i inwentaryzacja
Pierwszego dnia uruchomiliśmy helpdesk: pracownicy dostali jeden adres e-mail i jeden numer telefonu, zgłoszenia są rejestrowane w systemie, a reakcja następuje w ciągu 30 minut. Równocześnie nasz inżynier przeprowadził inwentaryzację infrastruktury: serwerów, sprzętu sieciowego, stanowisk pracy, licencji, aplikacji i dostawców. Powstał pierwszy w historii firmy opis jej infrastruktury.
Najważniejsze ustalenie: kopie zapasowe były wykonywane na dysk zewnętrzny podłączony do tego samego serwera, a ostatnia udana kopia miała siedem tygodni. Nikt nigdy nie próbował jej odtworzyć.
Tygodnie 2–3: dostępy i kopie zapasowe
Zmieniliśmy wszystkie hasła administratorów, usunęliśmy konta współdzielone i wprowadziliśmy osobne konto dla każdego pracownika. Włączyliśmy uwierzytelnianie dwuskładnikowe przy administrowaniu serwerami. Dostęp byłego pracownika wyłączyliśmy u wszystkich dostawców, także w rejestratorze domeny i u dostawcy internetu, o czym często się zapomina.
Kopie zapasowe przenieśliśmy do rozwiązania kopii zapasowych serwerów w Veeam: kopie dzienne trafiają do naszego centrum danych na Litwie (UE), a tygodniowe do centrum danych Amazon w Niemczech. Odtwarzanie przetestowaliśmy w trzecim tygodniu: serwer księgowości produkcji został przywrócony w środowisku testowym w niecałe trzy godziny.
Tygodnie 4–5: stanowiska i serwery
Na wszystkich stanowiskach wdrożyliśmy agenta monitoringu i zdalnego zarządzania, uporządkowaliśmy aktualizacje (część komputerów na hali nie była aktualizowana od ponad roku) i ujednoliciliśmy ochronę antywirusową w Bitdefender GravityZone. Dla serwerów wprowadziliśmy tryb opieki nad serwerami: całodobowy monitoring i aktualizacje w nocy z soboty na niedzielę, uzgodnione z dyrektorem produkcji.
Najtrudniejszy był program do księgowości produkcji, obsługiwany przez małego lokalnego dostawcę. Okazało się, że jego baza danych nie miała żadnej konserwacji, a logi zajmowały większość dysku. Naprawiliśmy to razem z dostawcą programu, a baza jest teraz objęta monitoringiem.
Tydzień 6: dokumentacja i SLA
W ostatnim tygodniu uzupełniliśmy dokumentację: schemat sieci, listę serwerów i usług, rejestr dostępów, procedury odtwarzania i kontakty do dostawców. Dokumentację przechowujemy my i klient, a aktualizujemy ją przy każdej zmianie. Podpisaliśmy umowę o poziomie usług (SLA) z konkretnymi czasami reakcji i rozwiązania zależnie od priorytetu zgłoszenia.
Rezultat
W pierwszych trzech miesiącach po przejęciu liczba zgłoszeń IT spadła o około 35% w porównaniu z pierwszym miesiącem. Powód jest prosty: większość powtarzających się problemów (nieaktualizowane komputery, sterowniki drukarek, pełne dyski) usunięto systematycznie, zamiast naprawiać je za każdym razem od nowa.
Reakcja helpdesku zgodnie z SLA wynosi 30 minut i jest mierzona dla każdego zgłoszenia: co miesiąc klient otrzymuje raport z liczbą zgłoszeń oraz czasami reakcji i rozwiązania. Dyrektor finansowy nie odbiera już telefonów w sprawach IT.
Infrastruktura jest udokumentowana w 100%: każdy serwer, usługa i dostęp ma swój wpis. Kopie zapasowe są sprawdzane codziennie, a odtwarzanie testowane co kwartał. Miesięczny koszt dla firmy jest niższy niż dotychczasowe stanowisko IT.
Wcześniej IT to była jedna osoba, której urlopów baliśmy się jak ognia. Teraz to usługa z raportem i umową.
Co doradzilibyśmy w podobnej sytuacji
- Nie czekaj, aż Twój pracownik IT odejdzie. Dokumentacja i rejestr dostępów powinny istnieć już teraz, nawet jeśli ta osoba nie planuje odejścia. To nie brak zaufania, to zasób firmy.
- Pierwsze zadanie przy zmianie osoby odpowiedzialnej za IT to zmiana wszystkich haseł administratorów i wyłączenie dostępów u dostawców, a nie tylko wewnątrz firmy.
- Sprawdź, czy Twoje kopie zapasowe da się odtworzyć. Kopia, której nikt nie próbował odtworzyć, to założenie, a nie ochrona.
- Wybierając dostawcę wsparcia IT, wymagaj pisemnego SLA i miesięcznych raportów. Inaczej nie będziesz w stanie ocenić, czy usługa działa.
