Pożar w serwerowni OVH w Strasbourgu. Część Europy znów siedzi bez dostępu do stron i aplikacji internetowych.

• Hosting
• Telekomunikacja

Pożar w serwerowni OVH

Jak podaje biuro prasowe OVH, o godzinie 00:47 dnia 10 marca 2021 w jednej z 4 serwerowni, mianowicie SBG2, doszło do pożaru. O godzinie 02:54 w nocy udało się zamknąć i odizolować teren płonącej serwerowni, ale mimo wysiłku strażaków, o 04:09 pożar zniszczył SBG2. W końcu udało się opanować ogień i, na szczęście, nikomu nic się nie stało. Przez jakiś czas serwerownia nie była dostępna dla personelu - z oczywistych przyczyn, bo przez środki bezpieczeństwa.

Firma OVH podkreśla że posiada 15 centrum danych w Europie, dlatego zespoły techniczne i handlowe dalej działają.

Mi, akurat, dzisiaj przez cały dzień nie działa poczta na OVH. Napisałem zapytanie do supportu, zobaczymy co odpowiedzą. Jestem ciekaw czy uda im się odtworzyć dane. Nie wiem jak mocno to jest backup`owane, a z komunikatu prasowego dalej nie wiadomo co dokładnie zostało zniszczone przez ogień - czy cały sprzęt serwerowni, czy jednak magazyny danych były lepiej zabezpieczone? Zapytam o to biuro prasowe OVH, a jak udzielą mi odpowiedzi to dam Wam znać (w tym miejscu dopiszę). Otóż, jeśli korzystacie z usług OVH, zapiszcie tę stronę do zakładek w przeglądarce, żeby wkrótce wrócić tu i sprawdzić nowy komunikat.

Jeśli ktoś korzysta z usług OVH, w panelu klienta został wyświetlony ten oto komunikat:

Komunikat o pożarze w OVH

Komunikat o pożarze w OVH

Warning: We are currently facing a major incident in our DataCenter of Strasbourg. If your production is in Strasbourg, we recommend to activate your Disaster Recovery Plan.

Czyli firma zaleca uruchomić plan odtwarzania konta/danych po awarii. Z tego wynika że dane powinny być zabezpieczone, ale w jakim stopniu i czy wszystkie, tego na razie nie wiemy (czekamy na odpowiedź biura prasowego).

Co to jest serwerownia?

Serwerownia to pomieszczenie, w którym znajdują się serwery i przeróżny osprzęt - szafy serwerowe, kable, linie zasilania, sprzęt telekomunikacyjny, magazyny dysków twardych, systemy diagnostyczne i alarmowe i wiele innego.

Tak to wygląda (to nie jest serwerownia OVH, tylko zdjęcie poglądowe):

Serwerownia. Zdjęcie poglądowe.

Gorzej jeśli serwerownia wygląda tak:

Serwerownia. Zdjęcie poglądowe.

Dlaczego dochodzi do pożarów w serwerowniach?

Nie znam przyczyny pożaru w serwerowni OVH, ale wymienię najczęstszej spotykane przyczyny pożarów na obiektach technologicznych, którym jest m.in. serwerownia. Oto one, posortowane wg częstotliwości występowania (z moich obserwacji i posiadanych przeze mnie danych):

• zaniedbanie reguł BHP przez personel;
• chęć oszczędzania (tak jak ludzie instalują butle z gazem do samochodu, bo taniej, a później parkują w garażu podziemnym, gdzie obowiązuje zakaz wjeżdżania z gazem);
• niewłaściwie zastosowany sprzęt, albo wadliwie zamontowany, nienależycie zabezpieczony lub nie zabezpieczony sprzęt elektryczny;
• fabrycznie wadliwy sprzęt (na przykład, akumulatory, zasilacze, anteny, klimatyzatory itd), wadliwie wykonany lub wadliwie zaprojektowany;
• celowe działania konkurencji;
• celowe działania personelu (jeśli ktoś bardzo chcę ukryć ślady swoich działań).

Backup`y czyli kopie zapasowe

Drodzy czytelniczki i czytelnicy bloga informatycznego! Pamiętajcie o backup`ach. Róbcie kopie zapasowe na czas. Pamiętajcie o trzech podstawowe rzeczach:

• backup, przechowywany w tym samym miejscu co i źródłowy zbiór danych, nie jest backup`em;
• buckup z którego nie da się odtworzyć systemu/danych, nie jest backup`em;
• przestarzały backup nie jest backup`em.

Pożar w serwerowni OVH - aktualizacja informacji z dnia 2021-03-11

Tutaj mogą Państwo śledzić na bieżąco raportowanie o bieżącej sytuacji ws pożaru w serwerowni OVH. Biuro prasowe na razie milczy, ale dajmy im trochę czasu, przecież mają do czynienia z poważną sytuacją.

Jak można dowiedzieć się z wyżej wymienionego komunikatu, od serwerowni SBG2 został odcięty prąd, co wpłynęło też na pracę serwerowni SBG1, SBG3 i SBG4. Z resztą, może to dlatego moja poczta dalej nie działa.

Zespół OVH podaje aktualny status wszystkich serwerowni w Strasbourgu (w moim wolnym tłumaczeniu, więc przepraszam za ewentualne nieścisłości lub błędy):

• Serwerownia SBG1: sala sieciowa jest w porządku, 4 salki (z serwerami?) zostały są zniszczone, 8 sali w porządku (co w nich się znajduje i czy dalej działają?).
• Serwerownia SBG2: została zniszczona.
• Serwerownia SBG3: zasilanie zostało wyłączone, trwa monitorowanie serwerów.
• SBG4: nic się nie stało.

Plan na najbliższe 2 tygodnie:

• Restart zasilania 20KV dla SBG3
• Ponowne uruchomienie 240 V w SBG1 / SBG4
• Sterowanie DWDM / routerami / przełącznikami w pomieszczeniu sieciowym A (SBG1), kontrola światłowodów na łączu Paryż / FrankfurtPrzebudowa pomieszczenia sieciowego B (SBG5), kontrola światłowodów na łączu Paryż / Frankfurt.

Przywrócenie zasilania SBG1 i SBG4 jest szacowane na poniedziałek 15 marca. Powrót do roboty SBG3 jest szacowany na piątek 19 marca.

M.in. zespół OVH informuje że firma posiada zapasy nowych serwerów w innych lokalizacjach, które oni wykorzystają w celu dostarczenia usług klientom, dotkniętym nieszczęściem. No, cóż, być może i moja poczta zadziała. W najbliższych tygodniach planują dostarczyć 10 000 nowych serwerów.

Firma OVH prosi o zachowanie czujności, bo z kryzysu mogą skorzystać przestępcy, wysyłając fałszywe powiadomienia emailem.

Zobaczymy jak sobie poradzą. Na szczęście to nie jest lokalna polska firemka hostingowa, tylko potężna międzynarodowa korporacja, więc jest szansa że dobrze sobie poradzą, ale zobaczymy, bo na razie biuro prasowe nie odpowiada. Domyślam się ile mają pytań, maili i telefonów, ale to nie zwalnia z obowiązku udzielania informacji.

Support już normalnie odpowiada, otrzymałem odpowiedź na moje pytanie w ciągu kilkunastu godzin: Your Email service will be restored and accessible again during the day. No emails will be lost. Czyli, jak widać, dane są zabezpieczone. Jestem ciekaw czy wszystkie i dlatego dalej czekam na odpowiedź biura prasowego.

Poza tym, pojawił się nowy komunikat tu: The first cleaning and securing works of the datacenter have started this morning. Our teams are building a document summarizing the impacted services for each building. This document aims to give you visibility on the recovery status of your services and data in the coming days. A FAQ will be available soon to determine the location of your products and answer your questions.

No i powstał oficjalny FAQ: Strasbourg incident.

Pożar w serwerowni OVH - relacja z dnia 2021-03-12

Minął kolejny dzień po pożarze w serwerowni OVH w Strasbourgu, a biuro prasowe dalej milczy. Trudno. Oto relacja z dnia 2021-03-12.

Kolejny oficjalny komunikat (w moim wolnym tłumaczeniu):

• Zespoły HR przybyły na miejsce, aby wspierać ludzi na miejscu.
• Dodatkowe zespoły techniczne z innych biur i centrów danych zostały ściągnięte na miejsce w celu zapewnienia pomocy i specjalistycznej wiedzy.
• Usługi logistyczne i żywieniowe zostały zapewnione wszystkim zespołom na miejscu.
• Utworzono biuro tymczasowe.
• Wzmocniliśmy personel we francuskim zakładzie produkcyjnym (Croix) wewnętrznymi wolontariuszami, którzy zajmują się bieżącym i dodatkowym planami produkcji w związku z incydentem w Strasbourgu.
• Produkcja będzie prowadzona w wydłużonych godzinach pracy oraz w weekendy.
• Naszym klientom oferujemy infrastrukturę zastępczą (Dedicated servers, Hosted Private Cloud, and Public Cloud) w centrach danych Roubaix i Graveline.
• W ciągu najbliższych 48 godzin zostaną uruchomione dodatkowe linie montażowe, co potroi naszą zdolność produkcyjną.

Oto informacje o tym co się dzieje w Strasbourgu.

• Trwa diagnostyka i inwentaryzacja.
• Jesteśmy w trakcie porządkowania i naprawy uszkodzonych budynków, aby zapewnić naszym zespołom bezpieczne środowisko pracy.
• Zakończyliśmy usuwanie piany gaśniczej i wody z ulicy. Dzisiaj usuniemy wodę ze zbiornika na wodę.
• Serwerownia SBG2 wymaga prawie całkowitej przebudowy.
• Serwerownia SBG1 została poważnie uszkodzona.
• Po wstępnym audycie, pokój sieciowy SBG1 zostanie przywrócony na początku przyszłego tygodnia.
• Wstępny termin przywrócenia zasilania to poniedziałek 15 marca.
• W najbliższych dniach włączamy serwery (po audycie).
• Serwerownia SBG4: wygląda na to że wszystko jest ok. Chcemy przywrócić zasilanie w 12 tygodniu, a następnie stopniowo włączać wszystkie usługi.
• Serwerownia SBG3 też jest ok. Harmonogram ten sam co dla SBG4.

Tu znajdą Państwo więcej informacji na Twitterze.