ZHR17 Maja br. nastąpiła awaria dwóch dysków twardych. Trwa odzyskiwanie danych. Do tej pory udało się nam przywrócić stronę główną. Pracujemy nad pozostałymi serwisami: stronami organizacji harcerek i harcerzy, witryną puszczańskich harcy, programu ZHR rodzinie, Lednicy, Wydawnictwa i stronami użytkowników. Będziemy odzyskiwać je jedna po drugiej najlepiej i najszybciej jak potrafimy.
Co się stało?
Dnia 17 Maja serwer przestał odpowiadać. Dwa z czterech dysków twardych połączonych w macierzy RAID 1+0 zgłosiły uszkodzenia. Kontroler wyrzucił je z macierzy.
Czy są backupy?
Tak. Wykonywaliśmy tygodniowe i miesięczne backupy bazy danych! Niestety były one trzymane w tej samej macierzy a więc i one uległy uszkodzeniu.
Czy uda Wam się odzyskać nasze dane?
Odzyskamy ich tyle ile tylko nam się uda. Po otrzymaniu nowych dysków zamierzamy sklonować uszkodzone dyski i użyć dostępnych nam narzędzi analizy spójności danych w celu wyciągnięcia wszystkiego co możemy uratować. Niestety mieliśmy garnek, a zrobiło się z niego sitko. Część danych będzie bezpowrotnie utracona.
Co zamierzacie teraz zrobić?
W obliczu sytuacji jaka zaistniała skupiamy nasze siły i uwagę na działaniach mających zapobiec podobnej sytuacji na przyszłość. Na obecną chwilę rozważamy:
O ile to możliwe skonfigurować iLO do powiadamiania maile/SMSem o zaistniałych awariach sprzętu
Zrezygnować z hardwerowego zestawiania macierzy RAID na rzecz macierzy softwarowej (łatwiej odzyskiwać później dane) – pozwoliłoby to monitorować awarie dysków za pomocą systemów takich jak Zabbix
Użycie mirroringu bez stripów – spowoduje to niestety zmniejszenie prędkości działania macierzy zapewniając jednak pełne bezpieczeństwo danych w podobnym przypadku
Wygospodarować środki na zew. (niezależne od serwera) dyski innych producentów niż serwer (w celu zmilnimalizowania ryzyka spowodowanego wadą sprzętową producenta) do trzymania backupów (i tylko backupów) – niestety takie rozwiązania bardzo dużo kosztują
Wysyłanie backupów na skrzynki e-mailowe w załącznikach (np. kwartalnie/miesięcznie)
Chcę/mogę pomóc!
Napisz do nas koniecznie e-mail na matrix[at]zhr.pl
