Dzięki uprzejmości Henrika Johansena z firmy ScanNet Group z Danii prezentujemy cykl artykułów opisujących wdrożenie oprogramowania Bacula Enterprise w dużym środowisku dostawcy hostingowego. Zapraszam do lektury.

Cześć I

Projekt:

W ciągu ostatniego roku byłem bardzo mocno zaangażowany w proces wyboru, projektowania, tworzenia i zarządzania nową infrastrukturą do realizacji kopii zapasowych w firmie ScanNet Group w Danii. Było to ze wszech miar kształcące doświadczenie!

Nasza stara platforma do wykonywania kopii zapasowych składała się z wielu różnorodnych narzędzi i technologii, co finalnie doprowadziło do bardzo kosztownego, trudnego w zarządzaniu oraz utrzymaniu “talerza spagetti”. Postawiliśmy sobie więc cel: znalezienie odpowiedniego rozwiązania, które będąc łatwo zarządzalne i skalowalne, oferowałoby jednocześnie optymalne zabezpieczenie danych dla nas i dla naszych klientów.

Jak można się domyśleć, za optymalne dla naszej firmy rozwiązanie uznaliśmy oprogramowanie Bacula. I to był nasz świadomy, zweryfikowany doświadczalnie wybór. Po zbudowaniu infrastruktury testowej oraz po dwóch dniach lokalnego “Proof-of-concept” (POC), na początku 2010 roku podpisaliśmy umowę z Bacula Systems.

Oczywiście bardzo dokładnie przeanalizowaliśmy inne produkty do wykonywania kopii zapasowych (IBM TSM, Symantec NetBackup oraz CommVault Simpana) lecz one nie mogły konkurować z oprogramowaniem i usługami jakie dostarcza Bacula Systems.

Nasza infrastruktura kopii zapasowych Bacula jest całkiem spora i składa się z 9 serwerów z podłączonymi ponad 25 macierzami dyskowymi. Wszystkie nasze kopie zapasowe składowane są w lokalizacji zdalnej (off-site) z wykorzystaniem optycznego połączenia sieciowego 3 x 10Gbit/s. Kopie zapasowe składowane są na 3 dużych pulach dyskowych ZFS obsługiwanych przez 375 fizycznych dysków.

Szczegóły i fakty:

Obecnie kopie zapasowe realizowane są z kilku tysięcy serwerów uruchomionych pod wieloma systemami operacyjnymi (Windows, Linux, Solaris, BSD) oraz ponad 300 instancjami baz danych MS-SQL. Biorąc pod uwagę rozmiar, standardowe 2 tygodniowe kopie zapasowe zajmują około 190TB przestrzeni dyskowej, na które składa się około 490M archiwizowanych plików.

Dzienne obciążenie sieci sięga 600MB/s na każdy serwer składowania (Storage Daemon), sumaryczne obciążenie sieci to około 2GB/s podczas wykonywania 300 jednoczesnych zadań kopii zapasowych. To wszystko przy akceptowanym poziomie obciążenia zasobów procesora na serwerach składowania. Jak do tej pory uruchomionych zostało około 100k zadań, z czego ponad 90% zadań wykonanych zostało całkowicie bezbłędnie, a na pozostałe 10% składają się tylko 3 nieudane zadania ze względu na problemy z oprogramowaniem Bacula. Pozostałe błędne zadania związane były z problemami operatorskimi lub dostępnością serwerów.

Aby wykonywać kopie zapasowe instancji baz danych MS-SQL napisaliśmy nasze własne narzędzie, które jest uruchamiane przez oprogramowanie Bacula przed i po wykonaniu zadania kopii zapasowej. Takie działanie dało nam także możliwość zastosowania dodatkowego mechanizmu kompresji plików bazodanowych przed archiwizacją wykonywaną przez oprogramowanie Bacula. Osiągany średni współczynnik kompresji sięga powyżej 80%, więc nasze działanie było warte poniesionej pracy.

W chwili obecnej spędzamy co najwyżej 30 minut dziennie na wykonywaniu wszelkich zadań administracyjnych związanych z oprogramowaniem Bacula, włączając w to sprawdzanie statusów i ewentualne restartowanie nieudanych zadań. Integracja oprogramowania Bacula do naszego panelu sterującego, systemu bilingowego, itp. była bardzo prosta i oznaczała głównie napisanie prostego interfejsu XML API dla naszych serwerów katalogowych oprogramowania Bacula.
Wprawdzie Bacula nie posiada wszystkich tzw. wodotrysków jakie znajdują się w konkurencyjnym oprogramowaniu, lecz nie są one tak dla nas istotne. Bacula jest niezawodna, skalowalna i sprawia, że zarządzanie środowiskiem kopii zapasowych jest proste i przyjemne. Pomoc i wsparcie jakie otrzymaliśmy od firmy Bacula Systems była warta swoich pieniędzy.

IBM, Symantec oraz CommVault powinny w końcu oglądać się za siebie … wyrasta im ogromny konkurent. "The bat is coming to get them !"

źródło: https://myunix.dk/2010/12/01/large-scale-disk-to-disk-backups-using-bacula/