Storage High Availability - Jaki mechanizm replikacji wybrac do sprzętu.

[ox1de 0]

Witam. Posiadam małe środowisko wirtualne:

 

2 HP DL380 G5

1 HP DL380 G6

Macierz hp d2600 disk enclosure (22TB) współdzieloną z powyższymi nodami linkiem 10Gbit prot. NFS

 

Planuje kupić jeszcze minimum 3 HPDL380 G6 plus 2 macierze tego samego typu aby uczynić to środowisko produkcyjnym z wysoka dostępnością, tyle że jakiego mechanizmu użyć do replikacji danych na macierzach i automatyzacji failover. Naczytałem się o GlusterFS i wygląda obiecująco, ale zanim zacznę testy chce zaczerpnąć opinii ludzi którzy wdrażali już takie środowiska i powiedzą na co zwracać szczególna uwagę lub czego się wystrzegać ew. alternatywy odnośnie GFS tez są mile widziane.

[Kszysiu 136]

ostatnio bawię się z glusterem... mam 3 maszynki, dwie mają po jednym dysku dla glustera, na trzeciej mam odpalonego glustera tylko po to, żeby nfsa po localhoście podmontować i wydajność przetestować i z replikacją x2 i osiągnąłem jakieś 95% wydajności pojedynczego dysku...

[ox1de 0]

ostatnio bawię się z glusterem... mam 3 maszynki, dwie mają po jednym dysku dla glustera, na trzeciej mam odpalonego glustera tylko po to, żeby nfsa po localhoście podmontować i wydajność przetestować i z replikacją x2 i osiągnąłem jakieś 95% wydajności pojedynczego dysku...

 

Miło mi to słyszeć, pytanie jak Gluster będzie się zachowywać (wydajność, opóźnienia, obciążenia serwera do którego podłączona jest macierz) gdy stworzę go z 3 macierzy każda z 12 HDD (22TB RAID5) z replikacja ?

Edytowano Styczeń 8, 2016 przez ox1de (zobacz historię edycji)

[theONE 526]

Strasznie od d strony się zabrałeś do tematu...

 

Albo serwery z dyskami i na nich Gluster czy inny rozproszony system plików, i mówie tutaj o tanich serwerach na SM w budach typu http://www.supermicro.com/products/chassis/4U/846/SC846BE1C-R1K28B.cfm (oczywiście wielkość budy zależna od tego ile potrzebujesz IOPS i powierzchni, czasami 4 dyski po 8 TB a czasami 36 dysków SSD)

 

Albo mechanizmy wewnętrzne macierzy i replikacja w oparciu o to co potrafi macierz.

 

Bo teraz masz wady obu systemów:

- cenę sprzętu z macierzy HP

- wypadanie dysków w przypadku awarii noda sterującego z glastera

 

I żadnych zalet

[ox1de 0]

Macierz nic nie potrafi, i w tym problem, mogę druga macierz podłączyć do istniejącej szeregowo i będzie się replikować z automatu, ale nadal pozostaje single point of failure w postaci serwera do którego podłączona jest macierz przez kabel SAS do kontrolera.

I tego słabego punktu własnie chcę się pozbyć tworząc kolejne 2 macierze z serwerami które będą je obsługiwać i replikować dane po 10GBit-ach. Jakies propozycje

Edytowano Styczeń 8, 2016 przez ox1de (zobacz historię edycji)

[Kszysiu 136]

a nie ma opcji podłączenia macierzy do dwóch kontrolerów w dwóch maszynach?

[ox1de 0]

Niestety, można spiąć 2 macierze se sobą ale zawsze obsługuje je jeden serwer, taki typ macierzy. Dlatego myslałem o Gluserze w celu replikacji. Tak naprawdę ten typ macierzy rozszerza tylko storage serwera do którego jest podłączona, montowanie odbywa się lokalnie bo kontroler obsługujący macierz jest w serwerze podłączony kablem sas, generalnie jest to zasób lokalny.

 

Wygląda to teraz tak:

 

A chcę osiągnąć to:

 

 

 

I czy w takiej konfiguracji Gluseter sie sprawdzi ?

Edytowano Styczeń 8, 2016 przez ox1de (zobacz historię edycji)

[Kszysiu 136]

Może DRBD? podobno jest szybsze od glustera, tak piszą internety.

 

Gdzieś czytałem, że gość zmienił glustera na dwóch hostach na drbd+gfs i śmigało lepiej

 

EDIT

 

jest jeszcze moosefs, ewentualnie lizardfs (fork Łosia) - tylko wymaga "mastera", którego w sumie chyba da się zreplikować i podobno jest szybki.

 

 

EDIT2

 

jeszcze ciekawi mnie jak to śmiga:

 

https://www.kernel.org/doc/Documentation/md-cluster.txt

 

Nie miałem okazji przetestować

Edytowano Styczeń 8, 2016 przez Kszysiu (zobacz historię edycji)

[ox1de 0]

Czytałem sporo na temat klastrowych systemów plików, i opinie są podzielone, Gluster 3.7 podobno też niczego sobie a tez potknąłem się o temat w którym pisali ze gluster jest zasobożerny (ale nie podali która wersja) i RDBD lepiej się spisywał. faktem jest że nigdzie nie znalazłem naprawdę sensownego testu wydajnościowego, porównania rozwiązań, przykładów wdrożeń lub ew. abstrakcji z macierzami dlatego tez nie wykluczam puki co żadnego rozwiązania i czekam na wypowiedzi ludzi którzy testowali te rozwiązania lub może maja inne bardziej skuteczne w przypadku mojej konfiguracji sprzętowej.

 

Aktualnie na tych serwerach które są już wirtualizowane stoją maszyny, serwer VPN, NAS SYNOLOGY, i kilka innych usług które przez NFS przechowywane są na macierzy po 10Gbitach, działa to bardzo fajnie jeden serwer odpada drugi, lub trzeci przejmuje role i odpala z automatu VM które zgasły na serwerze offline. Tylko jeszcze została ta druga macierz aby zabezpieczyć dane, a nawet trzecia dla świętego spokoju sugerując się trzecim prawem Murphy'ego

Edytowano Styczeń 8, 2016 przez ox1de (zobacz historię edycji)

[Gość patrys]

W przypadku połączenia dwóch macierzy DRBD jest perfekcyjne, a w wersji 9 pozwala na skalowanie poprzez dodawanie kolejnych nodów. Nie mam jednak żadnego porównania w wydajności między drbd9, a glusterfs.

Jednak jeżeli mają być to wirtualizacje to dość prosto można zaimplementować DRBD9 z Proxmox 4: https://pve.proxmox.com/wiki/DRBD9

[ox1de 0]

W przypadku połączenia dwóch macierzy DRBD jest perfekcyjne

Możesz to rozwinąć? Moja sugestia odnośnie GlusterFS była podyktowana tym że jest o nim chyba najgłośniej w sieci, potem znalazłem dużo tematów na temat Ceph.

 

Proxmoxa mam na wszystkich nodach w wersji 4.1 robiłem update-y tydzień temu znam go bardzo dobrze już 3 lata z nim pracuje i z wersji na wersje jest coraz przyjemniej I jeśli RDBD okaże się faktycznie na tyle dobre dla moich potrzeb nic nie stanie na przeszkodzie aby wdrożyć je w życie.

 

Drbd-9.0 is already available as prerelease, but not yet stable.

 

Ciekaw jestem ile przyjdzie czekać.

 

 

EDIT 1

 

RDBD wymaga serwera monitora, a co się stanie gdy ten padnie ? Jest na to jakaś solucja?

Edytowano Styczeń 8, 2016 przez ox1de (zobacz historię edycji)

[theONE 526]

Nie idz w macierze, tylko ci nabiją strasznie cenę. GlasterFS jest robiony dla serwerów z dyskami a nie macierzy

[Gość]

Możesz to rozwinąć?

 

Nie ma lepszego rozwiązania do zsynchronizowania dwóch nodów

Fakt, DRBD9 nie jest jeszcze stabilne.

 

Tak jak @up te macierze tanie nie będą, lepiej kupić kilka serwerów z wymaganą ilością dysków i na tym wdrożyć wybrane rozwiązanie.

[ox1de 0]

Akurat te macierze są stosunkowo tanie, dlatego własnie że nie są współdzielone, o ceny się nie martwcie, inny temat jest.

A dyski w serwerach tez będę wykorzystywał ale już w opcji passthrough do KVM jako stor w raid5 lub raid10 do MSSQLa.

 

Jeszcze pytanie w DRBD dane sa synchronizowane pomiędzy nodami po wysłaniu pliku na primary node czy zapisywane są na obu nodach jednocześnie? W GFS jest opcja active:active a w DRBD?

[Kszysiu 136]

Jeszcze pytanie w DRBD dane sa synchronizowane pomiędzy nodami po wysłaniu pliku na primary node czy zapisywane są na obu nodach jednocześnie?

Zależy jak ustawisz - masz protokół A B C do wyboru

 

W GFS jest opcja active:active a w DRBD?

Jest active active ale nikt nie zaleca używania (latwo o split brain)

 

Jeśli chodzi o storage dla VM to sytuacja sie trochę "rozwija"

 

gluster daje ci libgfapi (qemu jeździ bezpośrednio po glusterze)

 

Jest jeszcze ceph ze swoim RBD

[Gość patrys]

Na dwóch, to raid 1 przez interfejs sieciowy.

To zależne od systemu plików, w activ:activ może działać z wykorzystaniem jakieś klastrowego systemu plików np. GFS.

Z reguły używa się go w trybie primary->secondary z jakimś przełącznikiem.

 

Więcej szczegółów już w Google i dokumentacjach.

[Kszysiu 136]

To zależne od systemu plików, w activ:activ może działać z wykorzystaniem jakieś klastrowego systemu plików np. GFS.

Google mi powiedziało raz jak szukałem, że jeśli nie musisz montować filesystem w dwóch miejscach, to tego nie rób i użyj active-passive + jakiś normalny filesystem - po prostu tak jest szybciej.

[areq 0]

Jeszcze jest sheepdog

[ox1de 0]

DRBD w takim razie pierwsze do testowania, przetestuje 2 warianty activ:activ i activ:passive i potem GlusterFS w taki sam sposb, zobacze jak to funkcjonuje.

[mcbarlo 61]

Ostatnio tworzyłem testowy klaster HA na Proxmoxie 4. Jako storage miałem 2 serwer spięte po DRBD w trybie active-passive. Mordowałem go na różne sposoby łacznie w wyłączaniem wszystkie z prądu w różnych kolejnościach i jednocześnie. Poza koniecznościa odbudowy połączenia w DRBD nie było żadnego padu. Jedyna opcja downtime'u jest w momencie kiedy padnie macierz active i trzeba przełaczyć się na zapasową.

 

BTW ox1de mówiąc macierze raczej ma na myśli półki dyskowe, więc można je traktować jako lokalny storage.

 

EDIT

 

Storage w moim teście podłączałem do Proxmoxa za pomocą iSCSI.

Edytowano Styczeń 8, 2016 przez mcbarlo (zobacz historię edycji)

[Kszysiu 136]

mcbarlo

 

A jak z wydajnością względem "normalnej" macierzy? testowałeś z raidem pod spodem czy bez?

 

Jakiś automat do przełączania testowałeś?

[ox1de 0]

BTW ox1de mówiąc macierze raczej ma na myśli półki dyskowe, więc można je traktować jako lokalny storage.

 

Dokładnie tak I takie półki sa traktowane jako storage lokalny, no nic pozostaje testować i wybrać. W przyszłości chciałbym zrobić jeszcze cluster na baze produkcyjna MSSQL, baza ponad 50Gb i zapisy lub zmiany są dokonywane z sekundy na sekundę więc nie wiem czy active:passive się sprawdzi w przypadku nagłej smierci, dlatego pytałem o równoległe wysyłanie danych na obie półki co mogło by zniwelować niespójność danych chyba że się mylę.

 

mcbarlo A jak z wydajnością względem "normalnej" macierzy? testowałeś z raidem pod spodem czy bez?

 

Jakiś automat do przełączania testowałeś?

 

Właśnie, ja mam RAID5 z 12x2TB HDD ciekawe jak to się zachowa.

Edytowano Styczeń 8, 2016 przez ox1de (zobacz historię edycji)

[Kszysiu 136]

Właśnie, ja mam RAID5 z 12x2TB HDD ciekawe jak to się zachowa.

No właśnie ciekawi mnie konfiguracja "bez raida", czyli coś w stylu raid10 czy tam kilka raid1.

[mcbarlo 61]

O wydajności się nie wypowiem niestety, bo cały projekt służył tylko do opracowania know how i sprawdzenia pod kątem dziwnych akcji typu uszkodzony switch, wypięta skrętka czy pad prądu. Sprzęt jaki wykorzystałem to była zbieraniana 5 serwerów, które akurat były luźne i była mała szansa ich wydzierżawienia. Czyli poprostu stare rupiecie.

 

Obstawiam, że około lutego-marca będę taki klaster budował już na docelowym sprzęcie i wtedy wypowiem się na temat osiągów.

[ox1de 0]

Ok. marca bede chcial juz wirtializowac mssql produkcyjnego Zrobilem wirtualne srodowisko testowe z dyskami passthrough do kvm i bede testowac gfs i drbd. Potestuje rozne warianty i dam znac co mi z tego wyszlo i co wybralem.

Edytowano Styczeń 9, 2016 przez ox1de (zobacz historię edycji)