Storage oparty na Ceph

[mcbarlo 61]

Ceph to bardzo fajny projekt, ale mało jest informacji na jego temat na naszym rodzimym podwórku. Czy wykorzystywaliście ten typ storage u siebie? Jeśli tak to z jakim skutkiem?

 

W szczególności interesuje mnie jego współpraca z Proxmoxem, który od niedawna ma obsługę Ceph przez GUI.

 

Ciekawi mnie też czy ktoś z Was miał już awarie dysku i z powodzeniem przetrwał ją bez utraty danych?

 

Link do strony projektu: http://ceph.com

[joe21 0]

Ceph jest bardzo fajny - o ile jest zrobiony z glowa. Ma duzo baboli (kazda wersja) wlacznie z modulem to kernela, ale da sie z tym zyc.

Postawilem juz kilka klastrow od 10TB do kilku PB i moge z reka na sercu go polecic. Co do awarii dyskow - wszystko zalezy od tego ile masz replik, na jakim sprzecie robisz i ile masz szczescia lub pecha - jak w raidzie. Pamietaj, ze dane w Cephu na OSD to zwykly FS (xfs, ext4...) i w razie utraty jedynej repliki - montujac zasob RO, da te dane sie odzyskac. Ceph liczy sumy z kazdej PG, wiec spoko.

 

[mcbarlo 61]

Możesz powiedzieć coś więcej na temat robienia storage opartego na Ceph z głową? Na co zwrócić uwagę, a czego unikać?

[HaPe 242]

Nie stosowałem samemu jeszcze ceph, ale OVH stosuje to rozwiązanie o ile pamiętam w rubabove.

[joe21 0]

Możesz powiedzieć coś więcej na temat robienia storage opartego na Ceph z głową? Na co zwrócić uwagę, a czego unikać?

 

Jak pisalem - zalezy do czego chcesz go wykorzystac. Znajac zastosowanie, mozna okreslic:

- siec - 1Gbit/10Gbit/40Gbit

- rodzaj dyskow w OSD (SATA, SATA NL, SAS, SSD)

- podzal dyskow SSD dla journala OSD - opcja

 

oraz sam sprzet: wielkosc budy, ilosc dyskow, typ kontrolera RAID0 + write cache lub HBA

 

... itd ... itp

 

do tego dochodzi odpowiednia mapa, ilosc replik, ilosc PG itd itp. i masa innych parametrow.

 

Jedyne co jest stale to: 1GB ramu per proces OSD oraz 1CPU (core) per proces OSD oraz sieciowka minimum 10Gbit.

 

Ogolnie sprawa nie jest trywialna przy duzych instalacjach. Jak chcesz sie pobawic w klaster np. 10TB, mozna go do zabawy zrobic na maszynch 1U i 1Gbit. Przy wiekszych instalacjach i instalacjach produkcyjnych - tylko 10Gbit.

 

Zasada dodatkowo jest taka, ze monitorow nie miesza sie z osd na tej samej maszynie oraz monitorow i osd nie robi sie na wirtualkach. Z czego to wynika? - dlugo by pisac.

[mcbarlo 61]

Mam storage 64 TB oparty na Open Media Vault. Bardzo toporny, ale działa dobrze. Sprzęt też już jest dość stary, bo to półki NetAppa FC 2 Gbps.

 

Chciałbym storzyć coś nowego w oparciu o Ceph, którym ma zarządzać Proxmox. Ma wsparcie dla Cepha i fajnie byłoby je wykorzystać. Pytanie jakie są konsekwencje posadzienia monitorów i/lub osd na wirtualkach?

 

Co do sprzętu to część SSD i część SATA, ale jako oddzielne przestrzenie. Raczej nie mam zamiaru inwestować w wydumane kontrolery, bo uważam to za zbędny wydatek szczególności w przypadku SSD.

[joe21 0]

Mam storage 64 TB oparty na Open Media Vault. Bardzo toporny, ale działa dobrze. Sprzęt też już jest dość stary, bo to półki NetAppa FC 2 Gbps.

 

Chciałbym storzyć coś nowego w oparciu o Ceph, którym ma zarządzać Proxmox. Ma wsparcie dla Cepha i fajnie byłoby je wykorzystać. Pytanie jakie są konsekwencje posadzienia monitorów i/lub osd na wirtualkach?

 

Co do sprzętu to część SSD i część SATA, ale jako oddzielne przestrzenie. Raczej nie mam zamiaru inwestować w wydumane kontrolery, bo uważam to za zbędny wydatek szczególności w przypadku SSD.

 

Toporny, ale dziala. Ceph oczywiscie by sie tu sprawdzil, ale bez znajomosci instalacji i dokladnie tego, co chce sie osiagnac wiele powiedziec nie moge.

 

Trzeba natomiast powiedziec jedno - ceph jest obslugowy i dla 64TB nie wiem czy jest sens sie bawic. Jest to na tyle mala przestrzen, ze mozna ogarnac ja 1 polka dyskwa - 45 dyskow i dowolnym raidem, nawet 10.

[mcbarlo 61]

No to mnie nie zachęciłeś. OMV odpaliłem i zapomniałem. Za to wcześniej FreeNAS do spółki z ZFS-em dorzucił mi kilka siwych włosów i raczej nie chciałbym powtórki. Jednak Ceph jest na tyle kuszący, że w celach poznawczych na pewno go odpalę.

[kyob 4]

Ciekawi mnie też czy ktoś z Was miał już awarie dysku i z powodzeniem przetrwał ją bez utraty danych?

 

Testwałem mały klaster z 3 kompów w konfiguracji:

- 1x SSD na Proxmoxa 4 beta2

- 2x HDD 3TB (czyli po 2 OSD na kompa)

- 3 monitory

- osobne sieciówki dla CEPH i dla publicznej sieci

- włączone HA

- nie miałem journalingu na SSD

 

Co testowałem:

- wcyciąganie dysków online z OSD (jeden, dwa, trzy)

- wyciąganie dysków z proxmoxem

- brutalne wyłączanie zasilania jednego, potem dwóch naraz i 3 jednocześnie (kilkadziesiąt razy)

- wyłączanie sieciówek

- konflikty IP

- zamianę kabelków LAN

- rebooty (jednej, dwóch i trzech naraz)

- wywalenie wezła i postawienie na nowo proxmoxa i dołączenie do klastra

 

Nie udało mi się nic uszkodzić wirtualki zawsze wstawały i klaster ostatecznie kończył ze statusem HEALTH OK.

[mcbarlo 61]

To bardzo dobrze. Potrzebuję bardzo podobnego konfiga tylko czekam aż Proxmox 4 się ustabilizuje. Jednak z tego co wiem problemy zaczynają się z Cephem przy macierzach w okolicach kilkuset TB.

[behemoth 230]

@Up: zgadza się.

[Bartosz Z 236]

A GlusterFS? Jest wsparcie w Proxmoxie: https://pve.proxmox.com/wiki/Storage:_GlusterFS

[kyob 4]

Dnia 24.09.2015 o 08:51, mcbarlo napisał:

To bardzo dobrze. Potrzebuję bardzo podobnego konfiga tylko czekam aż Proxmox 4 się ustabilizuje. Jednak z tego co wiem problemy zaczynają się z Cephem przy macierzach w okolicach kilkuset TB.

Pierwsze słyszę wręcz odwrotnie. Powiedz to cern,ovh, home, 1and1 a oni pewnie mają wiecej danych.