janwron

Witam (jako nowy użytkownik forum) szanowne grono... Chciałbym się Was podpytać o sugestie/przemyślenia pod kątem maszyny do obsługi programowego RAIDa. Nie jestem 'sprzętowcem', moja wiedza niewiele wykracza poza minimum potrzebne do administrowania własnym małym serwerkiem w firmie. Gdy 3 lata temu rozpocząłem moją przygodę ze sprzętem byłem tak bardzo zachwycony niską ceną półek na HDD od EMC/DELL, że za kilka stówek jedną sobie kupiłem do zabawy. Szybko okazało się, że to co sprzedawca nazywał 'macierzą' w rzeczywistości jest tylko właściwie obudową na dyski, bez procka. Żądny wiedzy, szperałem dalej... ceny samych procesorów RAID z kolei mnie przeraziły (cały czas mówię o sprzęcie używanym), doszedłem do wniosku, że to co sprzedaje DELL czy też IBM to są właściwie zwykłe serwery wzbogacone o dodatkowy soft i sprzedawane X razy drożej. Dalej przyszedł więc pomysł aby zbudować coś podobnego samemu, długo szukałem kabla HSSDC2, udało się w końcu za jakieś psie pieniądze kupić 2gbps (trochę szkoda bo półka ma kontroler na 4 ale trudno). Kabelek kupiłem HSSDC2 -> SFP (wyboru właściwie nie miałem), a więc kontrolera też szukałem z SFP, a nie LC. Tu niestety allegro mnie zawiodło srodze Po kilku miesiącach, zniecierpliwiony, nie chcąc sprzedawać nerki, kupiłem 2 kontrolery 4ro kanałowe 4gbps po 30$ na amerykańskim eBay (kupiłem 2 bo przesyłka wyniosła 40$ i jakoś tak głupio mi było kupować coś taniej niż sama przesyłka...) Ogólnie każdy kolejny zakup rozjaśniał mi przyczynę niskiej ceny tych półek Niemniej, gdy już udało mi się to wszystko zgadać z serwerem, fdisk wyrzucał błąd przy próbie formatowania, na tym etapie zawiodło mnie nawet google (jak się później okazało, szukałem nie tego co trzeba). Najbardziej praktyczna informacja jaką znalazłem sugerowała, że kontroler jest uszkodzony albo niekompatybilny (to jest sprzęt LSI, z tego co się połapałem przemierzając szerokie wody internetu, większym uznaniem cieszą się qLogic, więc kwestia kompatybilności wyglądała całkiem logicznie). Gdy już trochę się poddawałem, zupełnie przypadkiem z pomocą przyszedł jakiś allegrowicz (który jeśli to czyta to przypominam: masz u mnie kolego dużego browarka!!), zaczepił mnie w kwestii innego sprzętu, który u kogoś tam nabyłem, od słowa do słowa podpowiedział mi, że DELL (a jak potem doczytałem to IBM też) formatuje dyski 520B (IBM 528B) na sektor... 3 dni low-format'owania do 512 załatwiło sprawę, jestem szczęśliwy Teraz tylko zastanawiam się jak zmontować serwer do obsługi tej kieszeni (oczywiście nie wydając zbyt dużo $$$). Obecnie to jest podłączone do mojego serwera w firmie, jest na nim kilka vHostów, wszystko na centos'ie, serwer z mając 18GB RAMu wykorzystuje ok 80%, równiutko, praktycznie cały czas, nie swapuje. Jak już wszystkie dyski sformatowałem, chciałem sobie jakoś tak oszacować wydajność pojedyńczego HDD z tej półki, wrzuciłem jakiś większy plik do skopiowania i zaraz Nagios do mnie krzyknął, że 'Mem Critical', 100% RAM i 100% SWAPa (2GB) zajęte... hmm... W tym momencie kończę opowiadanie i przechodzę do pytań: 1) jak to kurde w linuxach działa? Jak wpakuję 128GB RAMu i będę kopiował plik 500GB to kernel będzie cache'ował w RAMie do pełna? 2) niestety nie mam pojęcia jakie procesory są w sprzętowych kontrolerach RAID, stąd nie wiem jaka (pi * drzwi) moc obliczeniowa byłaby potrzebna w potencjalnym serwerze do obsługi (z tego co widzę parametry Clariion'ów z czasów świetności tych półek d*** nie urywają, przeciętnie taki sprzęt miał chyba jakieś 2 rdzenie, 4GB RAM... to jest OK?) - wszelkie sugestie poparte jakimś wytłumaczeniem 'czemu tyle' bardzo mile widziane 3) jak wygląda awaryjność? wyczytałem gdzieś w 'internetach', że przy programowym RAID trzeba samemu odbudowywać macierz po awarii jakiegoś HDD (system tego sam nie zrobi po wymianie), z drugiej jednak strony wyczytałem, że można konfigurować hot-spare'y więc chyba tak źle nie jest... 4) czytałem na jakiś forum (niestety przypadkiem tam trafiłem, nie potrafię już wrócić do tych materiałów), wypowiedź człowieka, który pisał, że wydajność takiego zestawu bardzo mocno poprawił mu montaż małego (chyba pisał, że 32GB) dysku SSD do obsługi cache... co on mógł mieć na myśli? chodzić mogło o to, że zamontował SWAPa na takim dysku, czy dla mdadm cache można skierować na jakiegoś dev'a? Na koniec chciałbym napisać, że uwagi nt prądożerności takiego zestawu (jakkolwiek zasadne) mnie nie przekonają do porzucenia zabawy... wiem ile to prądu ciągnie, Energa i tak mnie już lubi, polubią mnie jeszcze bardziej. Moim celem jest zdobycie jakiejś wiedzy i doświadczenia. Jestem ciekaw jak dużo za jak najmniejsze pieniądze można wycisnąć (kontrolery są na 4gbps, chciałbym zobaczyć ile z tego wyjdzie w praktyce). W tej chwili wydałem na wszystko ok 1000 zł, z czego 600 to była półka + HDD, którą kupiłem na pałę, nie wiedząc jeszcze w co się pakuję (serwera nie liczę, bo już go miałem wcześniej), wydaje mi się, że przy takiej kwocie nie mogę sobie jeszcze powiedzieć, że zwariowałem, a serio chciałbym zobaczyć jak to wszystko będzie działało. W przyszłości może używać dysków SATA aby stosunek powierzchni do ceny był lepszy, dzielić takie zasoby po FC (karty z LC są dużo tańsze niż SFP, a do wszystkich 4ech portów w moim kontrolerze mam paluchy LC), może pchać na to prywatne zdjęcia i filmy bo już nie mam gdzie ich trzymać, mieć miejsce, na które mógłbym szybko kopiować obrazy vhostów itp Będę Wam bardzo wdzięczny za wszelkie sugestie/przemyślenia. Wydaje mi się, że dużo praktycznych materiałów w tych kwestiach w naszym rodzimym języku nie ma, może zostanie coś z tego jeszcze dla potomnych... Z góry dzięki za pomoc.

Dobrze rozumiesz. HBA obsługuje 1,2 i 4Gbps Kontroler w półce obsługuje 1,2,4 Gbps Jednak HBA synchronizuje się na 2 Gbps, wnioskuję, że to przez kabel... Ostatni paragraf Twojego posta to dla mnie (jak to ujął kiedyś pewien mędrzec...) Teatrzyk Dowcipów Hermetycznych... Jeżeli przez multipathing rozumiesz wielokrotne podłączenie (fizyczne) to nie, półka jest podłączona bezpośrednio do HBA jednym kanałem. HBA ma 4 kanały, półka ma 2 kontrolery, ja mam jeszcze jeden kabel wolny... gdybym go użył to czy można się spodziewać przyrostu prędkości IO? Jeśli tak to dlaczego? Bo wydaje mi się, że wąskim gardłem obecnej konfiguracji jest prędkość samych dysków... (chyba?)

Taki pomiar jako punkt odniesienia chyba zły nie jest... sprawdziłem jeden dysk, sprawdziłem potem macierz, można by się spodziewać, że w RAID 10 odczyt będzie z 4ech dysków na raz (w tym szczególnym przypadku), a tak nie jest... trochę materiałów na ten tema prześledziłem i widzę, że to jest typowe zachowanie ale nie znalazłem odpowiedzi na pytanie "dlaczego".

No nie jestem aż takim ignorantem sprzętowym aby nie wiedzieć, że diabeł tkwi w szczegółach. Zdaję też sobie sprawę, że pewnie nigdy do końca tych detali nie zrozumiem, bo to są GB wiedzy (jeśli mogę się tak wyrazić...) i lata doświadczenia, na mnie już jest pewnie za późno. Jestem trochę zawiedziony wydajnością, bo kierowałem się prostą logiką laika: jak było nowe, to było zaporowo drogie, pewnie musi być szybkie. Pojedynczy HDD dawał jakieś 90MB/sec co samo w sobie jakoś super szybkie też nie było. Miałem nadzieję, skoro takie macierze kosztują przeważnie tyle co działka budowlana pod Warszawą, że uda mi się ugryźć kawałeczek tego tortu stosując różne 'skróty'. Rozumiem, że takie rozwiązanie (na dużo większą skalę) przechowywania danych jest bardzo elastyczne i oferuje wiele możliwości skalowania, miałem jednak inne wyobrażenie na temat prędkości tych dysków. Nie dziw się proszę, że ja się dziwię, bo to jest moje pierwsze zetknięcie się ze sprzętem klasy enterprise (do tego stopnia, że nie wiem nawet czy to już enterprise czy jeszcze small-business )

Życie podyktowało mi warunki: jedna baza danych mysql kopnęła w kalendarz i musiałem wyskrobywać dane z ibdata1, stwierdziłem, że nie będę męczył podstawowej macierzy, więc podłączyłem sobie 4 HDD z tej kieszeni, zmontowałem na nich RAID10, zrobiłem swoje i teraz sprawdzam 'ile wyciągają'... Zwykła zabawa dd daje 169MB/sec dla odczytu i 103MB/sec dla zapisu. Spodziewałem się, że jak zobaczę wyniki to zemdleję z oniemienia... i jakoś w sumie nie zemdlałem. Chyba faktycznie lepiej kombinować z SATA. Mam jeszcze do zabawy jakiś niewiadomego pochodzenia (pewnie z ramek hot-swap EMC) adapter SATA->FC, podłączyłem do niego starego Samsunga na SATA i nie bangla (chyba nawet nie zaspinował)... kwestia kompatybilności (może Seagate by działał?) czy to po prostu nie ma prawa śmigać? Ostatecznie całkiem sensownym rozwiązaniem byłoby wypchać taką półkę dyskami SATA, zużycie prądy pewnie spadłoby z 60%, bladego pojęcia nie mam natomiast jakby siadło I/O. Spróbuję sklecić jutro RAID 10 z 6-8 HDD i spróbuję jakiś pseudo-benchmark na tym wykonać.

No właśnie sam nie wiem... (bo nie wiem czego oczekiwać). Zgodnie z tym co wcześniej pisałem, teraz to jest research. Przydałoby mi się kilka bezpiecznych GB na użytek domowy (od kiedy kupiłem sobie GoPro przestrzeń dyskowa na domowym PC zaczęła znikać momentalnie...). Gdyby rozwiązanie okazało się bezpieczne i stabilne, docelowo pewnie chciałbym używać tego na produkcyjnym serwerze, póki co jednak takich potrzeb nie ma. Dobrze też jednak byłoby wiedzieć, czy jestem skazany na co uda mi się wepchnąć do serwera (ze względu na ograniczone środki finansowe o profesjonalnym SANie nie ma co obecnie marzyć) aby, gdy nadejdzie taki czas, wiedzieć jakie mam opcje. Mieszkam rzut beretem od firmy, nawet jeśli będę stosował taką macierz na potrzeby domowe to i tak sprzęt wyląduje razem z serwerem (chociażby po to, aby stało za UPSami), kabelek już mam, bo ciągnę sieć z biura, gdybym podłączyć sobie tą macierz do domowego PC po iSCSI to po prostu pociągnę jeszcze jeden kabel. W sumie to nie sprawdzałem czy karta obsługuje wystawianie targetów... w mojej naiwności wydawało mi się, że z założenia wszystkie to potrafią... stosuję rozpoznanie bojem. Nie udało mi się jeszcze znaleźć parametrów Clariionów ale widzę, że IBM klasy mojej półki ma na pokładzie 2-4 rdzenie ~3GHz i 4GB RAMu. W coś takiego będę mierzył. Widziałem kiedyś na naszym ulubionym serwisie aukcyjnym takie fajne małe serwerki 1U (dużo płytsze niż typowe) ale chyba wszystkie nie miały redundantnego zasilania więc ostatecznie lipa. Niemniej właśnie coś takiego, ekonomicznego by się mi przydało. Dzięki za zaangażowanie.

Dzielenie zasobów dalej, to już osobne zagadnienie. Wiem, że istnieją gotowe dystrybucje, jeśli zastosuję gotowca to niewiele się po drodze nauczę... Póki co głównie chodzi mi o to, w jakie parametry maszyny celować (aby nie kupić czegoś, co w potencjalnym ostatecznym rozwiązaniu będzie bezużyteczne). Dzięki za odpowiedź.