[Kolokacja] Bardzo duża macierz dyskowa

[kamilnowak 0]

Poszukuję rozwiązania dla bardzo dużej pamięci masowej. Docelowa pojemność jaka mnie interesuje to około 200 TB, ale na start wystarczy 70-90 TB. Nigdy nie miałem styczności z tak wielką macierzą dlatego liczę na Waszą pomoc.

 

Sprzęt ten chciałbym kolokować w jakimś centrum danych dlatego muszę się ograniczać z ilością U oraz zużyciem prądu. Tutaj też proba do firm o ofertę jak ustalimy już konkretny sprzęt.

 

Istotna jest też dla mnie możliwość rozbudowy. Sprzęt jednak nie musi być nowy, ale wiadomo, że nie może być przestarzały.

 

Jeśli chodzi o półkę na dyski to myślałem o czymś takim: http://www.powerserv..._rozbudowy.html

 

Dobry stosunek ceny do ilości dysków do zamontowania i możliwość rozbudowy.

 

Dyski najpewniej ze względu na koszty wziąłbym desktopowe SATA 3.5" 3TB, więc i kontroler musiałby takie obsłużyć.

 

Kontroler jest niestety dla mnie już sporą niewiadomą. Czy da się wykorzystywać więcej niż jeden kontroler naraz w jednym serwerze?

 

Serwer, który będzie całość obsługiwał nie musi być jakiś niesamowity, bo aplikacja będzie na innym. Myślę nad jakimś tańszym modelem opartym na Xeonie E3. Actina Solar wygląda atrakcyjnie.

 

Jako, że nie miałem wcześniej styczności z tak dużą pojemnościa zastanawiam się czym to obsłużyć od strony oprogramowani? Obecnie moim faworytem jest FreeNAS. Dodam, że wydajność to jest drugorzędna sprawa zarówno w operacjach I/O jak i transferach pomiędzy serwerem storage, a aplikacji.

 

Bardzo proszę Was jako doświadczonych specjalistów o podpowiedz jak ten temat najlepiej ugryźć. Budżet mam niestety mocno ograniczony. Mogę przeznaczyć na sprzęt do 70 tyś zł brutto razem z dyskami tak żeby wystartować, czyli na storage o pojemności 70 TB z perspektywami do 200 TB.

Edytowano Styczeń 1, 2013 przez kamilnowak (zobacz historię edycji)

[theONE 526]

Nie bierz dyskow desktopowych, za duza awaryjnosc jak na tka duza macierz, jak znajde czas wieczorem to rozpisze ci rozwiazania ale idziesz w dobra strone z ta buda.

 

Ile danych miesiecznie planujesz zapisac?

[globalnetwork.pl 11]

theONE ma rację, nie bierz takich dysków, natomiast co do rozwiązania nie zgodzimy się, ACTINA to kiepskie rozwiązanie

Ponieważ tutaj reprezentujemy markę hostingową globalnetwork.pl, a operatorem jest firma integratorska BLUE LEAF Sp. z o.o. to prosimy o kontakt na bok@blueleaf.pl - postaramy się dobrać rozwiązanie enterprise do budżetu oraz wspomóc w kolokacji jako oficjalny partner biznesowy ATM S.A.

Wdrażamy takie rozwiązania na co dzień

 

 

Z poważaniem,

Zespół BLUE LEAF Sp. z o.o.

http://www.blueleaf.pl

http://www.globalnetwork.pl

[kamilnowak 0]

Powiedzmy, że około 15 TB miesięcznie chciałbym tam przenieść. Potem już ruch raczej nie powinien być wielki, ale na początku przeniesienie danych na pewno będzie stresem dla łącza.

 

Z dyskami to poważna sprawa, bo nawet pseudo serwerowe SATA są ponad 2x droższe np. Seagate Constellation ES.2. Przy około 25 dyskach na start to robi już poważną kwotę. Według MTBF ich żywotność jest nawet nie 2x dłuższa. Kwestia do przedyskutowania. Bardziej mnie jednak interesuje kwestia kontrolera i oprogramowania.

 

Co do serwerów Actina to mam sztukę i nie narzekam. Stosunek ceny do możliwości rewelacyjny. Oprócz tego miałem też 5 serwerów Supermicro i też zero stresu, a właśnie z Supermicro głównie składa swoje serwery Actina.

[globalnetwork.pl 11]

My tylko radzimy i chcemy pomóc, ale decyzja należy do Pana

Dodamy, że jeden z naszych klientów miał takie właśnie różne rozwiązania i bardzo szybko zmienił swoje podejście jak nagle 6 dysków "wypadło" z półki, a powodem była słaba jakość połączeń wewnątrz półki... a wspomniana półka działała bez problemu przez ponad 2 lata Taki mały psikus

[krzysztofgda 46]

Nie wiem jaki jest budżet w tym projekcie ani jakiego rodzaju dane będą składowane, ale przy takiej ilości danych może warto się pochylić nad rozwiązaniami typu deduplikacja czy kompresja. Takie rozwiązania ma w swoich produktach np NetApp.

Te technologie pozwolą zaoszczędzić nawet kilkadziesiąt % miejsca na HDD. Można o tym poczytać min. tu:

 

http://www.macierze-netapp.pl/technologie/deduplikacja.html

http://macierze-netapp.pl/technologie/kompresja-danych.html

[globalnetwork.pl 11]

Ma Pan rację Panie Krzysztofie, my także rozwiązanie z deduplikacją chcieliśmy zastosować dla klienta, ale z NetApp będzie raczej niemożliwe zbudowanie storage 70TB za 70k brutto.

Pytanie jeszcze czy klient chciałby kontrolery FC czy iSCSI.

[krzysztofgda 46]

Pewnie może być problem, ale zawsze warto porównać koszty bo jeśli różnica nie będzie duża warto dopłacić, bo w porównaniu do serwerów to inna liga sprzętu. Zreszta same Supermicro tak super mechanicznie tez nie jest dopracowane.

 

Pytanie kolejne ile da deduplikacja / kompresja.

W przypadku NetApp FAS2240-2 lub NetApp FAS2240-4 jest wszystko FC, iSCSI, CIFS, NFS.

 

No i co z backupem

[kamilnowak 0]

Zastanawiałem się nad kompresja. Powiedzcie mi proszę czy w przypadku matriałów wideo ma to jakikolwiek sens? One i tak są skompresowane przeznaczonym do tego algorytmem. Głównie tego typu dane będą przechowywane. Deduplikacja będzie rozwiązana na poziomie aplikacji. Backup jest niepotrzebny, bo ta macierz będzie właściwie backupem. W razie utraty jakiejś części danych będzie się dało je odzyskać z innej lokalizacji.

 

Co do technologii to moim zdaniem FC odpada ze względu na koszty.

[krzysztofgda 46]

w przypadku video - zarówno kompresja jak i deduplikacja niewiele przyniesie oszczędności 5-10% max.

Jeśli to ma być jako backup to chyba jednak najlepiej serwer z duża ilością tanich HDD po NFS

Edytowano Styczeń 2, 2013 przez krzysztofgda (zobacz historię edycji)

[Gość Kamikadze]

Czy tanie hdd to dobre dozwiazanie? Osobiscie to prywatnie moze mi byc wszystko jedno, ale dla firmy z takim budzetem to wolalbym dobrac cos drozszego i lepszego :-)

 

Sent from my GT-S6500D using Tapatalk 2

[Gość patrys]

W zależności od zastosowania dyski desktop mogą być, dyski serwerowe też "padają", choć fakt rzadziej.

Nie wiem do czego to ma służyć, ale jeżeli z tego ma być wykonywany jakiś stream video to trzeba pomyśleć o kartach sieciowych i I/O.

Dla skalowalności można by rozłożyć to na kilka maszyn i użyć jakiegoś programowego rozwiązania, a zacząć od serwerów do 24 dysków.

[krzysztofgda 46]

To miało być jako backup. Można dać jakieś Supermicro z 36 dyskami.

Do tego 27 x 3 TB ( zwykłe lub RE4) w RAID6 (możliwa awaria 2 dysków) + 1 lub 2 jako "hot spare"

porządny kontroler RAID i mamy 70TB w budżecie.

 

Potem będzie można dodać jeszcze 8 HDD co da razem 92TB.

[kamilnowak 0]

Macierz będzie używana do przechowywania kopii materiałów wideo z monitoringu. Szczegółowo nie bardzo mogę o tym pisać publicznie, ale myśle, że taka informacja wystarczy do zorientowania się po co to ma być.

[Kszysiu 136]

Myślę że te dyski nie będą jakoś mocno eksploatowane, tyle że będą chodzić 24/7. Może zastosowanie dysków typu "eco" (te ze zmienną prędkością obrotową) będzie dobrym pomysłem? Będą sobie cały czas wolno pracować i zdaje mi się że wtedy wolniej się zużywać. A w momencie dużego zapotrzebowania będą sobie przyspieszać. No i będzie to generować mniejsze koszty co miesiąc - bo przecież prawie 30 dysków "troszkę" prądu pobiera.

 

Z tego co pamiętam to chyba pierwsze generacje tych dysków były awaryjne - nie wiem jak teraz z nimi jest.

 

ps. To taka propozycja "laika" jeśli chodzi o sprzęt tego "kalibru" - jak zaproponowałem coś głupiego to przepraszam:)

[przemon 35]

Myślę że te dyski nie będą jakoś mocno eksploatowane, tyle że będą chodzić 24/7. Może zastosowanie dysków typu "eco" (te ze zmienną prędkością obrotową) będzie dobrym pomysłem? Będą sobie cały czas wolno pracować i zdaje mi się że wtedy wolniej się zużywać. A w momencie dużego zapotrzebowania będą sobie przyspieszać. No i będzie to generować mniejsze koszty co miesiąc - bo przecież prawie 30 dysków "troszkę" prądu pobiera.

 

Z tego co pamiętam to chyba pierwsze generacje tych dysków były awaryjne - nie wiem jak teraz z nimi jest.

 

ps. To taka propozycja "laika" jeśli chodzi o sprzęt tego "kalibru" - jak zaproponowałem coś głupiego to przepraszam:)

 

Nie dasz dysków Eco z kilku powodów.

Jeden z nich to taki, że większość tego typu dysków ma wysoki procent awaryjności.

Drugi to taki, że większość nie obsługuje Error Recovery Control i przy sprzętowym kontrolerze będą wypadały z RAID. .Swoją drogą ciekaw jestem jak chcieli koledzy zmieścić się w budżecie z prawdziwymi dyskami SAS i macierzami jakie opisali. Tak samo jak SATA zdarza się blackout z dyskami SAS (wypadło mi kiedyś 4 na raz z RAID60). To że są wydajniejsze i przystosowane do 24/7 to nie ulega wątpliwości, ale cena i dostępne pojemności przekraczają budżet. Opowiadania, że Actina to złe rozwiązanie też do mnie jakoś nie dociera bez argumentów - dla mnie wystarczy fakt, że pracują w CERN i płyna na Galerze w TASK. To tylko kopia, IMHO spokojnie SATA można dawać z dobrym kontrolerem.

 

To beond w e24cloud dawał SATA WD w konfiguracji RAID60 (pomijam fuckup czerwcowy) trzepie kasę do tej pory komercyjnie a tutaj ma kamil przeinwestować na starcie dla kopii Video?

 

 

Pozdrawiam

 

Przemo

Edytowano Styczeń 2, 2013 przez przemon (zobacz historię edycji)

[ambrozy 0]

A może rozwiązanie ala BackBlaze?

[przemon 35]

A może rozwiązanie ala BackBlaze?

Fajny projekt, tylko oni nie dają tam kontrolerów sprzętowych. Używają jednych z najmniej awaryjnych dysków SATA i w dodatku energooszczędnych. Niestety jedyny poważny minus to brak umowy serwisowej na podzespoły.