Macierz dyskowa - sprzętowa czy programowa?

[webh 30]

Jeśli mamy wchodzić w szczegóły to SM863 jest dużo gorszym wyborem od 850 PRO. SM863 to odpowiednik Samsung 850 EVO zmniejszoną ilością przestrzeni na dane(przestrzeń ta jest wykorzystana na nadmiarowe bloki pamięci). Działa to na kościach TLC 3D.

 

Samsung 850 PRO posiada te same kości co PM863.

 

Intel S3700 to inna bajka, tutaj faktycznie mamy doczynienia z innymi kośćmi MLC HET, które charakteryzuję zdecydowanie większy endurance. Jednak w naszym przypadku, byłby to przerost formy nad treścią. Nasze usługi nie zapisują aż takiej dużej ilości danych.

[mcbarlo 61]

Jesteś tego pewien? Seria SM to odpowiednik S3700, czyli maksymalna wytrzymałość. Współczynnik TBW ma na poziomie 6160. Seria PM ma 1366 TBW i w tym wypadku wydajność, a nie wytrzymałość jest priorytetem. Seria Pro ma 300 TBW.

 

Jakie tam ktoś wsadził kości to nie ma znaczenia tak do końca. Można przecież zbudować wytrzymały dysk na TLC albo mało wytrzymały na MLC.

 

Samsungi PM są rozsądnym wyborem tylko zawsze jak kupowałem dyski to nie były dostępne.

[theONE 526]

Mam wrażenie że firmy hostingowe nie znają się na sprzęcie

 

behemoth 8 TB można kupić w 2,5 "od ręki" 16 TB jest na zamówienie dostępne

 

SSD dzielą się na enterprise i na desktop

Różnią się tym co sie stanie jak będzie wyłączony prąd:
- enterprise mają kondensatory i dają gwarancję że wszystkie dane z cache będa zapisane

- desktopy mogą utracić dane z RAM mimo że system myśli że je zapisały

Oraz metodologią testowania i podawania osiągów:

- desktopy IOPS i opóźnienia są podawane kiedy działa cache i są wolne komórki

- enterprise IOPS są podawane dla komórek pamięci kiedy RAM i zapasowe komórki są zapisane

Dyski Enterprise można zwykle przeformatować zmieniając miejsce na odporność na zapisy

 

Niezależnie od tego czy to jest enterprise czy desktop każdy dysk wyróżniają dwa parametry:

- żywotność (wyrażona ile danych można zapisać w ciągu 5 lat albo ile raz można zapisać dysk dziennie)

- złącze (SATA, SAS (w desktopach raczej nie ma), NVME, M2, U2)

 

Im większy dysk tym żywotność mierzona ilością zapisów dziennie jest mniejsza. Cięzko zapisać 10x dziennie dysk 4TB ale dysk 400 GB już można

 

I teraz kiedy wybieramy dysk to patrzymy na to ile mamy kasy (im większa wytrzymałość tym drożej za 1 GB) w ile potrzebujemy IOPS, jakie opóźnienie, jaka kolejka, ile danych, jaka żywotność. I na bazie tego wybieramy dysk.

 

 

Na ten moment olał bym desktopy w całości. Skoki wydajności przy pracy ciągłej oraz niepewność jak wysiądzie prąd.

 

Teraz dyski enterprise w kolejności od najtańszych do najdroższych:
- Intel (3500) i sandisk czyli hgst mają żywotność koło 1 zapisu dziennie przez pięć lat SATA.

- Pojawiają się w bólach porodowych tanie NVME - U2 1-2 zapis dziennie

- Potem samsung SM z 3,5 zapisami dziennie.

- Dalej 3-5 zapisów dziennie SATA/SAS (intel, hgst) tutaj jest 3700 Intela właśnie

- Wysokie odporności na zapisy 10+ SAS/NVME

 

Na ten moment serwer www to mix SATA/SAS i kontroler RAID

Za rok/półtora to U2 i kontroler RAID

 

 

 

A desktopy PRO/EVE od Sm/PM oddziela bardzo wiele od softu na kontrolerze dysku przez ilość zapisów do rodzaju zastosowanch nandów.

[Sebak 298]

@mcbarlo tak, jestem pewien. Około 2 lat temu jak podejmowałem decyzje zakupowe interesowałem sie tematem dość dokładnie. Kości pamięci są dokładnie te same, kontroler jest ten sam, ale posiada zmodyfikowane oprogramowanie. Różnice w endurance biorą sie z ilości komórek przeznaczonych jako nadmiarowe bloki pamięci. Oczywiście gwarancja to jedno, realne życie to drugie. Kiedys w sieci był test samsunga 850 pro gdzie osoba testujący zapisana na niego kilka PB danych.

 

@theONE wymądrzasz sie a nie do końca masz racje. Niektóre dyski typu desktop rownież maja kondensatory chroniące je przed zanikiem napięcia, np crucial m550 czy samsung 850 pro.

[theONE 526]

@sebak metoda testowania wydajności i żywotności a więc deklaracja producenta decyduje o tym czy jest to dysk enterprise. Desktopy sa testowane:

- w innej temperaturze

- dla 8 godzin obciazenia dziennie (enterprise 24h)

- inny UBER

- Inny czas zachowania danych przy odcięciu zasilania

 

Idz w google wpisz Client vs Enterprise SSD. JESD219 i poczytaj jak wyglądają normy a potem mów

 

Oba dyski które pokazałeś to dekstopy

 

Crucial ma power loss protection wszstkie inne parametry jak desktop. Już się kilka firm hostingowych na nim przejechało

Samsung 850 pro producent jasno pisze że nie ma power loss protection i że jest to desktop

Wszystko co jest podane przez producenta jasno mówi przy obu desktop od kontrolera, przez testy, przez parametr.

 

Pokaż informacje producenta obu gdzie jest napisane inaczej.

 

 

[Sebak 298]

@theONE nie mam teraz dostępu do komputera(majówka), więc mam problem z dyskusja z Tobą. Niemniej nie wierz we wszystko co Ci mówi producent, gdyż on ma interes w Tym by sprzedać Ci droższy produkt.

 

Używamy samsungow 850 pro juz 2-3 lata i przez ten okres ani jedna sztuka nam nie padła, ani jeden bajt danych nie został utracony. A mówimy tutaj o woluminie 100-200 sztuk.

[theONE 526]

Ja tego kupiłem już kilka może kilkanaście tysięcy sztuk w życiu wiem co piszę. Monitoruj smart i nie przekraczaj parametrów producenta żywotności to nic strasznego nie będzie.

 

Jak ci nie padają znaczy że nie masz dużego zużycia. Jak zaczniesz orac albo dojdziesz ze zużyciem do gwarancji będą padać. SSD ogólnie mniej się psują od talerzy.

 

Dwa lata temu było tak że było 850 pro i długo długo nic. Teraz jest zupełnie inaczej

[Sebak 298]

@theONE smart jest oczywiście monitorowany na bierząco. Mam w swoim portfolio Samsungów 850 pro kilka sztuk których endurance dochodzi do 1 PB(wersja 1TB) i nie maja ani jednej realokowanej komórki. Oczywiście dyski SSD wymagają by o nie dbać, np. nie tworząc partycji na całej dostępnej przestrzeni dysku.

 

Nasza macierz hostingowa opiera się na SM863 i mówiąc szczerze, gdyby nie fakt że udało mi się je zdobyć w dobrej cenie, nie widziałbym potrzeby stosowania ich. Nie widzę zadnej roznicy wydajnościowej w moim zastosowaniu względem konstrukcji opartych na 850 PRO. Osobiście uważam, ze prawie każdy SSD i tak zapewnia dużo większą wydajność niż macierze SAS. Wiec zawsze można lepiej i drożej, czasami pytanie tylko po co jeśli w danym zastosowaniu nie będzie widać różnicy?

 

Na szybko jeszcze zweryfikowałem i potwierdzam, ze kontroler fizycznie w 850 Pro/Evo i SM863/PM863 ma ten sam part number: S4LP052X01-8030

Edytowano Kwiecień 30, 2017 przez Sebak (zobacz historię edycji)

[mcbarlo 61]

Wracając do tematu pomęczyłem nieco testowy klaster na Proxmoxie 5 z Cephem. Mimo wielu prób jeszcze go nie zepsułem. Zastanawiam się nad rozwiązaniem sieci przy trzech node'ach. Cel jest taki żeby uniknąć dwóch drogich switchy 10G i mieć fail-over.

 

Zrobiłem to tak, że każdy node ma 2 sieciówki dla Cepha i spiąłem je w ringu. Wszystkie te interface'y są w bridge'u OVS i żeby nie było pętli włączone jest RSTP. W zasadzie działa to sprawnie. Kiedy wypnę jakiś link to wszystko żyje. Aczkolwiek RSTP jak nie trudno się domyślić zawsze kładzie jedno połączenie przez co ruch z pierwszego do trzeciego serwera musi iść przez drugi, a to marnowanie pasma.

 

Druga opcja to Linux Bond broadcast. Tutaj powyższy problem konieczności przechodzenia ruchu nie występuje, ale znowu nie ma fail-overa co jest niedopuszczalne.

 

Obie metody są problematyczne podczas rozbudowy klastra.

 

Czy według Was jest szansa żeby to skonfigurować w taki sposób żeby nie marnować przepustowości, mieć fail-over i może nawet load-balancing?

[Gość patrys]

Mimo wielu prób jeszcze go nie zepsułem.

 

Próbowałeś odłączyć sieć dla wszystkich 3 nodów w jednej chwili ?

[mcbarlo 61]

Jasne. Robiłem pętle, raz pomyliłem adresacje do monitorów i nieświadomy tego faktu próbowałem zreanimować storage. Tu faktycznie po ustawieniu wszystkiego miałem część zdegradowanych PG, ale ogarnęło się samo w kilka minut.

 

Wyrywałem kabel z prądem ze wszystkich node'ów w jednej chwili. Tu odrazu health ok po starcie.

 

Póki co kombinuje z różnymi konfiguracjami, psuciem na poważnie zajmę się później.

[theONE 526]

A jak z wydajnością. Szczególnie przy odbudowie

[mcbarlo 61]

Jeszcze wydajnościowo nie testowałem. Chce dograć temat sieci na gotowo, bo to implikuje zachowanie przy różnych scenariuszach awarii.

[cdcd 29]

Seria Pro ma 300 TBW.

 

https://packet.company/blog/?utm_source=InnovaBlog&utm_medium=Domain%20Redirection&utm_content=Innova&utm_campaign=PacketRAID

 

niby jest te 300TB ...

 

moje już dawno po limicie i działają , ale niestety problemu padu zasilania nie przeskoczę w 850pro