gutek 23 Zgłoś post Napisano Kwiecień 18, 2015 Jest potrzeba przechowania około 10 tb danych, pytanie na czym (sata, ssd) żeby można było szybko zapisać i odczytać dane i żeby to nie było mega drogie, w dużym skrócie będzie mnóstwo plików o rozmiarze około 0,2 mb i dostęp do zasobów będą miały obecnie 2 a w przyszłości 4 serwery. Czy lepiej będzie gdy zastosujemy więcej dysków o mniejszej pojemności i czy dzięki temu będzie większa wydajność zapis / odczyt ? Udostępnij ten post Link to postu Udostępnij na innych stronach
Kszysiu 136 Zgłoś post Napisano Kwiecień 18, 2015 Pytanie jak z budżetem? I jak dużo tej wydajności wam potrzebne? Bo można użyć 30 dysków ssd po 1TB w raid 10, a można z 6 dysków hdd 4TB w raid 5 i wydać 1/20 tego co w poprzednim rozwiązaniu:)Może raid 5/6 na HDD + cache SSD w raid 1 albo raid10 we writeback?? Udostępnij ten post Link to postu Udostępnij na innych stronach
bybunny 540 Zgłoś post Napisano Kwiecień 18, 2015 Wszystko zależy od kwoty jaką chcesz przeznaczyć. Jeżeli rozmawiamy o wysokiej wydajności to opierał bym to na dyskach SSD ewentualnie SAS. Pytanie czy zastosowanie większej ilości dysków spowoduje wydajność nasuwa automatycznie kolejne pytania typu czy dalej chcesz tanio i na jakiej zasadzie chcesz podpiąć storage (sposób wykorzystania). Przepraszam że tak ogólnie ale nie dajesz za wiele informacji. Każde rozbudowane storage będzie wydajniesze ale zarazem podniesie bardzo koszta. Pamiętaj że RAID 10 to poniekąd podniesione bezpieczeństwo i zarazem odbija sie to na cenie, niestety!. Przy RAID 5 wydajność ale proces odbudowy storage może boleć. Cena i jeszcze raz cena jaką chcesz przeznaczyć! Następnie sposób wykorzystania względem serwerów które maja używać tych danych (storage) Pytanie jak z budżetem? I jak dużo tej wydajności wam potrzebne? Bo można użyć 30 dysków ssd po 1TB w raid 10, a można z 6 dysków hdd 4TB w raid 5 i wydać 1/20 tego co w poprzednim rozwiązaniu:)Może raid 5/6 na HDD + cache SSD w raid 1 albo raid10 we writeback?? 6 dysków po 4TB wydajnościowo jest cieniutko - na backup ok ale nie na ciągły odczyt danych przez kilka serwerów. Zacznie mu się to zatykać. Dokładając do tego cache na SSD da kopa ale dalej kręcimy się na zasadzie "zrób to sam" co przy awarii da sporego kopa w du...e. Jeżeli ma to być wydajne i bezpieczne niestety ale zawsze się to = kasa Udostępnij ten post Link to postu Udostępnij na innych stronach
gutek 23 Zgłoś post Napisano Kwiecień 18, 2015 Według mnie cache nie wiele pomoże, bo więcej będzie operacji zapisu niż odczytu.. a jeżeli będzie już odczyt to np. 20-30% zawartości jednorazowo.. Co do rozwiązania to chciałbym może na początek bazować np. na sata ze względu na cenę, w sumie połączenie z storage i tak jest na lanie 1 gb. W kwesti "bezpieczeństwa" to powiedzmy że dziennie około 20% zasobów będzie zaktualizowana więc w przypadku padu macierzy, szybko ją odbudujemy z "materiałów" dostępnych na zewnątrz.. Nie mam doświadczenia jak dobrać procesor do takiego zastosowania. Udostępnij ten post Link to postu Udostępnij na innych stronach
bybunny 540 Zgłoś post Napisano Kwiecień 18, 2015 Według mnie cache nie wiele pomoże, bo więcej będzie operacji zapisu niż odczytu.. a jeżeli będzie już odczyt to np. 20-30% zawartości jednorazowo.. Co do rozwiązania to chciałbym może na początek bazować np. na sata ze względu na cenę, w sumie połączenie z storage i tak jest na lanie 1 gb. W kwesti "bezpieczeństwa" to powiedzmy że dziennie około 20% zasobów będzie zaktualizowana więc w przypadku padu macierzy, szybko ją odbudujemy z "materiałów" dostępnych na zewnątrz.. Nie mam doświadczenia jak dobrać procesor do takiego zastosowania. Ok , zostawmy na początek bezpieczeństwo. Cache daje bardzo dużo bo nie wykorzystuje zwykłych HDD podczas odczytu. Patrząc z tej strony zapis obiera niezależna drogę co powoduje wydajność na poziomie zawartości. Opierając to o wzór: A (zwykłe HDD) + B (Cache SSD) + K (Kontroler RAID) = C (Storage) S1 + S2 Przyjmując założenie że zewnętrzne 2 dojścia (S1 + S2 = dwa serwery) do danych wykonują równocześnie operację jasno tworzy podział zadań w oparciu o kontroler ,który jest stworzony do tego by utworzył zawartość podręczną danych wyręczając i przyspieszając pracę . Nie ma mowy o opóźnieniach i zdecydowanie takie rozwiązanie pomoże jak dalej chcesz to opierać na zwykłych HDD. A (zapis) + K (Kontroler RAID) = C S1 + S2 > B (odczyt) + K (Kontroler RAID) = C S1 + S2 Procesor w tym przypadku nie ma aż tak dużego znaczenia bo w 80% zarządzanie danymi odbiera kontroler. Bardzie martwi mnie wymiana ruchu na poziomie lan bo to może być wąskie gardełko dla zapisu i odczytu biorąc pod uwagę 2 serwery które będą miały dostęp do tych danych równocześnie. Udostępnij ten post Link to postu Udostępnij na innych stronach
theONE 526 Zgłoś post Napisano Kwiecień 18, 2015 Małe pliki są ciężkie. Buda 10x2 TB sata i do tego 2 ssd jako cache dla kontrolera. Można próbować 12x2tb ale duzo małych plików będzie boleć. Odczyty będą powodować czkawke bo idą z fizyki a nie z cache... Ssd niestety tylko serwerowe wchodzą więc będzie drogo. Chyba że poczekać na 2tb desktop i na nich z zapasem... Udostępnij ten post Link to postu Udostępnij na innych stronach
Kszysiu 136 Zgłoś post Napisano Kwiecień 19, 2015 Według mnie cache nie wiele pomoże, bo więcej będzie operacji zapisu niż odczytu.. a jeżeli będzie już odczyt to np. 20-30% zawartości jednorazowo.. Właśnie cache daje dużo więcej przy zapisie niż odczycie;)Musisz powiedzieć czego dokładnie wymagasz od tego storage. Czy ma być w stanie serwerować te pliki z predkością 100MB/s czy 1000MB/s...Chyba zrobiłbym tak jak theONE powiedział (i podobnie mówiłem wcześniej), czyli twardziele + cache. Tylko na cache musisz użyć serwerowe dyski. Zwykłe konsumenckie jako cache są nieopłacalne (przeżyją miesiąc może dwa). Odczyty będą powodować czkawke bo idą z fizyki a nie z cache... zależy, jak jeżdżą najbardziej po tych danych co dopiero tam wrzucili to jest duża szansa, że większość pójdzie z cache:) a te SSD to najlepiej jakieś mega szybkie, żeby HDD nie miały dużo więcej zapisu liniowego niż SSD Udostępnij ten post Link to postu Udostępnij na innych stronach
cdcd 29 Zgłoś post Napisano Kwiecień 19, 2015 Jak sie maja dyski SSD konsumencje do serwerowych ? dlaczego konsumencke padaja tak szybko od przebiegu? czy trim musi byc wlaczony w dyskach ssd i dziala na hw kontrolerach raid ? Udostępnij ten post Link to postu Udostępnij na innych stronach
theONE 526 Zgłoś post Napisano Kwiecień 20, 2015 trim działa na niektórych konfiguracjach, ssd musi być wspierany przez kontroler desktopowe dyski na dysku 120 GB zapiszesz z 40 TB danych i padnie. Na serwerowym zapiszesz 1 PTB i padnie Udostępnij ten post Link to postu Udostępnij na innych stronach
gutek 23 Zgłoś post Napisano Kwiecień 20, 2015 ja wczoraj zaliczyłem pad 2 dysków ssd po 3 miesiącach działania a żeby było śmiesznie oba były raid1 Udostępnij ten post Link to postu Udostępnij na innych stronach
cdcd 29 Zgłoś post Napisano Kwiecień 20, 2015 (edytowany) trim działa na niektórych konfiguracjach, ssd musi być wspierany przez kontroler desktopowe dyski na dysku 120 GB zapiszesz z 40 TB danych i padnie. Na serwerowym zapiszesz 1 PTB i padnie Crucial M550 posiada tę granicę ustaloną na poziomie 72 TB przez producenta 830 Series 64GB/128GB/256GB/512GB 3 years 840 Series 120GB/250GB/500GB 3 years 840 PRO Series 128GB/256GB/512GB 5 years (73 TBW for enterprise applications) 840 EVO Series 120GB/250GB/500GB 3 years 850 PRO Series 128GB/256GB 10 Years or 150TBW 512GB/1TB 10 Years or 300TBW 850 EVO Series 120GB/250GB 5 years or 75 TBW 500GB/1TB 5 years or 150 TBW No i ten test ponad roczny http://www.computerworld.pl/news/400172/Opinia.ze.dyski.SSD.nie.sa.zywotne.to.mit.html test sie skonczyl 12 marca 2015 http://techreport.com/review/27909/the-ssd-endurance-experiment-theyre-all-dead to zwykle tanie ssd dla kowalskiego a czesc z nich dozyla 2PB wiec jakie to dyski padaja po 40TB? czy to jakas inna specyfika pracy jest w serwie ze trzeba kupic intela DC za ~4K ? Edytowano Kwiecień 20, 2015 przez cdcd (zobacz historię edycji) Udostępnij ten post Link to postu Udostępnij na innych stronach
Kszysiu 136 Zgłoś post Napisano Kwiecień 20, 2015 Jest jeszcze kwestia wydajności i bezpieczeństwa danych.Mało które dyski konsumenckie mają kondensatorki które podtrzymują zasilanie w przypadku padu (na czas zapisania danych z cache). Z tego co pamiętam np cruciale mx100 mają...a tak to mało które dyski.Jest tez róznica w wydajności...Odpal sobie taki test: sudo fio --filename=/dev/sda --direct=1 --sync=1 --rw=write --bs=4k --numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test który wymusza dsync itp.Wyniki będa mniej więcej takie: 840 evo ~100 iopsintel 530 ~50iops840 pro ~150 iops HDD 7,2k- 72 iops Serwerowy SSD samsunga ( nie pamietam jaki ) 13k iopsCzyli przy takich zapisach jest zaledwie ~1000 razy szybszy.No i konsumenckie dyski potrafią się nieźle przypchać jak tłuczesz je długo bez przerwy randIO.Jest jeszcze kwestia gwarancji. Kiedy zjeździsz na tym dysku konsumenckim ten limit 100TB i się jednak zepsuje (nawet nie zużyje) to co wtedy? wyślesz na gwarancje?Wole zapłacić 2x wiecej za dysk i mieć go teoretycznie na 10x dłużej. Udostępnij ten post Link to postu Udostępnij na innych stronach
pekus 31 Zgłoś post Napisano Kwiecień 20, 2015 (edytowany) W przypadku reklamacji jest jeszcze coś takiego jak ustawowa rękojmia (po 25.12.2014r.) Dlatego sporo osób kupuje towar na paragon a nie na firmę i go później reklamuje; np. zarzyna wiertarkę po 3 miesiącach używania i reklamuje w ten sposób. Edytowano Kwiecień 20, 2015 przez pekus (zobacz historię edycji) Udostępnij ten post Link to postu Udostępnij na innych stronach
cdcd 29 Zgłoś post Napisano Kwiecień 20, 2015 Jest jeszcze kwestia gwarancji. Kiedy zjeździsz na tym dysku konsumenckim ten limit 100TB i się jednak zepsuje (nawet nie zużyje) to co wtedy? wyślesz na gwarancje? Jak przekroczy te 72 czy 150 czy 300TB itp to juz nie wyśle oczywiście na gwarancje ale co jak będzie działał ponad te wartości ktore jak widać w testach wcale nie był trudne do osiągnięcia dla wszystkich producentów, a dyski kosztowały kilkaset złoty nie tysiecy Pomijam tu temat wydajności vs SSD PRO bardziej mi chodzi o trwałości i zastąpienie zwykłych sata/sas w serwerach właśnie takim zwykłym SSD Wole zapłacić 2x wiecej za dysk i mieć go teoretycznie na 10x dłużej. To raczej trzeba "zaplacic 10x wiecej zeby miec 2x dluzej " Podaj jakis model dysku profesjonalnego za te przykładowo 1000zl zwykly 2,5 bez Pcie o pojemność jakies ~400GB Udostępnij ten post Link to postu Udostępnij na innych stronach
theONE 526 Zgłoś post Napisano Kwiecień 20, 2015 500 desktop kosztuje 1000 serwerowa 400 kosztuje 2x tyle http://ark.intel.com/products/84238/Intel-SSD-DC-S3710-Series-400GB-2_5in-SATA-6Gbs-20nm-MLC Nie wiem skąd się wzięło 10x więcej koledze (pewnie 2013 rok) Po przekroczeniu parametrów zapisów producent nie gwarantuje że dyski trzymają dane poprawnie, tzn mimo tego że nadal możesz zapisać dane i je odczytać to _mogą_ nie być takie same dane, w zastosowaniach komercyjnych to ma znaczenie... Testy które podałeś były układane pod jak największe liczby jakie mają z nich wyjść, normalnie przesuwanie danych stałych oraz zapisy bardzo małych danych zjadają sporo z żywotności Ilość błędów na desktopach jest większa Do tego dyski enterprise zachowują się inaczej podczas wyłączenia prądu nagłego niż desktopy Udostępnij ten post Link to postu Udostępnij na innych stronach
XYS 3 Zgłoś post Napisano Kwiecień 20, 2015 A co sądzicie do zastosowań mało-serwerowych 2*256 GB Samsung 850 PRO? Pochodzi przy bazach MS SQL? Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość patrys Zgłoś post Napisano Kwiecień 20, 2015 Co do procesora wystarczy jakiś Xeon E3/E5. Kluczowy jest RAM, przy takich macierzach minimalna ilość to 48GB. System ładnie cachuje odczyt właśnie w pamięci co znacznie odciąża dyski. Dyski dla macierzy faktycznie lepiej kupować z serii serwerowych, bo czym więcej dysków w nich tym częściej widać ich "śmierć" Udostępnij ten post Link to postu Udostępnij na innych stronach
chmuri 89 Zgłoś post Napisano Kwiecień 20, 2015 (edytowany) Hi 12 dysków * 4TB w raid10 spokojnie wystarczy. Tylko pytanie czy chcesz kupić taki serwer i w kolokację czy dzierżawę? Edytowano Kwiecień 20, 2015 przez chmuri (zobacz historię edycji) Udostępnij ten post Link to postu Udostępnij na innych stronach
Kszysiu 136 Zgłoś post Napisano Kwiecień 20, 2015 chmuri moze mu taki 'na miejscu' potrzebny a nie w sieci:) Udostępnij ten post Link to postu Udostępnij na innych stronach
gutek 23 Zgłoś post Napisano Kwiecień 20, 2015 wybiorę dyski sata + kontroler z cache na ssd i zobaczę jak to bedzie działać.. @krzysiu potrzeba żeby to było w sieci. Miałem w weekend niespodziankę w postaci awarii 2 dysków które były w raid 1, czy możliwe że jeden z dysków wysypał się wcześniej bo raczej oba w tym samym czasie to nie realne i nie było żadnej informacji wcześniej że coś jest nie tak? Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość patrys Zgłoś post Napisano Kwiecień 21, 2015 wybiorę dyski sata + kontroler z cache na ssd i zobaczę jak to bedzie działać.. Pamiętaj o pamięci RAM, bo ta macierz mimo SSD cache dalej może być wąskim gardłem. Miałem w weekend niespodziankę w postaci awarii 2 dysków które były w raid 1, czy możliwe że jeden z dysków wysypał się wcześniej bo raczej oba w tym samym czasie to nie realne i nie było żadnej informacji wcześniej że coś jest nie tak? Z reguły jest tak, że dysk pada wcześniej, a klient widzi już to dopiero po awarii drugiego. Dlatego tak istotne są specjalistyczne monitoringi Udostępnij ten post Link to postu Udostępnij na innych stronach
gutek 23 Zgłoś post Napisano Maj 1, 2015 Chciałbym odświeżyć temat.. W dużym skrócie dane będą aktualizowane wg pewnego schematu przez aplikację (4 serwery api), planuję podzielić storage na 4 macierze raid 1 z dyskami 3 tb sata dzięki czemu osiągnę wymaganą przestrzeń, wówczas każdy z serwerów (api) wykonuje aktualizację w obrębie swojej macierzy teoretycznie mając wykorzystywaną macierz tylko do swojej dyspozycji, tu zaznaczę że obecnie całość będzie ograniczona LANEM 1 gb więc SATA powinno wystarczyć.. Czy jest sens tworzyć LVM z 1 voluminem dla wszystkich macierzy czy lepiej każdą odseparować jako osobny? Mam np. teraz połączone 4 dyski 512 gb ssd na 2 soft raid 1 jako jeden volumin i zauważyłem, że gdy na voluminie zostaje <10% wolnego miejsca to drastycznie spada prędkość odczytu i zapisu, czy przy rozbiciu tego na 2 voluminy może być lepiej ? Udostępnij ten post Link to postu Udostępnij na innych stronach
Bartosz Z 236 Zgłoś post Napisano Maj 1, 2015 tu zaznaczę że obecnie całość będzie ograniczona LANEM 1 gb więc SATA powinno wystarczyć.. zauważyłem, że gdy na voluminie zostaje <10% wolnego miejsca to drastycznie spada prędkość odczytu i zapisu, czy przy rozbiciu tego na 2 voluminy może być lepiej ? Najszybsze HDD mają ~190 MB/s - SAS nie przyspieszy Ci w magiczny sposób prędkości samego dysku (w wolnym czasie zapoznaj się: http://www.webhostingtalk.pl/topic/50474-ssd-3gbs-czy-sas-6gbs/). SSD (i inne nosniki flash) lubią mieć partycje o sumarycznym rozmiarze maks. 90% rozmiaru dysku - resztę przestrzeni przeznaczają na wewnętrzne prace, więc stąd może wynikać spadek wydajności Udostępnij ten post Link to postu Udostępnij na innych stronach
