Kości LRDIMM 32 GB w HP Proliant DL360p Gen8 10-bay

[mmat 0]

Witam Wszystkich,

 

Mam taki problem:

Posiadam serwer HP Proliant DL360p Gen8 wersja z 10 miejscami na napędy (10 SFF Drive Bay).

Obecnie są w nim zamontowane kości pamięci 16 GB. Chcemy jednak przejść na moduły LRDIMM 32 GB - aby zwiększyć ilość pamięci RAM. W serwerowni próbowali zamówić kości w HP, jednakże HP twierdzi że kości LRDIMM NIE będą współpracować z tym serwerem (z wersją 10-bay).

 

Wydaje mi się to dość dziwne.

Mówią że LRDIMM by działały z wersją standardową 8-bay.

Natomiast twierdzą, że w wersji 10-bay NIE będą działać.

 

Jaki wpływ na pamięć RAM mogą mieć dodatkowe 2 miejsca na napędy ?

Czy HP ma w tym przypadku rację ?

Czy kości LRDIMM 32GB na pewno nie będą działać z wersją 10-bay ?

Z góry dziękuję za wskazówki i pomoc

Edytowano Lipiec 27, 2016 przez mmat (zobacz historię edycji)

[theONE 526]

Witamy w świecie vendor locka

 

Jak producent mówi że się nie da to znaczy że tak jest :/ powody mogą być różne

 

Taniej wam wyjdzie kupić nowy serwer z nowymi RDIMMami 32 GB na kości a nie iść w LRDIMM.

 

Być może problemem jest generowane ciepło albo moc zasilacza. Do starych serwerów nie ma na rynku LRDIMM mimo że teoretycznie istniały kości, producenci RAM nie robią nowej produkcji.

 

[mmat 0]

Ale właśnie w specyfikacji serwera nic o tym nie pisze:

http://www8.hp.com/h20195/v2/GetPDF.aspx/c04128242.pdf

 

Podają że można wkładać RDIMM, LRDIMM, UDIMM.

Wszystko jest niby ok, tylko w wersji 10-bay HP mówi że się nie da.

Co najdziwniejsze - to wersja 10-bay od 8-bay różni się tylko frontem serwera. Płyta główna jest ta sama.

[theONE 526]

Ile tam jest wat zasilania?

[mmat 0]

Nie wiem tego na 100%, natomiast wiem że jest to zasilacz wyższy niż standardowy (pamiętam jak zmienialiśmy serwer na wersję 10-bay to był tam mocniejszy zasilacz).

Z tego co widzę to są tam dostępne opcje 460W, 750W i 1200W.

Tak więc mamy na pewno co najmniej 750W.

750W chyba wystarczy na taki serwer w zupełności.

Z tego to widzę to jedna kostka LRDIMM pobiera 4W. Więc nawet jak obsadzimy wszystkie sloty (24) - to zajmie niecałe 100W.

Z 10 napędów - 8 to SSD (pobierają max 5W/szt.) oraz 2 HDD (max. 10W/szt.). Więc napędy łącznie pobiorą max. 60W.

Grafiki nie ma. Procesory są też dwa (2 razy po 130W).

Płyta może weźmie z 50W.

Jak wszystko dodamy to łącznie ok 500W.

Tak więc jeszcze spory zapas zostaje.

A zawsze w razie czego można zmienić zasilacz na 1200W.

[bybunny 540]

Temperatura jaką wydzielą pamięci ram zważywszy na ich szybkość jest bardzo duża. Nie oszukujmy się ale każda płyta główna w tym również zasilacz ma zabezpieczenie pracy ciągłej przy pewnym zakresie temperatur, dodatkowo dochodzi podział mocy i prądów. 500W to niezły farelek + temperatura procesorów, mostka zasilania i całej reszty. Samych zasilaczy i ich wersji trochę jest Nie wiem czy otwierałeś kiedyś serwer ,który powiedzmy działał sobie kilka miesięcy, po wysunięciu go z szafy i otworzeniu pokrywy czujesz tę temperaturę.

Każda maszyna zanim trafi na rynek jest testowana z wieloma konfiguracjami co pozwala zbudować "tabele zachowawczą" konkretnych jednostek. To że masz dyski SSD oczywiście zmniejszy wydzielanie ciepła i to znacznie ale sam serwer dostaje "kopa" ze względu na użyte pamięci. Dodatkowo teraz pytanie jak jest rezerwowana topologia obsługi urządzeń jeżeli masz wykorzystane przerwania dla 10 HDD. Praktycznie możesz tam wrzucić przy dwóch procesorach 768GB co oznacza że do wykorzystania masz 24 gniazda. Wiem co dokładnie znaczy decyzja kiedy masz serwer w ruchu ,odpowiednio skonfigurowany. Dołożenie pamięci jest najmniej bolesne ale nie zawsze się to kalkuluje.

Koszt pamięci za 32GB nawet w UK to majątek za sztukę , może jednak warto się zastanowić czy dalej opłaca się inwestować w ten konkretny serwer czy może lepiej pójść w jeszcze nowszą generację mysląc o przyszłości?

Nie wiem czy masz wersję V1 czy V2 ale sprawdzając konfigurację online otrzymałem coś takiego:

 

Options for a ProLiant DL360p Gen8 with 768 GB of memory are:

Optimal Option 1:

2 cpu configuration using LV LRDIMMs

Channel 0: 2 x ( 32GB DR, 32GB DR, 32GB DR)

Channel 1: 2 x ( 32GB DR, 32GB DR, 32GB DR)

Channel 2: 2 x ( 32GB DR, 32GB DR, 32GB DR)

Channel 3: 2 x ( 32GB DR, 32GB DR, 32GB DR)

Max memory speed* 1333 MHz

I jeszcze jedna ważna uwaga:

Note: Memory speed is a function of processor capability, software (ROM settings) and memory configuration.

Jakie CPU jest na pokładzie?

Tu masz plik PDF utworzony ze strony HP i podany z konkretny model pamięci:

http://beedig.com/download/fdd00dd8baa2729a5b913d9aa9f870b0.html

Tylko pytanie czy jest ona fizycznie dostępna?

Edytowano Lipiec 28, 2016 przez SiXwishlist (zobacz historię edycji)

[mmat 0]

@SiXwishlist - dzięki wielkie za pomoc.

Obecnie mamy taką konfigurację:

HP Proliant DL360p Gen8

2 x Xeon E5-2643 v1 (3.30 GHz)

384 GB RAM, (24 x 16 GB RDIMM)

8 x SSD 480 GB, Intel 520/530

2 x HDD 1 TB

Jedyne co chcemy zamienić to 16GB-owe RDIMM-y na 32GB-owe LRDIMMy.

Czy to będzie mieć aż tak duży wpływ na pobór mocy ???

Różnica na 1 kości pamięci jest na poziomie 1,5 W - więc łącznie będzie może 35 W różnicy.

Nie bardzo rozumiem dlaczego to ma nie działać ???

Przecież ten serwer występuje nawet z wersjami zasilacza 1200 W - a my raptem mamy pobór w okolicy 500W.

Ponadto HP twierdzi że wersja z 8-bay by to obsłużyła, natomiast 10-bay już nie.

Czy 2 dodatkowe dyski o łącznym poborze 25W robią aż taką różnicę ?

 

Chyba że problem leży gdzieś indziej - mówiłeś coś o przerwaniach. Nie wiem nic na ten temat.

Możesz powiedzieć coś więcej ?

 

Z góry dzięki

Edytowano Lipiec 28, 2016 przez mmat (zobacz historię edycji)

[theONE 526]

Akurat ta część o przerwaniach co pisał nie ma nic wspólnego z prawdą i nie jest powodem.

[bybunny 540]

Płyta jest ta sama i nie chce wprowadzać ciebie w błąd ale nie wydaje mi się by problem dotyczył faktu posiadania dwóch kieszeni do dysku lecz i miałem taki przypadek tyle że na inne platformie. Sprawdzając konfigurację online jasno wynika że jest ona do osiągnięcia bez podziału na ilość dysków.

Ważnym natomiast elementem jest to że banki pamięci maja głęboki wpływ na adresowanie całej magistrali dlatego wybór jest tak ważny. Nie przeliczaj tego na pobór mocy ponieważ te wyniki są jedynie mglistym odbiciem rzeczywistych zachowań temperatury w samym serwerze. Ale ok pozostawmy temperaturę w spokoju bardziej bym bym zaniepokojony że siedzi tam tylko jeden zasilacz.

Nie wiem co dokładnie powiedział serwis HP lub dział sprzedaży ale opierając to o np procesory jakie posiadasz (które już skończyły żywot) wielkość pamięci jaką chcesz użyć to absolutne maksimum. Nie testowałem tego na HP ale nawet specyfikacja HP opisuje ilość dysków 8/10 i jedynie pamięci LRDIMM pozwalają zastosować kości 32GB co daje wspomniane maksimum na pojedynczy procesor.

Miałem podobny przypadek z serwerem opartym na płycie supermicro który stanowił storage utworzone z 24 dysków. Wszystko pięknie ale osiągając maksymalną wielkość pamięci po prostu kontroler odmówił posłuszeństwa. Wtedy właśnie po raz pierwszy otrzymałem informację że jedno z drugim jest powiązane. Mimo wszystko tylko i wyłącznie dział sprzedaży jest wstanie dokładnie opisać przyczynę takiego stanowiska o którym wspomniałem. Sam sprawdź http://h22195.www2.hpe.com/DDR4memoryconfig/Home/Legal że nie ma wzmianki o ilości dysków w odniesieniu do pamięci.

Akurat ta część o przerwaniach co pisał nie ma nic wspólnego z prawdą i nie jest powodem.

 

więc?

[mmat 0]

Dzięki za odpowiedź.

Więc chyba jedynym sposobem na sprawdzenie tego będzie przetestować taką konfigurację.

Nie wiem czym HP to argumentowało - po prostu powiedzieli że to nie będzie działać. Ale z tego co wiem to też nie było to dla nich takie jasne - gdyż z tego co mi w serwerowni mówili to w HP sami to konsultowali z iluś tam specjalistami i w końcu orzekli że nie.

Być może widząc nawet jakieś małe ryzyko że coś może działać niestabilnie - dla bezpieczeństwa powiedzieli że NIE - aby potem nie mieć z tego powodu problemów.

 

Chociaż jak dla mnie - taka decyzja jest niezgodna z publicznie dostępną specyfikacją tego serwera. W momencie zakupu kierowaliśmy się specyfikacją która wyraźnie mówiła że max. RAM to 768 GB (nie wspominając że to dotyczy tylko wersji 8-bay). A teraz mówią że to nie działa.

[theONE 526]

Nie wiem co jest powodem. Nie są to przerwania. Zmiana ilości zaadresowanej pamięci RAM nie ma na to wpływu. Te kości różnią się chipem na kości który wzmacnia sygnał. On jest dla procesora i kontrolera transparentny. Hipotezy są dwie:

1) za gorąco bo to nieduża buda i takie ilości ciepła są problemem do odebrania z kompaktowego 1u. Może się np grzać jakiś kawałek płyty za bardzo albo są problemy z dystrybucja prądu na płycie.

2) brak kości bo to już stara konstrukcja i może ich nie być.

 

Taniej będzie iść w nowoczesną konstrukcje niż siedzieć na lrdimm 32 GB. Taka pojemność z normalnych rdimm leci

[mmat 0]

Pytanie jest tylko takie - czy jak przetestujemy z 2 x 32 GB LRDIMM i takie zestawienie zadziała - to czy można zakładać że 24 x 32GB LRDIMM też będzie działać ?

Te serwery to już jak rosyjska ruletka

[bybunny 540]

Nie wiem co jest powodem. Nie są to przerwania. Zmiana ilości zaadresowanej pamięci RAM nie ma na to wpływu. Te kości różnią się chipem na kości który wzmacnia sygnał. On jest dla procesora i kontrolera transparentny. Hipotezy są dwie:

1) za gorąco bo to nieduża buda i takie ilości ciepła są problemem do odebrania z kompaktowego 1u. Może się np grzać jakiś kawałek płyty za bardzo albo są problemy z dystrybucja prądu na płycie.

2) brak kości bo to już stara konstrukcja i może ich nie być.

 

Taniej będzie iść w nowoczesną konstrukcje niż siedzieć na lrdimm 32 GB. Taka pojemność z normalnych rdimm leci

 

Z dwoma punktami które wymieniłeś się zgadzam ale jak to jest że osiągnięcie górnej granicy pamięci powoduje problemy z obsługa dysków? Nie jestem wstanie na obecna chwile podać konfiguracji ale LRDIMM użyty w supermicro powodował że nie działał przy 24 HDD pomimo że ta sama płyta z 8 HDD działała normalnie.

 

Pytanie jest tylko takie - czy jak przetestujemy z 2 x 32 GB LRDIMM i takie zestawienie zadziała - to czy można zakładać że 24 x 32GB LRDIMM też będzie działać ?

Te serwery to już jak rosyjska ruletka

To nie jest rosyjska ruletka ale chyba bardziej ekonomia i stan magazynowy = 0

 

Mała konkluzja jest taka że przy pewnych kwotach za podzespoły które są niestety wysokie nie sposób czegoś sprawdzić. Ale brnięcie w rozbudowę platformy opartej o stara technologię jest mało rozsądne.

[mmat 0]

@theONE

Dowiedziałem się że mamy tam 2 x 750W.

Ad 1. Nie wydaje mi się czy temperatura jest problemem - gdyż mamy tam raptem ok. 500 W, a te serwery występują z zasilaczami 1200 W - więc skoro taki zasilacz - to przewidziano też że takie obciążenie będzie możliwe.

 

Ad 2. Kości są dostępne, w serwerowni mogą je zamówić z hurtowni - tak więc to też nie jest problem.

 

A tak w ogóle - jaką platformę polecacie pod min. 10 x HDD i RAM >= 768 GB ?

[mmat 0]

Ogólnie chcemy zrobić taki test:

Serwerownia ma 2 wolne kości LRDIMM na stanie więc chcemy z serwera wyjąć wszystkie RDIMMy i włożyć te 2 LRDIMM-y.

Czyli sprawdzić czy 2 LRDIMM-y zadziałają w wersji 10-bay.

Tylko teraz pytanie czy jak 2 kości LRDIMM zadziałają - to czy można zakładać że 24 x LRDIMM też zadziała ???

[theONE 526]

Nie.

 

Ile płacisz za jedną kość 32 GB LRDIMM?

[mmat 0]

Przy zmianie kości 16 gb na 32 gb - dopłata jest 37 zł/mc netto od kości. Więc wymiana wszystkich zwiększy koszty serwera o 900 zł netto/mc.

[theONE 526]

W modelu wynajmu starał bym się dogadać z serwerownią na wymianę całego serwera na lepszy żeby można było zmieścić tyle RAM.