Jaki serwer proponujecie ?

[Webhosting4u 0]

Witam,

 

chciałbym poznać Wasze propozycje na rozwiązanie w postaci parametrów serwera.

Chodzi mi o to jak ma być wydajny serwer aby przetwarzał dużą ilość danych tj.

pobieranie około 3,5 mln aukcji dziennie(parser),

chciałbym również sparsować ogłoszenia z 2 minionych lat a to się równa około 400 mln rekordów. Całość może zając około 10TB

Jeżeli ktoś ma wizję jakie serwer powinien posiadać podzespoły oraz łącze proszę pisać.

 

 

 

 

Pozdrawiam.

[mzygmunt 0]

Problemem beda raczej proxy bo tak bardzo szybko dostaniesz bana na ip albo poleca skargi do serwerowni.

[beliq 442]

Jakiego typu będziesz robił zapytania na takiej bazie, jak często i jak szybko chcesz otrzymać wynik?

[Webhosting4u 0]

Tzn pomińmy kwestię bana na ip poki co. Chciałbym aby skoncentrować się na samych parametrach.

Zapytania pobierające tytul, opis aukcji etc. Czas odpowiedzi nie jest wazny. Chodzi o same pwetworzenie takiej porcji danych.

 

 

 

 

 

Pozdr

[Webhosting4u 0]

Tzn pomińmy kwestię bana na ip poki co. Chciałbym aby skoncentrować się na samych parametrach.

Zapytania pobierające tytul, opis aukcji etc. Czas odpowiedzi nie jest wazny. Chodzi o same pwetworzenie takiej porcji danych.

 

 

 

 

Pozdr

 

 

Rozumiem że nikt nie ma pomysłow ???

[ksk 67]

Pod takie coś to już raczej klaster się kłania

[mzygmunt 0]

Pod takie coś to już raczej klaster się kłania

 

W zadnym wypadku nie ma takiej potrzeby. W tej chwili dla kilku klientow realizujemy podobne projekty. To z czego korzystamy to mocny dedyk pod mysql + kilka vps do harvestowania danych.

[ksk 67]

No ciekaw jestem jak ten mocny dedyk udźwignie bazy 10 TB B) i czy ogólnie przerobi taką bazę

[beliq 442]

W zadnym wypadku nie ma takiej potrzeby. W tej chwili dla kilku klientow realizujemy podobne projekty. To z czego korzystamy to mocny dedyk pod mysql + kilka vps do harvestowania danych.

Nie mogę się z Tobą zgodzić, bo nie jesteś w stanie tego stwierdzić nie znając założen projektowych,

których notabene jak widać nie zna nawet autor wątku.

Bez zrobienia jakiegokolwiek testu, pisanie jaki sprzęt powinno się kupić, a jaki nie,

jest trochę lekkomyślnym pomysłem.

W chwili obecnej wygląda to tak jakby bezrobotny przyszedł do urzędu pracy i powiedział Pani za biurkiem,

że chce być bogaty jak Kulczyk...

Szczerze mówiąc miałem nawet ochotę takie coś sobie w labie zaprojektować,

bo mam cały karton dysków SATA 500 GB, tylko że serwery jakie tu mam nudzące się mieszczą max. 4 dyski. B)

Może się takie coś nawet ładnie skalować i dać zmieścić na jednym serwerze, nie mniej jednak wcale nie musi,

a i znam instalacje, gdzie joiny się po dwa dni wykonują na bardzo mocnych SUNach.

40 insertów na sekundę z koniecznością przebudowania indeksu/ów o wielkości ~ 1 TB, to nie jest bynajmniej proste zadanie,

do tego niewiadomo co z tymi danymi będzie się później działo - vide: w jaki sposób będą wyciągane i z jaką częstotliwością.

Inna sprawa, że macierz RAID10(jedyny sensowny poziom dla tego typu instalacji)

o wielkości conajmniej 12 TB ( 10 TB dane + minimalny zapas ) będzie bardzo droga w budowie.

Dysków SATA po 1.5 TB sztuka nie użyjesz, bo Ci się zagotują, a dyski SAS 15K są koszmarnie drogie.

Być może należałoby skorzystać z partycjonowania na poziomie tabel,

a w zamian za co będzie można kupić np. 3 tańsze serwery, ale na to pytanie nikt nie odpowie dopóki nie zrobi się testów,

stąd przestałem się w tym wątku wypowiadać, bo rozmowa jest ewidentnie bezsensu.

Abstrachując już od wszystkiego, to kolejnym problemem jaki widzę jest backup takiej bazy i retencja tych danych.

Autor wątku powinien zatrudnić firmę, która mu to zaprojektuje, przetestuje i zaproponuje indywidualne rozwiązania

w korelacji z budżetem jaki na ten projekt posiada.

Wszelkie dywagacje na ten temat są bezsensu.

[Webhosting4u 0]

Ok dzięki za odpowiedź, czyli rozwiazaniem bylyby dyski SAS w Raid 0-1 . A jezeli chodzi o CPU i RAM ?

[beliq 442]

Ok dzięki za odpowiedź, czyli rozwiazaniem bylyby dyski SAS w Raid 0-1 . A jezeli chodzi o CPU i RAM ?

No idąć na skróty: 2xQuad Core ze 32 GB RAM i macierz z dysków SAS poziomu 10-go

ma gorszym sprzęcie nawet nie warto próbować moim zdaniem,

a i jak napisałem nie ma pewności, że to wystarczy - musisz zrobić kilka prób wcześniej

wraz z doborem silnika bazodanowego włącznie, bo może się okazać, że np. DB2 sobie

lepiej z tym poradzi aniżeli MySQL

[Gość patrys]

Może napisz jaki masz szacowany budżet na to, bo rozwiązania tu już będą naprawdę drogie. Druga kwestia to znalezienie serwera bazodanowego..

 

Spróbuj skontaktować się z beyond.pl i przedstawić projekt.

[Webhosting4u 0]

Może napisz jaki masz szacowany budżet na to, bo rozwiązania tu już będą naprawdę drogie. Druga kwestia to znalezienie serwera bazodanowego..

 

Spróbuj skontaktować się z beyond.pl i przedstawić projekt.

 

 

No okej a jakie systemy bazodanowe proponujecie ? DB2 wspomniany ? coś jeszcze ?

[beliq 442]

No okej a jakie systemy bazodanowe proponujecie ? DB2 wspomniany ? coś jeszcze ?

DB2, MySQL, PGSQL, Oracle, MSSQL - ja bym to testował w tej koleności, nie mniej jednak jest to moja osobista fanaberia

[Webhosting4u 0]

DB2, MySQL, PGSQL, Oracle, MSSQL - ja bym to testował w tej koleności, nie mniej jednak jest to moja osobista fanaberia

 

Dzięki za informację. Generalnie to najlepiej robić na architekturze HP, Lenovo ? Czy preferujecie innych ?

[Gość patrys]

Rozwiązania zarówno Hp jak i IBM są dobre, ale to wszystko musi być dopasowane.

Skontaktuj się z firmą która Ci wyżej podałem, bądź jakąś inną podając szczegóły, a "rozrysują Ci to".

[beliq 442]

Dzięki za informację. Generalnie to najlepiej robić na architekturze HP, Lenovo ? Czy preferujecie innych ?

HP - dobry, baaardzo drogi

IBM - równie dobry, a i tańszy

Lenovo - no i tu jest ciekawostka, bo często to są tak samo wyglądające i o takiej samej specyfikacji/funkcjonalności

serwery co IBM, tyle że ze zmienioną plakietką, oczywiście taniej tu bym radził w sumie zacząć,

aczkolwiek pamiętaj, że na stockowej maszynie to raczej nie zbudujesz odpowiednio dużej macierzy pod ten projekt,

bez pułki na dyski i dodatkowego kontrolera się nie obędzie

[mzygmunt 0]

Skoro to ma byc zwykle parserowanie danych a nie ich przetwarzanie ( pierwszy post) to dalej nie rozumiem po co wkladac tak duze srodki w maszyne gdy nie ma takiej potrzeby ?

 

Z tego co zrozumialem dane dotycza parsowania ebay lub podobnego serwisu aukcyjnego, gdzie zbieramy glownie tekst i pomijamy obrazki.

 

Dla zobrazowania tego co mowie : server ktory parsowal http://www.indeed.com/ to byl najtanszy VPS z budgetvps i nie bylo z tym zadnych problemow (wydajnosciowych )

[beliq 442]

Wiesz, ja się tu wypowiadam równie po omacku co Ty, wiem natomiast jedno, że 10 TBowa baza danych na VPSa nie wejdzie