Ogromne Obciążenie Systemu W Trakcie ściągania

[TheBlood 0]

Witam,

 

Na początku chcialbym zaznaczyć iż problem występuje na serwerze z systemem Ubuntu 7.04 Server jednak jak przyjrzałem się, w przypadku innych systemów problem jest podobny. Ale do rzeczy.

Przy ściąganiu czegokolwiek jakimkolwiek sposobem (czy przez wget, czy przez http (apache), czy nawet przez klienta rtorrent pojawia się ogromne obciążenie procesora sięgające nawet 80%. Serwer ma procesor Intel Pentium 2,4Ghz, więc takie obciążenie jest co najmniej dziwne...

 

Załączam dowód:

 

http://xs119.xs.to/xs119/07380/obciazeniedownl.jpg

 

 

 

Wczesniej pracowałem na wersji Ubuntu 6.06 bez... swapa i cachowania i taki problem nie występował. Co może być nie tak? Czy moglby ktoś mi pomoc w rozwiązaniu tego uciązliwego problemu?

[Kamil01 0]

Myślę że nie masz się czym przyjmować, przy takiej prędkości musi być obciążenie. Na tym topie co nam pokazałeś sytuacja nie wygląda aż tak tragicznie więc moim zdaniem nie ma się czym zbytnio przyjmować

[TheBlood 0]

Przy 200kB/s jest podobnie, ale nie mialem skad wziac tak wolnego zrodla, dlatego predkosc na screenie to pierwsza lepsza jaka udalo mi sie osiagnac Przy tych 200kB/s obciazenie procesora rowniez potrafi dchodzic nawet do 50%, wiec cos tu jest nie tak. Na Ubuntu bez cache i swapa serwer predkosci 2000kB/s "łykał" bez problemu...

[pleple 0]

Ponad 30% obciążenia CPU to faktycznie trochę za dużo. Jakbyś miał połowę z tego to by było całkiem normalne. Przed chwilą zrobiłem test pod Ubuntu (ale wersji desktop) i przy pobieraniu dużego pliku wgetem przez HTTP z prędkością 10-11 MB/s zużycie procesora wahało się w granicach 15-17% na sempronie 2600. Z tego podobnie jak u Ciebie tylko 2-3% używane było w userspace a reszta przez system.

 

Zobacz czy nie masz jakichś dziwnych filtrów w iptables ustawionych, sprawdź też ustawienia filesystemu (jak np. data mode). Innych pomysłów nie mam.

[TheBlood 0]

iptables jest czyste. Jesli chodzi o ustawienia filesystemu: masz na mysli partycje, tryb plików itp? Tak to wygląda:

 

http://xs319.xs.to/xs319/07380/partycje.jpg

[pleple 0]

Raczej chodzi mi o opcje używane przy montowaniu (znajdziesz w /etc/fstab i ewentualnie może też być ważne to co zwróci: dumpe2fs /dev/vg01/root |grep "Default mount options")

[TheBlood 0]

Zawartosc fstab:

 

# <sys.fichiers><pt de montage><type> <options> <dump> <pass>

/dev/sda1 / ext3 errors=remount-ro 0 1

/dev/sda2 swap swap defaults 0 0

proc /proc proc defaults 0 0

 

 

dumpe2fs /dev/vg01/root |grep "Default mount options"

 

 

zwraca:

 

dumpe2fs 1.40-WIP (14-Nov-2006)

dumpe2fs: No such file or directory while trying to open /dev/vg01/root

[pleple 0]

dumpe2fs /dev/vg01/root |grep "Default mount options"

U Ciebie to będzie (zapędziłem się i wkleiłem tak jak mam u siebie na laptopie):

dumpe2fs /dev/sda1 |grep "Default mount options"

Jeśli zwróci (none) to nie wklejaj nawet bo to znaczy, że nie opcje filesystemu wpływają na ten problem.

[jarek 4]

@TheBlood

 

Z tego co widzę to serwer w ovh.pl.....

 

I powiem ci tak. Kupiłem teraz "START 100M LARGE +" i mam podobne problemy co ty....

Mam też dwa "START 100M" i chodzą dużo lepiej niż tamten... A mają mniej ramu...

Nie wiem czy ovh nie daje jakiś po leasingowych części, które potem właśnie tak działają jak działają ... :/

 

No ale to tylko moja opinia..

 

P.s.

Zainstalowałem rtorrenta i miałem load na nim w granicy 10

[pleple 0]

A nie macie jakiegoś zmodyfikowanego przez nich systemu ?

[jarek 4]

hmmm nie mam czysty deabian 4.0 32 bit. Wszystko robie ręcznie

 

Zrobiłem przed chwilą taki mały test(nie mam screenow )

 

Serwer w strato:

Opteron™ 1210 HE (Dual-Core), 1024 MB RAM. Obciążenie procka 5 % przy ściąganiu 12MB/s i wysyłaniu 3 MB/s przy rtorrencie.

 

Serwer w ovh.pl:

Intel Pentium 4 HyperThreading 3.00, 1 GB DDR. Obciążenie procka 70 % przy ściąganiu 10 MB/s i wysyłaniu około 2 MB/s przy rtorrencie.

 

Wiem że w jednym pentium a w drugim opetron Ale mam jeszcze w ohv o pakiet niższy serwer i chodzi normalnie.. a ten chodzi jak jakiś smok

[TheBlood 0]

Odnosze wrazenie ze to ich oprogramowanie do tworzenia partycji systemowych, wydzielanie swapu itd, to szajs rozwalający system. Jak to mozliwe, zeby system instalowal sie kilkanascie minut, podczas gdy na vpsie o dużo mniejszej mocy w jakieś 3 minuty?

 

Mozna jakos na serwerze ovh wgrać czystą, skompilowaną w normalny sposob dystrybucję? A nie poprzez ten ich panel instalujący szajs?

[Gość patrick]

To wina kontrolera dyskowego i dysku. Jest opcja, że jakbyś pobawił byś się z systemem plików to rezulaty mogły by być trochę lepsze. Choć eksperymenty np. z reiser 4 na produkcyjnym serwerze mogą Cię przerosnąć.

[jarek 4]

hmmm... a np w strato.de system instaluje sie do 2 h... to zalezy od serwerowni.. i nie wiem dlaczego takie rozbieżności

[malu 460]

a ja własnie miałem ochote kupic serwer u nich ... chociaz ja bym polecił podłubanie w configach :>

[TheBlood 0]

Zeby zmienic system plików, musialbym zreinstalować system. Może na razie jakos obyc się bez tego? Ktore pliki konfiguracyjne odpowiadają za operacje na plikach, itd?

[pleple 0]

Jak to mozliwe, zeby system instalowal sie kilkanascie minut, podczas gdy na vpsie o dużo mniejszej mocy w jakieś 3 minuty?

Przede wszystkim VPSy instalują się na poziomie systemu nadzorujacego czy domeny0 (różna terminologia). Proces instalujący nie działa w kontekście VPSa a sam serwer hostujący jest za zwyczaj bardzo mocny.

To w sumie i tak nie jest tak istotne jak to, że VPSy instaluje się z tzw. templatów. Instalacja polega na rozpakowaniu obrazu i wprowadzeniu kilku zmian w plikach konfiguracyjnych. Ponadto system taki jest za zwyczaj totalnie okrojony a w procesie instalacji nie trzeba formatować dysków, tworzyć partycji ani wykrywać sprzętu czy w ogóle restartować komputer. W dodatku w przypadku instalacji na dedykach, obraz jest nie tylko większy ale najczęściej przechowywany na dysku sieciowym co dodatkowo spowalnia rzeczy.

 

 

Choć eksperymenty np. z reiser 4 na produkcyjnym serwerze mogą Cię przerosnąć.

Eksperymenty na serwerze produkcyjnym to nigdy nie jest dobry pomysł. Moim zdaniem tak samo jest z używaniem reiser 4 - to nie jest dobry pomysł jeśli chodzi o serwer produkcyjny.

 

 

hmmm... a np w strato.de system instaluje sie do 2 h... to zalezy od serwerowni.. i nie wiem dlaczego takie rozbieżności

Myślę, że zależy to w dużej mierze od tego jak bardzo zautomatyzowana jest taka instalacja i co tak na prawdę jest instalowane.

 

Ktore pliki konfiguracyjne odpowiadają za operacje na plikach, itd?

Raczej nie ma plików konfiguracyjnych za to odpowiedzialnych. Ustawienia systemu plików ustala się przy montowaniu systemu plików (/etc/fstab) lub zapisuje się je w samym systemie plików w postaci domyślnych ustawień.

[TheBlood 0]

Czy zainstalowanie srodowiska wirtualizujacego i postawienie na tym dedyku Vpsa sprawi, ze na vpsie te "dolegliwosci" nie będą występowały?

[pleple 0]

Nie liczyłbym na to.

[T 6]

Mozliwe, że masz wyłączone dma. Spotkałem się z tym kiedyś na jednej z maszynce na ovh i efekt był taki, jak opisałeś.

Żeby to sprawdzić, wpisz:

 

hdparm -d /dev/hda

Oczywiście /dev/hda zmień na /dev/sda przy dyskach SATA czy co tam u siebie masz. Jeśli dma jest wyłączone (pokaże 0), to wpisz:

 

hdparm -d 1 /dev/hda

To co ktoś napisał o oczywistym obciążeniu procesora w takim stopniu przy ściąganiu z prędkością kilkudziesięciu mbit/s nie jest prawdą.

[TheBlood 0]

Gdy wklepuję:

 

hdparm -d /dev/sda

 

czy

 

hdparm -d /dev/sda1

 

 

pojawia mi się pusty wynik:

 

/dev/sda:

 

 

Z kolei gdy wklepuję

 

hdparm -d 1 /dev/sda

 

lub

 

hdparm -d 1 /dev/sda1

 

to pojawia się komunikat:

HDIO_SET_DMA failed: Inappropriate ioctl for device

 

 

Ale to moze być dobry trop Wlasnie szukam w Google rozwiązania powyższego erroru, ale przy okazji spytam: wie ktoś jak zfixować ten "failed"? Może Ty, @T?

[T 6]

Może starego hdparma masz? Kiedyś to się chyba jakoś inaczej robiło.

[jarek 4]

hmmm dobra to ja pokaże swoje wyniki :>

 

 

przy:

 

hdparm -d /dev/sda

 

wyskakuje:

 

/dev/sda:

 

 

a jak wklepuje:

 

hdparm -d 1 /dev/sda1

 

 

wyskakuje:

/dev/sda:
setting using_dma to 1 (on)
HDIO_SET_DMA failed: Inappropriate ioctl for device

 

 

Zara coś pokombinuje :>

 

P.S.

Teraz jakoś przy ściąganiu 8 MB/s to obciążenie procka zaledwie 7% ....

[TheBlood 0]

Może starego hdparma masz? Kiedyś to się chyba jakoś inaczej robiło.

 

@T:

 

hdparm is already the newest version.

 

 

"Osiągi" mojego dysku :/:

 

Timing cached reads: 924 MB in 2.00 seconds = 461.82 MB/sec

Timing buffered disk reads: 202 MB in 3.00 seconds = 67.28 MB/sec

 

To Timing cached reads w porownaniu do osiągów na innych kompach, to porazka :/

 

 

Cholerka, jak tu to dma włączyć...

[Noone 19]

hdparm -d1 /dev/hda

-d1 pisane razem.