Ogromne Obciążenie Systemu W Trakcie ściągania

[pleple 0]

Masz dysk SATA więc masz DMA włączone domyślnie i nie da się go nawet wyłączyć.

[T 6]

"Osiągi" mojego dysku :/:

To Timing cached reads w porownaniu do osiągów na innych kompach, to porazka :/

Cholerka, jak tu to dma włączyć...

Słabo, ale DMA masz napewno włączone. Gdybyś nie miał to dysk by pewnie osiągał kilka MB/s.

[TheBlood 0]

IO Suport jest wyłączone i nie mogę także właczyć:

 

/dev/sda1:

setting 32-bit IO_support flag to 1

HDIO_SET_32BIT failed: Invalid argument

IO_support = 0 (default 16-bit)

 

 

T może sprzętowo mam właczone, ale programowo nie i stąd takie mielenie proca? Kurcze ja się niezyt na dyskach znam, ale rzeczywiscie ta marna praca serwera wygląda na problemy z configiem.

[T 6]

IO Suport jest wyłączone i nie mogę także właczyć:

T może sprzętowo mam właczone, ale programowo nie i stąd takie mielenie proca? Kurcze ja się niezyt na dyskach znam, ale rzeczywiscie ta marna praca serwera wygląda na problemy z configiem.

Napewno masz włączone, inaczej miałbyś kilka MB/s:

 

14:41:52 arcturus#~ hdparm -t /dev/hda
/dev/hda:
Timing buffered disk reads:  132 MB in  3.12 seconds =  42.28 MB/sec

14:42:10 arcturus#~ hdparm -d 0 /dev/hda
/dev/hda:
setting using_dma to 0 (off)
using_dma	 =  0 (off)

14:42:14 arcturus#~ hdparm -t /dev/hda
/dev/hda:
Timing buffered disk reads:   12 MB in  3.25 seconds =   3.69 MB/sec

[TheBlood 0]

W takim razie czemu po wklepaniu odpowiednich komend pokazuje, iż DMA oraz IO jest wyłączone (i w dodatku gdyby bylo wlaczone, to dzialaloby tylko w 16bit a nie 32)?

[T 6]

W takim razie czemu po wklepaniu odpowiednich komend pokazuje, iż DMA oraz IO jest wyłączone (i w dodatku gdyby bylo wlaczone, to dzialaloby tylko w 16bit a nie 32)?

Pokaż wynik `hdparm -i /dev/sda`.

[TheBlood 0]

/dev/sda:

 

Model=Hitachi HDS721616PLA380 , FwRev=P22OABEA, SerialNo= PVF904Z223G2ZN

Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs }

RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=52

BuffType=DualPortCache, BuffSize=7376kB, MaxMultSect=16, MultSect=?16?

CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455

IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}

PIO modes: pio0 pio1 pio2 pio3 pio4

DMA modes: mdma0 mdma1 mdma2

UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5

AdvancedPM=yes: disabled (255) WriteCache=enabled

Drive conforms to: ATA/ATAPI-7 T13 1532D revision 1: ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7

 

* signifies the current active mode

[T 6]

Wygląda mniej więcej OK. To chyba jakiś starszy dysk (8 MB cache) wiec w sumie wydajność ma dość przeciętną.

Dla porównania odczyt z najlepszych bodaj dysków ATA (nie SATA) z 16 MB cache:

 

Timing cached reads:   854 MB in  2.00 seconds = 427.00 MB/sec
Timing buffered disk reads:  186 MB in  3.02 seconds =  61.59 MB/sec

Jak widać wypada nieco gorzej od Twojego, a za jego czasów wypadał lepiej od wielu ówczesnych dysków SATA.

 

...i z nowego dysku SATA II z 32 MB cache:

 

 Timing cached reads:   1534 MB in  2.00 seconds = 766.79 MB/sec
Timing buffered disk reads:  246 MB in  3.00 seconds =  81.94 MB/sec

Przyjrzyj się jeszcze jajku, może masz jakieś generyczne sterowniki które średnio dobrze współpracują z Twoim kontrolerem SATA, chipsetem czy czymkolwiek?

[TheBlood 0]

Ovh oferuje dyski SATA II, oto co udalo mi sie znalezc:

 

/dev/sda:

Timing cached reads: 3580 MB in 2.00 seconds = 1790.21 MB/sec

Timing buffered disk reads: 182 MB in 3.01 seconds = 60.39 MB/sec

[root@x66x17x85 jarek]# hdparm -d1 /dev/sda

 

Osiągnięto to na dysku WD wlasnie SataII w temacie: http://strefamandrivy.pl/forum/viewtopic.php?t=9169

 

Jakim cudem jego dysk potrafi w niecale 2 sek przerobić tyle danych cache?

[pleple 0]

W takim razie czemu po wklepaniu odpowiednich komend pokazuje, iż DMA oraz IO jest wyłączone (i w dodatku gdyby bylo wlaczone, to dzialaloby tylko w 16bit a nie 32)?

Zrozum. Dyski SATA mają na trwałe włączony DMA. W najnowszych wersjach kernela używany jest sterownik libata, który nie ma zaimplementowanej obsługi trybów PIO (inaczej mówiąc nie może pracować bez DMA). Prawdopodobnie obsługa tych trybów zostanie dodana (w celu obsługi pewnych urządzeń) ale dla dysków trwardych jest to po prostu niepotrzebne. Wszystkie dyski i kontrolery SATA obsługują DMA więc nie ma w ogóle sensu żeby tego nie używać.

Co do obsługi IO to ona ma znaczenie tylko w trybach nie-DMA (ogólnie wszystkie dyski (E)IDE mają i tak 16 bitową magistralę ale chodzi tu o komunikację z kartą interface'u co w trybie DMA nie ma znaczenia).

 

Podsumowując. Masz dysk SATA? W takim razie w hdparm możesz się pobawić co najwyżej dwiema opcjami związanymi z prędkością:

-A (read-lookahead)

-W (write-caching)

 

Jakim cudem jego dysk potrafi w niecale 2 sek przerobić tyle danych cache?

Jeśli chodzi o cache to wartości powyżej 3000MB są jak najbardziej normalne. Oto kilka przykładowych wartości z różnych serwerów (i to wcale nie jakichś high-endowych):

 
Timing cached reads:   6538 MB in  2.00 seconds = 3274.17 MB/sec
Timing buffered disk reads:  210 MB in  3.04 seconds =  68.98 MB/sec

 

Timing cached reads:   6652 MB in  2.00 seconds = 3334.27 MB/sec
Timing buffered disk reads:  234 MB in  3.01 seconds =  77.84 MB/sec

 

Timing cached reads:   12764 MB in  2.00 seconds = 6390.79 MB/sec
Timing buffered disk reads:  212 MB in  3.02 seconds =  70.21 MB/sec

[TheBlood 0]

Teraz dla odmiany odpalilem jakiegos torrenta i ściągam jakiegos linuxa. Przy 6000KB/s obciążenie procesora 99% teraz... A warto zaznaczyć, że to nie jest Intel Celeron 300Mhz, tylko Pentium 2,4Ghz HT... Skoro nie DMA to co moze byc przyczyną?

[pleple 0]

Masz tak 800MB wolego RAMu (od biedy mniej)? Jeśli tak to możesz sprawdzić czy obciążenie jest w ogóle spowodowane dyskiem czy też nie. Wystarczy, że ściągniesz jakiś obraz ISO do ramdysku zamiast na dysk.

[TheBlood 0]

Hehe moj serwer dysponuje 256mb ramu w ogole Jak ściągnąc coś do ram dysku?

[pleple 0]

Coś ściągnąć można tylko przy tej prędkości to nawet nie zdąży się obciążenie ustabilizować zanim skończy się miejsce.

Spróbuj w takim razie w taki sposób:

wget -O /dev/null {URL}

[TheBlood 0]

Predkosc jest duzo mniejsza (3-5MB/s), obciazenie proca 4% co prawda predksoc slabsza ale stopien obciazenia mi sie podoba Jak mam rozumiec obecną sytuację?

[Gość patrick]

Znaczy to proste, jeżeli chcesz coś wycisnąć z tego musisz wziąć jakis dobry OS i zainstalować go via rescue. Polecał bym Ci walnąc jakiegoś freebsd zdalnie skonfigurować go sobie pod własne wymagania. Spróbuj na jakims lokalnym komputerze bądz tetsowym dedyku zastować jakąś optymalna konfiguracje, zmień apache + mod_php na ngix + php-fastcgi etc.

[TheBlood 0]

Jak mozna zainstalowac jakis system via rescue? Google znajduje tylko jakies instalacje z plyty...

[Gość patrick]

http://www.google.pl/search?hl=pl&q=fr...+remote+install

[pleple 0]

Znaczy to proste, jeżeli chcesz coś wycisnąć z tego musisz wziąć jakis dobry OS i zainstalować go via rescue. Polecał bym Ci walnąc jakiegoś freebsd zdalnie skonfigurować go sobie pod własne wymagania. Spróbuj na jakims lokalnym komputerze bądz tetsowym dedyku zastować jakąś optymalna konfiguracje, zmień apache + mod_php na ngix + php-fastcgi etc.

Ale to chyba trochę nie na temat. Problem polega (chyba, że źle zrozumiałem) na tym, że jeśli pobiera dane na serwer z dużą prędkością (wget, rtorrent) to wtedy ma obciążenie. Co to ma do apache+mod_php? Czemu akurat FreeBSD miałoby pomóc?

[Gość patrick]

To bylo na temat, oczywistym jest to, że nei wiem jak wyglądaja dystrybucje instalowane przez ovh. Problem polega na pewno w sprzecie, ale dał by się ściągnąc troche obciążenie poprzez odpowiednie oprogramowanie i konfiguracje. Zmiana softu www to miało być tak przy okazj iw ramach ogólnych optymalizacji, jakoś nie lubie apache

[beliq 442]

Czemu akurat FreeBSD miałoby pomóc?

Dobrze, że nie o Open coś tam pytasz, bo byś do rana czytał wywody na ten temat.

Uuufff...

[pleple 0]

Ta.. a wszystko by się sprowadzało do typowego BSDowskiego argumentu - "Bo Linux jest gupi"

 

Co do Apache to faktycznie domyślny konfig jest niezbyt optymalny (jak to za zwyczaj w przypadku takich kombajnów) dla dużych obciążeń.

[p 3]

Dobrze, że nie o Open coś tam pytasz, bo byś do rana czytał wywody na ten temat.

Uuufff...

[TheBlood 0]

Otrzymalem odpowiedz od ovh, iż przy tej klasie serwerow (kimsufi) taka wydajność jest PRAWIDLOWA.

[jarek 4]

serwer Kimsufi

 

około 7/2 MB/s (download/upload)