Wysoki load, a CPU sie obija

[mcbarlo 61]

Zauwazam czasami ciekawa rzecz. Sredni load wynosi okolo 2-3 (dla procesora dwurdzeniowego), wiec raczej bez padaki, ale obciazenie CPU wynosi jakies 20% na rdzen. No i mi sie wydaje, ze load jest nieadekwatnie wysoki. Dodam, ze pamieci jest wolnej duzo, a swap lezy odlogiem.

 

No i jedyny zamulacz jaki mi do glowy przychodzi to dysk. Jesli procesy czekaja na dysk to load moze skoczyc, ale nic obciazajacego dyski nie jest odpalone. Zreszta jak jestem przy serwer to diody od dyskow mrugna sobie leniwie raz na jakis czas.

 

Powiedzcie mi prosze gdzie moge szukac przyczyny nienaturalnie wysokiego loadu? Jakie jeszcze elementy skladaja sie na load (oprocz CPU, pamieci i operacji I/O)?

[Gość nrm]

Odpal jakieś wykresy serwera i przeleć wzrokiem z góry na dół. Wbrew pozorom bardzo dużo można wyczytać z rozbudowanych statsów, szczególnie jak się właśnie porówna kilka komponentów.

[mcbarlo 61]

Odpal jakieś wykresy serwera i przeleć wzrokiem z góry na dół. Wbrew pozorom bardzo dużo można wyczytać z rozbudowanych statsów, szczególnie jak się właśnie porówna kilka komponentów.

 

Wykresy mam i nic nadzwyczajnego poza tym loadem nie widze. Nie mam jednak wykresu ilosci odczytow/zapisow na dysku. Nie bardzo mi to z SNMP chcialo dzialac kiedys i odpuscilem. Ale widze, ze chyba musze do tematu wrocic, bo mogloby to wiele wyjasnic.

 

Gapilem sie tez w htop-a i tez nic nie wypatrzylem.

[tym 205]

Odpal vmstat 1 jak bedzie wyzszy load.

[mcbarlo 61]

Odpal vmstat 1 jak bedzie wyzszy load.

 

 

Tak to wyglada przy loadzie ponad 10. Dziwne to jest, bo system reaguje szybko, nie przymula.

 

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
15  0    108  73928 304564 5574652    0    0 	2    43    3    0  4  1 93  2  0
13  0    108  73804 304564 5574652    0    0 	0 	0 4275 6783 42  8 51  0  0
14  0    108  73804 304564 5574652    0    0 	0 	0 4277 6642 41  6 53  0  0
16  0    108  73804 304564 5574652    0    0 	0 	0 4271 6727 41  7 52  0  0
13  1    108  73680 304568 5574644    0    0 	0   232 4256 6923 41  6 49  4  0
13  0    108  73680 304568 5574644    0    0 	0 	0 4316 7129 43  6 52  0  0
13  0    108  73680 304568 5574648    0    0 	0 	0 4332 6823 41  6 53  0  0
18  0    108  73680 304568 5574648    0    0 	0 	0 4293 6758 42  5 53  0  0
18  0    108  74192 304568 5574656    0    0 	0 	0 4430 6432 41  6 53  0  0
13  0    108  73556 304568 5574656    0    0 	0 	0 4421 6861 41  7 52  0  0
14  0    108  73556 304572 5574656    0    0 	0   248 4443 6698 42  7 48  4  0
18  0    108  73432 304572 5574656    0    0 	0 	0 4432 6785 41  5 54  0  0
14  0    108  73432 304572 5574656    0    0 	0 	0 4450 6918 40  6 53  0  0
13  0    108  73432 304572 5574656    0    0 	0 	0 4492 6978 41  7 53  0  0
12  0    108  73564 304572 5574656    0    0 	0    12 4531 6969 42  6 52  0  0
22  0    108  73556 304572 5574656    0    0 	0   224 4538 6831 42  7 49  4  0
13  0    108  73556 304572 5574656    0    0 	0 	0 4447 7037 42  6 52  0  0
0  0    108  73432 304572 5574656    0    0 	0 	0 4475 6651 41  7 52  0  0
15  0    108  73440 304572 5574672    0    0 	0 	0 4301 7153 42  8 50  0  0
16  0    108  73580 304572 5574672    0    0 	0    52 4423 7009 42  7 52  0  0
17  1    108  73564 304572 5574672    0    0 	0    36 4507 6631 42  6 48  6  0
16  0    108  73688 304572 5574672    0    0 	0   200 4322 6645 42  7 48  3  0
4  0    108  73704 304572 5574668    0    0 	0 	0 4304 7083 40  8 52  0  0
14  0    108  73688 304572 5574668    0    0 	0 	0 4372 6534 43  6 51  0  0
15  0    108  73688 304572 5574668    0    0 	0 	4 4455 7064 42  6 53  0  0
14  0    108  74068 304572 5574668    0    0 	0 	0 4444 6952 42  6 53  0  0
9  0    108  74060 304576 5574672    0    0 	0   228 4341 7066 42  7 44  8  0
15  0    108  74060 304576 5574672    0    0 	0 	0 4462 6780 40  7 53  0  0
1  0    108  73936 304576 5574676    0    0 	0 	0 4415 6923 40  7 54  0  0
13  0    108  73936 304576 5574676    0    0 	0 	4 4416 6936 40  6 54  0  0
20  0    108  74076 304576 5574676    0    0 	0 	0 4487 6894 40  7 54  0  0
14  0    108  74060 304576 5574676    0    0 	0    96 4436 7658 39  7 50  5  0
14  0    108  74060 304576 5574676    0    0 	0 	0 4456 7473 38  7 55  0  0
16  0    108  74060 304576 5574676    0    0 	0 	0 4473 7506 39  6 56  0  0
1  0    108  74076 304576 5574676    0    0 	0 	0 4442 7405 38  6 57  0  0
11  0    108  74076 304576 5574676    0    0 	0 	0 4364 6653 41  8 52  0  0
12  0    108  74076 304576 5574676    0    0 	0   232 4361 7040 41  6 48  5  0
14  0    108  74340 304576 5574676    0    0 	0 	0 4451 6859 40  6 54  0  0
11  0    108  74324 304576 5574676    0    0 	0 	0 4411 6902 41  7 52  0  0
16  0    108  74324 304580 5574672    0    0 	0   128 4502 7230 41  7 51  1  0

[huan 18]

Na screenie z vmstat nie ma nic podejrzanego. Wrzuć jeszcze może wynik działania "top".

[mcbarlo 61]

Na screenie z vmstat nie ma nic podejrzanego. Wrzuć jeszcze może wynik działania "top".

 

W top nie ma rowniez nic ciekawego. Kilka procesow hlds zuzywajacych po 2-3% CPU. Aktualnie zuzycie CPU mam odpowiednio 5% i 10% dla kolejnych rdzeni, a load przekracza 2. Na serwerze kompletnie nic sie nie dzieje w zasadzie.

 

Moznaby to olac, bo zmulen nie ma, ale sprawa jest nieco wkurzajaca mimo to.

[huan 18]

Może pojedyńcze procesy nie generują dużego obciążenia, ale z vmstat widać, że system ma co robić. Obciążenie procka na poziomie 50% to nie mało, a dodatkowo wykonuje dość sporo przełączeń kontekstu (pozycja cs w vmstat) - pewnie masz sporo różnych procesów i system jest zajęty przełączeniem się między nimi.

[mcbarlo 61]

Wtedy kiedy wrzuciłem vmstat load był ponad 10 i faktycznie conieco się działo.

 

Z tymi context switchami to jest jakiś trop. Procesów mam zazwyczaj ponad 200. Czy jest jakiś sposób na przyspieszenie przelaczen? Np odpowiednia konfiguracja jądra albo zmiennymi w sysctl.conf?