Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 CześćMoże ktoś ogarnie o co tu chodzi, bo mi się pomysły skończyły Na pokładzie E5-2420, sieciówki: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet - PCIe Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet - na płycie Debian 7, kernel 3.10.27 W interruptach widać 5 "wątków" dla każdej sieciówki. Pytanie dlaczego cały czas trzepie CPU0 na wszystkich. Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość patrys Zgłoś post Napisano Styczeń 21, 2014 Każdy serwer produkcyjny powinnien mieć ustawione smp affinity, poczytaj: https://cs.uwaterloo.ca/~brecht/servers/apic/SMP-affinity.txt ps. nie polecam irqbalance. Udostępnij ten post Link to postu Udostępnij na innych stronach
malu 460 Zgłoś post Napisano Styczeń 21, 2014 Z ciekawości zapytam jakie miałeś problemy z irqbalance, skoro go nie polecasz? Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość patrys Zgłoś post Napisano Styczeń 21, 2014 Wydajnościowe przy większym obciążeniu interfejsu i od dawna irqbalance zastąpił skrypt z wykorzystaniem smp affinity ładowany przy starcie systemu. Producenci kart sieciowych też nie zalecają korzystania z irqbalance. Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 Cześć Może ktoś ogarnie o co tu chodzi, bo mi się pomysły skończyły Na pokładzie E5-2420, sieciówki: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet - PCIe Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet - na płycie Debian 7, kernel 3.10.27 W interruptach widać 5 "wątków" dla każdej sieciówki. Pytanie dlaczego cały czas trzepie CPU0 na wszystkich. rozklad na wektory sugeruje ze obsluga msi "dziala", edge mowi nam ze jest to wzbudzeniowa/impulsowa obsluga: 1. jaka wersja sterownika ? nie jakis stary pierdziel 2. dmesg nie pluje jakimis bledami io-apic/msi ? 3. jakie affinity na urzedzniach jest ? 4. jesli nowy sterownik moze mozna wymusic na nim chociaz na chwile legacy 5. czy plyta glowna z czipem nie jest czasem w tym kernelu zblacklistowana w apic`u ( wektory sugeruja ze nie ale rozne cuda juz widzialem) 6. nie masz czasem wsystkie na jednej szynie ? (mialbys zwiechy/zwaly mielenie cpu ale biorac pod uwage bind do cpu0 ciezko okreslic) 7. co wypluwa lspci ? Udostępnij ten post Link to postu Udostępnij na innych stronach
Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 1 - tg3 3.133d 2 - nie 3 - porozpinałem na poszczególne rdzenie 6 - dwie wbudowane, 4 na pci-e 0a:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)0a:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)0a:00.2 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)0a:00.3 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 02:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe02:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 1 - tg3 3.133d 2 - nie 3 - porozpinałem na poszczególne rdzenie 6 - dwie wbudowane, 4 na pci-e 0a:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 0a:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 0a:00.2 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 0a:00.3 Ethernet controller: Broadcom Corporation NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01) 02:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe 02:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe przy affinity uwazaj z num`a zeby ci kolejki z jednego eth nie lataly po wew linkach (ale to juz tak offtop) podepnij jak mozesz na priv zeby nie smiecic lspci -vvv w biosie nic nie jest nagrzebane ? czy wheezy czasem nie ma probelmu ( do dzisiaj nie fixnietego ) z ABI irq balancu w jajcu ? czy tam nie bylo jakiegos pacza na to ? dawno juz debiana nie uzywalem ale gdzies cos mi sie przewinelo bugliscie Udostępnij ten post Link to postu Udostępnij na innych stronach
Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 Nie mam kernela dystrybucyjnego. http://wklej.org/hash/a4790dbcd8d/ Nie mam jak sprawdzić pod innym systemem. Na innym sprzęcie Della jest aż 7 kolejek na jednym eth, z tym, że tam też wszystko waliło na CPU0, tam stoi Ubuntu Server LTS Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 Nie mam kernela dystrybucyjnego. http://wklej.org/hash/a4790dbcd8d/ Nie mam jak sprawdzić pod innym systemem. Na innym sprzęcie Della jest aż 7 kolejek na jednym eth, z tym, że tam też wszystko waliło na CPU0, tam stoi Ubuntu Server LTS a masz mozliwosc sprawdzenia innego jajca ? lub inaczej twoje jajco jak bardzo jest odchudzone... generalnie po screenie to wyglada na to ze APIC w bios jest, nawet laduje sie bez problemu karty tworza wektory prawidlowo konfliktow tez nie widac... wiec zostaje tylko jajco Udostępnij ten post Link to postu Udostępnij na innych stronach
Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 Może inną gałąź ogarnąć niż 3.10.x? Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 Może inną gałąź ogarnąć niż 3.10.x? zanim jeszcze to pacniesz, widze ze masz tam jakies embedy z intela, one tez rzna na cpu0 ? w ogle NMI LOC itp tez wszystko lezy na cpu0 ? Udostępnij ten post Link to postu Udostępnij na innych stronach
Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 Intel to jest dodatkowa 2portowa sieciówka, na której tylko na jednym porcie jest ruch prawie żaden - śrenio 0.5 mbps. Tak to wygląda: http://wklej.org/hash/3997ffb414e/ Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 Intel to jest dodatkowa 2portowa sieciówka, na której tylko na jednym porcie jest ruch prawie żaden - śrenio 0.5 mbps. Tak to wygląda: http://wklej.org/hash/3997ffb414e/ no to calkowicie wyglada inaczej od tego co wkleiles wczesniej i jakie masz przyrosty na intach w cpu0 po maskowaniu ? przeliczales ? Udostępnij ten post Link to postu Udostępnij na innych stronach
Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 Bo już zdążyłem nagrzebać Nie liczyłem. A teraz patrze w monitoring, że interruptów mi nie liczy. Dorzuciłem liczenie, ale to już i tak jest po zmianach i rozłożeniu tego na cpu. Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 (edytowany) Bo już zdążyłem nagrzebać Nie liczyłem. A teraz patrze w monitoring, że interruptów mi nie liczy. Dorzuciłem liczenie, ale to już i tak jest po zmianach i rozłożeniu tego na cpu. czyli dziala ? i z czystej ciekawosci co bylo nie tak Edytowano Styczeń 21, 2014 przez m0t (zobacz historię edycji) Udostępnij ten post Link to postu Udostępnij na innych stronach
Miłosz 2311 Zgłoś post Napisano Styczeń 21, 2014 Ręcznie pogrzebałem i rozrzuciłem to obciążenie po corach. Udostępnij ten post Link to postu Udostępnij na innych stronach
m0t 0 Zgłoś post Napisano Styczeń 21, 2014 Ręcznie pogrzebałem i rozrzuciłem to obciążenie po corach. zalozylem ze po poscie kolegi juz dawno aff ponakladane dziwie sie tylko ze 3.10 jajco samo nie zmielilo, toz tam byl autoaff jest od 3.8 nie wiem co maszyna robi dokladnie, ale jesli robi cos wiecej niz mielenie pakietow i lubi cpu , to warto ograniczyc maski do np. 3 z 6 fizycznych rdzeni (w przypadku ht najlepiej do jednych w obrebie lokalnego l1) ajesli to tylko brama, to podaruj se HT, z wektorami msi-x niekoniecznie sie lubia, natomiast jesli to jakis general purpose warto nie zapychac cachu ciezkim trafficem sieciowym moze to niezbyt korzystanie wplynac na responsynowsc i samo dzialanie roznej masci demonow Udostępnij ten post Link to postu Udostępnij na innych stronach
