Astronomiczne obciążenie VPS - czyżby overselling?

[shibby 54]

Witam,

 

Od 2ch dni borykam się z problemami z moim VPSem (na razie może nie będę podawał usługodawcy).

 

Najgorsze jest to, iż nie jest to pierwsza taka akcja, natomiast pierwszy raz pomoc techniczna próbuje wmówić mi, że to moja wina.

 

Spójrzcie proszę na screeny:

 

- vps - widać potężny load, ponad 120.0, widać potężną ilość procesów. Jednakże gdy zwymuje się procentowe obciążenie procesów da nam to wynik 7%.

 

- vps 2/3/4 - na tych screenach widać jak równo mój VPS był obciążony w czasie 2 tygodni, miesiąca lub nawet 2ch miesięcy. Nagle wczoraj ok godziny 1:00 widać wyraźny skok.

 

- vps5 - przedstawia stan VPSa 4minuty po restarcie. sumaryczne procentowe obciążenie procesów wynosi raptem 4%, za to load już dobił do blisko 130.00

 

Te screeny wraz z informacją przesłałem do pomocy technicznej usługodawcy. W odpowiedzi od nich dostałem, że generuję za duże obciążenie i że mam sobie dokupić rdzenie. By mi to udowodnić, włączyli mi testowo 4 rdzenie. Nie mniej jednak na 4ch rdzeniach rezultat jest taki jak na screenie vps6

 

Usługodawca jest nieugięty na chwilę obecną. Jak z nim walczyć? VPSa mam od marca, opłacony na rok z góry :/ Od razu powiem, iż nie jest to VPS za 200zł, by nie było aluzji iż sam sobie jestem winien.

 

Jakie jest wasze zdanie na temat mojego problemu?

Pozdrawiam

[chmuri 89]

Nad wyraz widać że coś się dzieje na serwerze. Jaka to jest wirtualizacja ( hehe pytanie retoryczne bo zapewne OpenVZ)? Pokaż jeszcze screeny z atop -Al

[shibby 54]

witam, Dziękuję za odpowiedź. Wirtualizacja oczywiście openVZ. Na chwilę obecną sytuacja się poprawiła. Na 4ch rdzeniach obciążenie jest:

Load average: 2.99 2.58 2.75

więc w sumie nadal nie małe a napewno dalekie od tego jakie miałem jeszcze 2 dni temu. Napomnę tylko, iż o jakimkolwiel nagłym wzroście zainteresowania moimi portalami utrzymywanymi na VPSie nie może być mowy. Sprawdziłem SEO, analytics, adsense oraz awstats i ruch jest taki jak codzień w kondycji raczej malejącej niż rosnącej.

[chmuri 89]

Jeszcze możesz zobaczyć w iotop -Pa jak wygląda sprawa IO.

[Pan Kot 1535]

Pewno ktoś postanowił, że pokopie bitcoiny na CPU .

 

Definitywnie wina serwera-matki lub ew. innych VPSów, nie możliwym jest, żeby CPU był obciążony w 100% bez pokrycia w htopie.

Edytowano Sierpień 7, 2013 przez Archi (zobacz historię edycji)

[Gość]

Biznes-host?

[tgx 575]

Pewno ktoś postanowił, że pokopie bitcoiny na CPU .

 

Definitywnie wina serwera-matki lub ew. innych VPSów, nie możliwym jest, żeby CPU był obciążony w 100% bez pokrycia w htopie.

 

Te 144 uruchomione procesy nie pokrywają?

 

Winny dostawca, winny hoster, winna serwerownia, nic się nie zmieniło, to nic, że pierwszych 200 procesów na liście to procesy mysql w dodatku aktywne, to nic że kilka tysięcy połączeń na 80

 

@chmuri widziełeś może htop kiedyś gdzie wa było wysokie, zauważyłbyś raczej różnice w kolorach

 

Kolega dostał szczegółowe informacje na pomocy wraz z listą wszystkich requestów do httpd.

Edytowano Sierpień 7, 2013 przez tgx (zobacz historię edycji)

[chmuri 89]

htop nie jest narzędziem dobrym do sprawdzania dużych ilości procesów gdyż samym sprawdzaniem jest wstanie spowodować wzrost wartości load.

[tgx 575]

Każdy kolor ma znaczenie, przy problemach z IO masz głownie kolor czerwony (procesy systemowe,wait,procesy kernela), przy normalnym użyciu CPU (procesy użytkownika) masz kolor zielony, wiec pytanie o IO ma znikomy sens jeżeli widzisz takie zrzuty jak te, szczególnie, że nie widać nic z flagą "D "

 

Niemniej dywagacje z oversellingiem są błedne. Zobacz ten kolejny zrzut gdzie są juz 4 rdzenie - zobacz procesy mysql ile ich jest i jakie użycie CPU mają

 

Sytuacja jest trochę nietypowa bo mając śladowe dane w dodatku błędnie zinterpretowane krzyczycie overselling. Szczególnie Archi, po jednym htop i kilku wykresach z hypervm ma już diagnozę pomijając jednocześnie zaskakująco wiele procesów z flagą "running", które w tym przypadku wpływają ewidentnie na wartość load.

 

 

 

 

[shibby 54]

 

Te 144 uruchomione procesy nie pokrywają?

 

Winny dostawca, winny hoster, winna serwerownia, nic się nie zmieniło, to nic, że pierwszych 200 procesów na liście to procesy mysql w dodatku aktywne, to nic że kilka tysięcy połączeń na 80

 

@chmuri widziełeś może htop kiedyś gdzie wa było wysokie, zauważyłbyś raczej różnice w kolorach

 

Kolega dostał szczegółowe informacje na pomocy wraz z listą wszystkich requestów do httpd.

 

@tgx to zwyczajnie wygląda na czkawki serwera. Np teraz mam:

Tasks: 105 total, 1 running

Load average: 0.60 0.69 0.89

 

oraz

root@xxxxxx:~# netstat -n| grep :80 | wc -l

82

root@xxxxxx:~# netstat -n | wc -l

327

root@xxxxxx:~# ps aux | grep mysql | wc -l

4

a za chwilę wszystkie 4 rdzenie dostają 100% obciążenie, procesy mnożą się w zastraszającym tempie a Load rośnie do ponad 120. To jest niemożliwe zwyczajnie mówiac.

 

To nie jest moja wina. Nie wmówicie mi, że nagle potrzebuję dedyka 8 lub jeszcze lepiej 16-core bo mam z dnia na dzień 100x większe obciążenie niż przez wszystkie miesiące posiadania VPSa. Przez miesiące było dobrze. Nagle dzieje się magia. Żadnych stron w hostingach nie zmieniałem ani nie stawiałem kolejnych, nie poczyniłem żadnych działań by nagle odwiedziny wzrosły kilkudziesięciokrotnie! Szukacie jelenia, którego można zbyć marketingowym bęłkotem typu "dokup Pan sobie więcej rdzeni".

 

To jakby wyglądało, gdybym poszedł za waszą radą i wydał więcej pieniążków widać w załączniku. Mniemam, że możecie mi zwiększyć ilość rdzeni i do 8miu a i tak czkawki pozostaną.

 

Zrozumcie wkońcu, że jeżeli coś działa miesiącami dobrze na jednym rdzeniu z load nieprzekraczającym 1.00 i nagle load wzrasta do blisko 130.00 to nie może to być wina abonenta tylko ewidentna wina serwera matki.

 

Kolejna sprawa to fakt iż taka sytuacja nie pojawia się pierwszy raz. Poprzednio identyczny problem miałem w marcu (jest zgłoszenie serwisowe). I na nie jakoś inny pracownik waszej firmy zareagował krótko i na temat - cytuję: "Wskazany problem został rozwiązany. Pozdrawiam". Można? Można! Wystarczy chcieć, przyznać się do winy i zrobić to co już 2 dni temu powinno być zrobione, zamiast nakłaniać mnie do bezsensownego i bezcelowego zakupu kolejnych rdzeni procesora.

 

Liczę, że teraz naprawcie wkońcu problem, bo jak widać na ostatnim załączniku z grafem obciążenia CPU, pomimo iż od północy mam 4x więcej rdzeni procesora na VPSie, nadal daleko mu to stabilności tego co miałem przez miesiące (specjalnie screen pokazuje historyczne obciążenie z 1 miesiąca, niestety większego okresu wybrać się nie da).

Edytowano Sierpień 7, 2013 przez shibby (zobacz historię edycji)

[Gość nrm]

 

Zrozumcie wkońcu, że jeżeli coś działa miesiącami dobrze na jednym rdzeniu z load nieprzekraczającym 1.00 i nagle load wzrasta do blisko 130.00 to nie może to być wina abonenta tylko ewidentna wina serwera matki.

 

 

Do sprawy się nie wtrącam: nie wiem, nie widziałem. Ale to cytowane powyżej to akurat bzdura (a raczej "zaginanie rzeczywistości") bez względu na okoliczności

[tgx 575]

 

 

To jakby wyglądało, gdybym poszedł za waszą radą i wydał więcej pieniążków widać w załączniku. Mniemam, że możecie mi zwiększyć ilość rdzeni i do 8miu a i tak czkawki pozostaną.

 

Zrozumcie wkońcu, że jeżeli coś działa miesiącami dobrze na jednym rdzeniu z load nieprzekraczającym 1.00 i nagle load wzrasta do blisko 130.00 to nie może to być wina abonenta tylko ewidentna wina serwera matki.

 

Nie mam zamiaru dyskutować tutaj publicznie. Ale rób badania/testy jak load skacze a nie wtedy jak nic się nie dzieje. W tym temacie ja nic już nie dodam, zapraszam na bok.

[shibby 54]

@nrm to jeżeli więc już się wtrąciłeś to może wyjaśnij, co tu jest bzdurą. Ile lat pracuję jako administrator systemów i sieci w duzej firmie, administrując kilkadziesiąt serwerów, również wykorzystujących wirtualizację, nigdy nie widziałem Load na poziomie 130.00. Takie rzeczy to chyba tylko na openVZ. Tak wysoki load dla kolegi @tgx jest jak widać czymś kompletnie normalnym i naturalnym a broń boże zastanawiającym.

 

Skoro już się pośrednio wydało (kolega @tgx dał nam wyraźnie do zrozumienia gdzie stoi mój VPS, mam nadzieję, że teraz biznes-host coś z tym zrobi. Ja nie chce ich "gratisowych" rdzeni, które nic nie pomagają (co najwyżej szybciej czkawkę eliminują). Ja chce taką stabilność VPSa jaką mogłem się cieszyć przez długie miesiące jeszcze 2 dni temu. Nic więcej.

 

Pozdrawiam

 

W tym temacie ja nic już nie dodam, zapraszam na bok.

 

Po co na bok. Dwa założone tickety i oba zamknęliście bez rozwiązania. Nadal nie jest idealnie (czyt, tak jak było jeszcze 2 dni temu) ale jest wyraźna poprawa.

 

Cały dzień monitoruję obciążenie serwera i jeszcze do południa było bez zmian. Od kilku godzin jest wyraźna poprawa, tak więc coś zrobić musieliście, ponieważ load nie przekracza od dłuższego czasu 1.00 a więc mocy jednego rdzenia a procesy cały czas utrzymują się w okolicach 100 z czego tylko 1 jest running.

 

Założenie tematu dało więc pozytywny skutek, którego nie udało mi się uzyskać na pomocy technicznej.

Pozdrawiam

Edytowano Sierpień 7, 2013 przez shibby (zobacz historię edycji)

[Gość nrm]

@nrm to jeżeli więc już się wtrąciłeś to może wyjaśnij, co tu jest bzdurą.

 

Nieprawdą jest stwierdzenie, które zacytowałem. Skoro jesteś tyle lat adminem to na pewno wiesz, że każdy dzień jest inny, nie jest to usługa, którą zamykasz w sztywnych ramach i NIC się w niej nie zmienia na przestrzeni czasu. Możesz mieć 1 UU i tez załatwić serwer, zostać botnetem, słać spam itd. itp. na pewno można by wymienić dziesiątki takich przypadków.

 

Więc "nie może być" i "ewidentna" w kontekście "bo działało dobrze ale już nie działa" nie jest prawdą.

 

Jeszcze raz podkreślę, że odnoszę się tylko do tych słów a nie tej konkretnej sytuacji (słowa były globalne).

 

OpenVZ to spore ryzyko, tak na marginesie.

[chmuri 89]

Nie chce mi się cytować wszystkiego. Ale to jest całkowicie normalne jeśli chodzi o działanie openvz. Load 100 jest duży ale jakbyś widział kiedyś Loady po 3k-4k to wtedy jest zabawa szukaj usera który to powoduje;). Jeśli któryś kontener robi nagle duże obciążenie to jest taka możliwość że będzie on generował load wszystkim innym kontenerom na danej maszynie. Nie zawsze ale jest.

[tgx 575]

 

Założenie tematu dało więc pozytywny skutek, którego nie udało mi się uzyskać na pomocy technicznej.

Pozdrawiam

 

Nie, skutku nie ma żadnego bo z naszej strony nic nie robiliśmy. Nie ma takiej potrzeby, wskazaliśmy przyczynę i podaliśmy sposoby lokalizacji.

 

Obciążenie na tym VPS nawet pomimo utylizacji 4 rdzeni nie wpływa na innych użytkowników na tej maszynie. Ich loady są <1 w dużej części bliskie zeru, no oprócz jednego wybijającego się tego z loadem >100 Mamy jeszcze zapas mocy, w przeciwnym przypadku nikt nie ryzykowałby destabilizacji usługi dodając "puste" rdzenie, które w sytuacji gdyby nie miały pokrycia w rzeczywistych zasobach "zabiłyby" matkę

 

Problem obecnie nie występuje bo nie ma po prostu teraz ruchu który generował to obciążenie na VPS - to wszystko.

 

Overselling nie robi się z dnia na dzień, a tym bardziej nie pojawia się o 1 w nocy pewnego dnia. Wiem również, że przekonanie klienta, który "wie" jest bardzo trudne, starałem się podać wszelkie informacje na supporcie, nie będę tego robił na wht. Nie rozwiążę problemu bez dodawania "mocy" lub limitowania ruchu. To pierwsze mogę zrobić bezpiecznie, analiza ruchu wymaga jednak współpracy z klientem, ale tego nie robi się na forum angażując osoby, które nie mają narzędzi do rozwiązania.

 

Także jeżeli mamy zbliżyć się do rozwiązania problemu zapraszam do kontynuacji na bok.

[Pan Kot 1535]

@tgx

Nieprawda, nie jedną mam aplikację na serwerze, która ma milion forków i procesów w userlandzie, wszystkie są pokazywane jako zużycie 50%, a de facto to cały proces zużywa te 50%.

 

Poza tym podstawa - service mysql stop i sprawdzić jak się serwer zachowa, czy obciążenie magicznie zniknie czy nie, odpowiedź będzie jak na tacy.

 

Z jednym tylko się zgadzam - takim screenem nie można się sugerować, a ja się zbyt bardzo zasugerowałem.

[MethOd 0]

Pierwszym i podstawowym pytaniem powinno być: Jaki szanujący się hoster vps używa oprogramowania HyperVM ? Ten soft już dawno umarł, tak jak kloxo. Drugą sprawą jest obciążenie generowane przez mysql. To jest błąd w konfigu, nie u dostawcy.

[HaPe 242]

Z tego, co kojarzę to np. BH.

[kaszub1136 109]

@MethOd: W czym problem? Do panelu w ciągu 578 dni od aktywacji serwera logowałem się raz, aby skorzystać z konsoli ratunkowej (z własnego błędu), a tak to dla przeciętnego klienta to panel może nie istnieć i nic się nie stanie.

 

Edytowano Sierpień 11, 2013 przez kaszub1136 (zobacz historię edycji)

[Misiek08 285]

Dla mnie to ewidentnie wygląda jak "load test" (czy zwyczajny atak) na stronę. Skoro są procesy mysql i wspomniane httpd to logiczne, że jest ruch na stronie. Jak MySQL musi coś robi to pierwsze co robi to jest load, bo na 1 rdzeniu wszystkie usługi na raz muszą się "żreć".