Zdychanie serwera

[elcct 159]

Taki mam problem, wczoraj jeden serwer przestał się odzywać, tak jakby karta sieciowa przestała "rozmawiać" i w panelu SYS widać, że traffic ustał do zera.

 

Pomógł jedynie restart z panelu.

 

Chciałem zobaczyć co mogłobyć przyczyną, ale nie ma nic w logach...

 

Tzn. nie ma w logach nic specjalnego poprzedzającego awarię. Podczas awarii w logach pusto, czyli tak jakby się zawiesił cały system.

 

Dzisiaj to samo spotkało inny serwer (ale o identycznej konfiguracji i oprogramowaniu)

 

Co z tego można wywróżyć?

[Lokator 137]

Może któraś z aplikacji zarzyna procka albo ram na serwerze? Jest w panelu jakiś wykres obciążenia pamięci ram, procesora?

 

Może być źle skonfigurowany firewall, bądź inne oprogramowanie związane z ochroną

Kiedyś był przypadek, że komuś wykonywał się chyba skrypt, który dodawał regułki do iptables

Edytowano Kwiecień 24, 2014 przez Lokator (zobacz historię edycji)

[elcct 159]

Mam uruchomiony ufw (log z paru dni ma kilka mb) oraz fail2ban (prawie pusto), w iptables też nie ma nic szczególnego.

 

Niestety nie mam takich danych co do pamięci czy procesora - ale co się nie zaloguje zajrzeć do większość pamięci jest wolna i zużycie procesora znikome.

 

W takim razie poszukam czegoś do monitoringu.

 

 

[Lokator 137]

Były przypadki, że ludzie mieli źle skonfigurowanego firewall'a - źle ustawiony limit połączeń / pakietów i później całą resztę + obecne odrzucało, i nie chciało wpuścić : )

Edytowano Kwiecień 24, 2014 przez Lokator (zobacz historię edycji)

[Marek607 655]

Wysyłaj sobie logi na zewnętrzny serwer - np.:

 

http://www.slashroot.in/logstash-tutorial-linux-central-logging-server

[elcct 159]

Wysyłaj sobie logi na zewnętrzny serwer - np.:

 

http://www.slashroot.in/logstash-tutorial-linux-central-logging-server

 

Tak właśnie zrobie. Dzięki!

[mikorol 16]

Odpal na szybko skrypt sprawdzający ping na zewnątrz (wrzuć do cron), jak nie będzie odpowiedzi na zewnątrz to niech porobi zrzuty procesów, iptables, ifconfig, dmesg i co tam jeszcze może pomóc do pliku

 

Logowanie na zewnątrz jak faktycznie sieć traci może nie zdać egzaminu.

 

może łapie kernel panic?

 

spróbuj

 

kernel.panic=1

 

do sysctl.conf

 

 

 

 

 

 

[Gość patrys]

Kernel panic, sprawdzić system + dwie opcje w sysctl.conf:

 

kernel.panic_on_oops=1

kernel.panic=1

 

 

Jak będzie dalej występować pomimo zmiany kernela i sprawdzenia oprogramowania, to pozostanie zmiana serwera w przypadku OVH

 

[Suspect121 53]

Odpal na swoim serwerze np. monitroix, załącz sobie w ustawieniach wybrane opcje monitoringu i sprawdź czy w przypadku tego typu problemu na statystykach widzisz milczenie całego serwera czy milczenie jedynie danego interfejsu sieciowego. Jeżeli zauważysz, że coś się działo w tym czasie na pozostałych statystykach a na interfejsie cisza to prawdopodobnie błąd w działaniu karty sieciowej. Jeżeli byłoby to błąd działania karty sieciowej i usługodawca odmówiłby wymiany z powodu jakiś swoich widzimisiów to robisz skrypt pingujący 2-3 serwery i w przypadku braku odpowiedzi ze wszystkich pingowanych serwerów dodajesz w nim restart interfejsu poleceniem "service networking restart". Jeżeli nadal nie zacznie odpowiadać to możesz dodać do tego skryptu jeszcze np. "reboot".

 

Link do monitorixa:

http://www.monitorix.org/

 

Osobiście używam i polecam