Bot IANA strasznie obciąża serwer

[Michael Dicson 73]

Witam, borykam się ostatnio z małym problemem, ponieważ na jedną moją witrynę notorycznie wchodzi bot organizacji Internet Assigned Numbers Authority, pewnie większość wie czym się ta organizacja zajmuje i przez kogo została powołana do działania. Jednak ich bot tak prześwietla moją witrynę że w kilka minut przegląda tysiące podstron serwisu. Ip bota to 127.255.255.255.

Chciałbym zablokować ten ip, ale obawiam się że może to jakoś źle wpłynąć na pozycję witryny itp. Bot ten jest strasznie uciążliwy bo potrafi przesiadywać na stronie nawet kilkanaście godzin, teraz pytanie do was, czy mozna tego bota zablokować po ip, czy lepiej zostawić i w jakiś inny sposób go unieszkodliwić tak by nie skanował tyle podstron. Bot skacze z podstrony na podstrone, zżera transfer i obciąża znacznie CPU serwera. Miał już ktos podobną sytuację?

Edytowano Styczeń 18, 2013 przez Michael Dicson (zobacz historię edycji)

[xorg 693]

Po prostu zablokuj.

[Michael Dicson 73]

No i pewnie tak zrobie, bo już mnie to zaczyna irytować, gości on u mnie każdego dnia i ciągnie ogromną liczbę mocy obliczeniowej procka.

[kafi 2425]

bot organizacji Internet Assigned Numbers Authority

Ip bota to 127.255.255.255.

 

Padłem. Jak tylko wstanę to dopiszę reszte...

 

--- edit ---

No więc tak. 127.0.0.0/8 to adresy loopback.

Organizacja IANA ma z tym tyle wspólnego, że te adresy są przypisane do niej jako zarezerwowane

z właśnie takową adnotacją o jej wykorzystaniu. Problemu zatem musisz szukać na swoim serwerze

Edytowano Styczeń 18, 2013 przez kafi (zobacz historię edycji)

[Michael Dicson 73]

Na serwerze stoją dwie witryny, na jednej w ogóle nie ma tego bota, przynajmniej ja nie spotkałem, na drugiej przesiaduje non stop prawie. W aplikacji pisze mi że na stronie przebywa gość i numerze ip 127.255.255.255. W ciągu 5 minut przeskanował około 1500 podstron. gdy zablokowałem ten ip bot ten nie wchodzi na witrynę,a obciążenie serwera nagle zmalało. To jak to wytłumaczysz?

[regdos 1848]

No przecież Ci wytłumaczył, to nie bot tylko coś z twojego serwera to robi.

[kafi 2425]

gdy zablokowałem ten ip bot ten nie wchodzi na witrynę,a obciążenie serwera nagle zmalało. To jak to wytłumaczysz?

Ano bardzo prosto. Jakaś aplikacja na TWOIM serwerze łączy się poprzez komunikację tcp z adresem lokalnym.

Jeśli zablokowałeś przekazywanie pakietów przez loopback, to ta aplikacja nie ma się jak połączyć, więc żądania nie trafiają do webaplikacji no i faktycznie obciążenie spada.

 

 

127.255.255.255 jest tożsamy ze 127.0.0.1 - może to ci dobitniej wyjaśni, jakiego babola walnąłeś mówiąc o bocie organizacji IANA z adresu 127.255.255.255 ;] Bo patrząc po "minusiku" to chyba do tej pory nie dotarło...

 

 

PS: Może ten "bot" to jakieś zadanie cron robiące wget całości, jakiś indekser albo coś w ten deseń?

[patryk 451]

Michael Dicson: dostałeś 100% trafną odpowiedź i jeszcze dajesz minusa jej autorowi, zastanów się trochę..

[Michael Dicson 73]

Tylko jaki to może być skrypt, jak wszystkie strony mają podobną konfiguracje, na tym serwerze, a tylko na jednej to się pojawia. Przeglądnę jeszcze wtyczki do wordpressa może dojdę przez co to jest. Tak czy siak dzięki wam za odpowiedzi.

[kafi 2425]

Mała poprawka - po głębszym doczytaniu - o ile 127.255.255.255 to adres loopbacku, to owe połączenie to niekoniecznie musi być komunikacja loopback. A problem wynika z błędu powstałego przy zapisie adresu IP do bazy - troszkę związane z konwersją ip2long.

Więcej info pod adresem http://haveamint.com/forum/troubleshooting/2104/details_on_the_127_255_255_255_problem&anno=2

 

[Michael Dicson 73]

Przeczytałem ten artykuł angielski, ale powiem szczerze że nie za bardzo wiem o co chodzi.