Szybkie zużycie transferu

[stream 0]

Witam,

posiadam Max-1 w firmie UnixStorm. W sobote wchodząc rano na moje forum przywitał mnie komunikat z informacją o zawieszeniu konta mojego konta WWW - zonk?! Czyżbym nie przedłużył w porę? Nie, to odpada bo do końca pozostał jeszcze miesiąc, a przedłużę 2 tygodnie przed na kolejny rok. No nic, piszę do BOK'u. Mail poszedł 11 czerwca 2011 o 13:14. Odpowiedzi nie było przez bardzo długi czas (tak wiem, przecież jest weekend). Niedziela, strona leży już niecałe 2 dni, leci wiadomość do NOC w panelu 12 czerwca 2011 o 14:36.

 

Fragment mojej wiadomości:

zaszła prawdopodobnie jakaś pomyłka - moje konto WWW zostało zablokowane. Mam 50 GB transferu miesięcznie, z czego zazwyczaj nie wykorzystywałem nawet połowy. Ostatnio byłem nawet w panelu DirectAdmin i pasek był na poziomie 1/4 całości. To nie jest możliwe by strona wygenerowała taki transfer!

 

Otrzymałem odpowiedź i szczegółowo przedstawione zużycie transferu. Kolorem zielonym oznaczyłem prawidłowy stan, a czerwonym cyrk, który się odbywa.

 

2011 06 01 308.1 MB

2011 06 02 260.3 MB

2011 06 03 294.8 MB

2011 06 04 8.05 GB

2011 06 05 11.19 GB

2011 06 06 6.24 GB

2011 06 07 4.88 GB

2011 06 08 7.58 GB

2011 06 09 3.83 GB

2011 06 10 9.69 GB

2011 06 11 10.1 MB - blokada konta

 

Niezłe jaja, prawda? Dokupiłem pakiet transferu 10 GB, który został ponownie zużyty w niecałe 2 dni. Ręce opadają po prostu, takiego cyrku moje oczy w życiu nie widziały. Proszę o pomoc!

 

Pozdrawiam!

[^^KaMaZZ~.^ 154]

Hm, takim problemem jest wprowadzić jakieś statystyki typu piwik czy jakiekolwiek inne, które zbierają ilość odwiedzin per IP, które umożliwiłyby kontrolowanie tego typu ruchu ?

[Gość Łukasz Tkacz]

W DA w Unixstorm na 100% jest webalizer jako statystyki dla każdej z domen. Można w nim sprawdzić np. co zostało pobrane największą ilość razy.

[stream 0]

W DA w Unixstorm na 100% jest webalizer jako statystyki dla każdej z domen. Można w nim sprawdzić np. co zostało pobrane największą ilość razy.

 

Tyle że u mnie ostatnie statystyki są z marca 2010..

[Shk 51]

Ostatnio na unixstormie zauważyłem u siebie takie logi :

http://www.webhostingtalk.pl/topic/30718-logi-apache/page__p__256025#entry256025

Zobacz czy masz coś podobnego.... U mnie też jakieś kosmiczne zużycia transferu są.

[stream 0]

Zobaczę jak tylko wyślę pieniążki na pakiet transferu 10 GB, a zrobię to prawdopodobnie jutro. Podeślę Panu Michałowi link do tego tematu. Przynajmniej nie jestem sam z tym problemem.

Edytowano Czerwiec 14, 2011 przez stream (zobacz historię edycji)

[www.ionic.pl 535]

Ale to nie koniecznie musi być jakiś błąd - masz zapewne wgląd do acces i error loga danej domeny, sprawdź czy przypadkiem nie było x odwołań które "zjadły" Ci traffic.

[BlueMan 69]

Kiedyś miałem atak botów wyszukiwarek na forum średnio 2-3x więcej wtedy transferu schodziło.

Ale u ciebie jest 40x więcej Chyba, że czasy się zmieniły i boty też więcej transferu zjadają :]

[Gość nrm]

oj tam boty. wystarczy, że ktoś wrzuci gdzieś np. JPGa i nagle schodzi Ci transferu w tonach Pierwszy krok: sprawdzić logi, statsy (choćby awstats) co jest w top10 wg transferu.

[UnixStorm.org 327]

Witam,

....

 

Niezłe jaja, prawda? Dokupiłem pakiet transferu 10 GB, który został ponownie zużyty w niecałe 2 dni. Ręce opadają po prostu, takiego cyrku moje oczy w życiu nie widziały. Proszę o pomoc!

 

Pozdrawiam!

 

Podesłano mi link do tego tematu, więc czuję się zobligowany do wyjaśnienia również tutaj.

 

 

Tak, jak Panu pisałem już kilkukrotnie w systemie zgłoszeń - problem jest prawdopodobnie z generowaniem mapy strony przez Pana skrypty. Roboty google wpadają na plik google_sitemap.xml, który, jak Panu już dzisiaj napisałem po raz kolejny - generuje po kilka GB transferu dziennie.

 

Po naszej stronie było i jest wszystko w porządku. Pisałem Panu o tym pliku już kilka dni temu - nie wiem, dlaczego za każdym razem ignoruje Pan moje uwagi...

 

Szczegóły wysłałem przed chwilą ponownie w systemie zgłoszeń - dodając wszystkie szczegóły, jakie udało mi się wydrążyć z Pana logów. Proszę więc wziąć to pod uwagę i zastosować do wskazówek aby transfer dalej Panu nie "uciekał"...

 

 

[stream 0]

oj tam boty. wystarczy, że ktoś wrzuci gdzieś np. JPGa i nagle schodzi Ci transferu w tonach Pierwszy krok: sprawdzić logi, statsy (choćby awstats) co jest w top10 wg transferu.

 

Ale czy AWStats da radę zainstalować na zwykłym koncie hostingowym? Posiada ktoś gotowy wpis do .htaccess by zablokować wszystkie boty chodzące po stronach? Wpis do robots.txt mnie nie satysfakcjonuje, ponieważ większość botów (oprócz tych porządnych) ma jednym słowem "gdzieś", to jaką zawartość ma ten plik.

 

Pozdrawiam!

 

Gdzieś wcięło guzik edycji postu chyba, piszę nowego.

66.249.66.184 - - [10/Jun/2011:19:06:35 +0200] "GET /google_sitemap.xml?map=forum&forum_id=416 HTTP/1.1" 200 1631741591 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.82 - - [10/Jun/2011:17:06:46 +0200] "GET /google_sitemap.xml?map=forum&forum_id=425 HTTP/1.1" 200 1643261379 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.66.79 - - [10/Jun/2011:04:30:54 +0200] "GET /google_sitemap.xml?map=forum&forum_id=423 HTTP/1.1" 200 1775968198 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

 

Same podane wyżej 3 wywołania wygenerowały aż 4816 MB!

 

I wszystko jasne, po odblokowaniu konta pierwsze co to skasuję plik od generowania mapy strony na pewien czas.

 

Pozdrawiam!

[BlueMan 69]

UnixStorm - w temacie nikt nie obwinia usługodawcę, więc nie macie się z czego tłumaczyć