Szybkosc Działania Robota Z Google

[ednet 136]

Witam

Mam dość dużo sklepów i katalogów opartych o własne oprogramowanie. Duża część z tych sklepów ma bardzo niską odwiedzalność więc dla serwera nie stanowi to obciążenia. Jednak jeśli robot jakiejś wyszukiwarki indeksuje zawartosc sklepu to powoduje to dość duży w stosunkowo krótkim czasie.

 

Z jakimi przerwami robot indeksuje poszczególne podstrony?

Czy są to wartości rzędu 1-2 sekundy czy większe?

 

Pozornie tematyka postu nie związana z tym forum, jednak mam na myśli obciążenie serwera jeśli trafi się kika indeksowań w tym samym czasie.

 

Ed

[Tomi 0]

Jeśli chodzi o roboty to są ich setki i są to rożne typy robotów. Google ma swojego robota, którego można określić co do szybkości indeksacji Do tego służy Sitemaps http://www.google.pl/intl/pl/webmasters/ Google może indeksować po 3 strony dziennie aby nie robić przeciążenia.

[Hoste.pl 8]

Jednak jeśli robot jakiejś wyszukiwarki indeksuje zawartosc sklepu to powoduje to dość duży w stosunkowo krótkim czasie.

Ed

 

 

Można zastosować opóźnianie działania robotów poprzez polecenie np. sleep(20), napewno wpłynie to na zmniejszenie obciążenia serwera. Ale wszystko zależy od tego, co dla Ciebie jest priorytetem, jeśli obciążenie to nie za dobrze wyjdziesz z pozycjonowaniem, i odwrotnie.

 

Można blokować, spowalniać różne niechciane roboty, o tym na innych forach znajdziesz wiele informacji, ale nie polecałbym "przeszkadzać" robotowi Google, lepszym rozwiązaniem będzie zainwestowanie w wyższe procentowe obciążenie serwera lub zmianę usługodawcy hostingowego.

 

 

--

Tanie serwery

Rejestracja domen

[Info-Cal 0]

Tak jak powiedział Hoste.pl - zależy co dla Ciebie jest ważniejsze. A i tak najlepszym rozwiązaniem będzie nie blokować robaka, tylko zainwestować w lepszy sprzęt.

 

Weź pod uwagę także to, że mogą się zdażyć takie dni, że Google zechce przeindeksować każdą Twoją podstonę, która już ma w pamięci - wtedy to dopiero daje się we znaki, jak w ciągu 1-3 dni ponad 50% transferu zejdzie

[moron 0]

3 dni?

u mnie google tydzien potrafi siedziec

[nvu 24]

To zależy jaki masz kod w metatagach. Może być 3,7 albo 14 dni.

[moron 0]

heh

a to w meta mozna mu napisac ile ma siedziec?

nie czytalem ostatnich nowosci ale kiedys sie pisalo co ile ma wpadac tylko

[MasterNETpl 100]

Z tego co kieeedyś czytałem google nie patrzy na interval odwiedzin robota w meta tagach.

Pobaw się narzędziami na koncie google.

[moron 0]

o wlasnie - tam jest taka opcja zeby serwerow nie obciazac

[Info-Cal 0]

@morom - mi chodziło o to, że google może i siedzieć miesiąc, ale sobie "pyka" tak po jednej stornie, a może się zdarzyć tak, że w 3 dni ostro zacznie przeszukiwać stronę wtedy to transfer schodzi jak basenie z którego spuścimy wodę

[moron 0]

siedze troche w SEO i nie musisz mi tego powtarzac

mialem przypadki ze google mi trzymalo sesje przez 2 tygodnie

normalnie jak load mi w nocy schodzi prawie do 0 to przez boty byl na poziomie 3...

dopiero po (oczywiscie tylko na 1 dzien zeby sie odczepil) zbanowaniu (w szczycie ciezko bylo :/) load spadl

[MasterNETpl 100]

Są znacznie bardziej obciążające roboty (wynalazki) które dorwą się do strony zwłaszcza z włączonym wildcardem.

Wystarczy tylko logi przeglądać co jakiś czas.

[Gość Bartosz Gadzimski]

Najlepiej to w robots.txt zablokować roboty msn i yahoo. Oczywiście można zablokować całą resztę, baidu też się udziela. Z mojego doświadczenia yahoo obciąża najbardziej bo robi "naloty" i jednocześnie pobiera ogromną ilość podstron.

[MasterNETpl 100]

Jak i również różnego typu wynalazki typu roboty: Azerus, Notate, Cazoodlebot, Twister, Watchmouse, holmes, VisBot, Feedster i masę innych gniotów które na prawdę potrafią zabrać sobie odpowiednią ilość transferu jak i samego obciążenia.

[Gość Bartosz Gadzimski]

Adrianie z małym wyjątkiem: "holmes" jest to silnik używany przez Onet.pl więc holmes - OnetSzukaj radzę zostawić w spokoju.

[wielokropek 0]

Czy można gdzieś znaleźć gotowe .htaccesy lub robots.txty które blokują najbardziej obciążających?