htaccess blokowanie wszystkich botów

[enimen 0]

Pomógł by mi ktoś w podaniu kodu do pliku htaccess który będzie blokował wszystkie boty? Nie chcę, aby strona mi się w jakikolwiek sposób indeksowała i chodziły po niej roboty.

[maniektme 99]

Możesz osiągnąć to na dwa sposoby:

robots.txt

User-agent: *
Disallow: /

.htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Yandex).*$ [NC]
RewriteRule .* - [F,L]

Również możesz za pomocą Deny from zablokować dostęp z hosta z którego nawiązuje połączenie robot. Jest dużo możliwości - do wyboru, do koloru.

[K_M 6]

RewriteEngine On

BrowserMatchNoCase ^SentiBot badBot
BrowserMatchNoCase proximic badBot

Deny from env=badBot

Można i w ten sposób, w sieci są gotowe listy botów.

Edytowano Czerwiec 25, 2014 przez K_M (zobacz historię edycji)

[WireBoot 3]

Polecam tą listę bad botów:

http://www.cenobitz.com/portal/helpdesk-serwer/item/54-skuteczne-blokowanie-robot%C3%B3w-indeksuj%C4%85cych-yandex-htaccess

 

U siebie zamontowałem tą listę do .htaccess, o 10% spadł ruch na wszystkich stronach gdzie jest ta regułka. Do wycinania botów spamujących jak znalazł.

[gutek 23]

A jak zablokujesz boty które w user-agent podają dane przeglądarki ?

[WireBoot 3]

Botów z user agent "normalnym" już nie wytniesz. Na tego typu zagrożenia nie znam żadnego sposobu.

Można jedynie zapobiec jakichkolwiek działań powodujących szkodę dla strony / forum - dorzucić na swoim skrypcie pytania antyspamowe typu KeyCaptcha, Recaptcha + jakieś dodatkowe zabezpieczenie formularza typu "Czy jesteś człowiekiem? "

 

Jeśli widzisz że masz nadmierne odwiedziny z jakiegoś IP i ten IP się nie zmienia, wtedy można zablokować w .htaccess dane ip:

order allow,deny
 
deny from TUTAJ_IP
 
allow from all

Edytowano Sierpień 16, 2014 przez WireBoot (zobacz historię edycji)

[gutek 23]

 

Botów z user agent "normalnym" już nie wytniesz. Na tego typu zagrożenia nie znam żadnego sposobu.

Można jedynie zapobiec jakichkolwiek działań powodujących szkodę dla strony / forum - dorzucić na swoim skrypcie pytania antyspamowe typu KeyCaptcha, Recaptcha + jakieś dodatkowe zabezpieczenie formularza typu "Czy jesteś człowiekiem? "

 

Jeśli widzisz że masz nadmierne odwiedziny z jakiegoś IP i ten IP się nie zmienia, wtedy można zablokować w .htaccess dane ip:

order allow,deny
 
deny from TUTAJ_IP
 
allow from all

 

Jakie to są według Ciebie nadmierne odwiedziny?

[WireBoot 3]

Sprawdzaj w statystykach , jak korzystasz z jakiś normalnych statystyk typu piwik/awstats/webalizer to masz tam odwołania z adresów IP. Jak widzisz , że jakieś ipki o kilka zer więcej odwiedzają stronę , sprawdzasz z jakiego kraju pochodzi IP. Jeśli to np usa, jakieś kraje afryki itd no to masz już pewność.

 

Można także zainteresować się projektem:

http://sblam.com/czarnalista.html

 

Aczkolwiek wklejam link tylko informacyjne, nie sprawdzałem tego, ktoś kojarzy ten projekt?

[regdos 1848]

2-3 lata temu korzystałem ze sblam-a przy filtrowaniu komentarzy na stronie gdzie nie było captchy i innych wynalazków. Spisywał się znakomicie.