ściąganie serwisów

[mig 0]

Witam, Jak ustrzec się przed ściąganiem całych witryn przez programy typu Teleport a tym samym powodujące nadmierny (sztuczny) i niebezpieczny wzrost transferu. Czy są zabezpieczenia z poziomu Resellera lub cPanela, lub jakiś skrypt na stronie. Pomocy!

 

Pozdrawiam

[Gość normanos]

<?php

$ua = strtolower($HTTP_USER_AGENT);

if(strstr($ua, 'get') || strstr($ua, 'httrack') || strstr($ua, 'teleport') || strstr($ua, 'webzip') || strstr($ua, 'copier')) die('Nie będziesz kradł. (Wj 20,15)');

?>

 

ale właściwie każdy 'teleport' można ustawić aby przedstawił się jako IE, ff, opera itd. tak więc 100% zabezpieczenie nie istnieje. ja przynajmniej o takim nieslyszalem

[RebelPanther 0]

Do pliku index.php dołącz na wstępie linię:

 

include_once 'cieciowa.php';

W katalog, gdzie masz ten index.php wgraj plik 'cieciowa.php' o następującej zawartości:

 

<?

$browser = array(

"Wget", 

"EmailSiphon", 

"WebZIP",

"EmailWolf",

"GetRight", 

"WebMirror", 

"WebMiner", 

"WebStripper", 

"WebSauger", 

"WebReaper", 

"WebSite eXtractor", 

"Teleport Pro", 

"EmailCollect", 

"ExtractorPro", 

"Email Spider", 

"GetSmart", 

"Grabber", 

"GrabNet", 

"Go!Zilla", 

"LeechFTP", 

"Vampire", 

"Smartdownload", 

"Collector", 

"URLBlaze", 

"Wapalizer", 

"NetAnts", 

"Express WebPictures", 

"WebAuto", 

"Offline Expl", 

"HTTrack",

"msnbot", 

"mass download", 

"WebCopier", 

"FlashGet", 

"findlinks",

"ZyBorg",

"VoilaBot",

"SocietyRobot",

"Crawlzilla",

"OmniExplorer",

"BruinBot",

"Lonopono",

"Lorkyll",

"Snappy",

"nicebot",

"larbin",

"ObjectsSearch",

"psbot",

"LeechGet",

"Gooru",

"curl");



while(list($key,$val)=each($browser)) { 

if(eregi($val,$HTTP_USER_AGENT)) {

 print "Mass downloaderom mówimy nie";

 exit;

}

} 

?>

Możesz poszerzać tą listę - pokazują się nowe programy do masowego downloadu, więc rewolucyjna czujność wskazana.

 

Warto tą operację przeprowadzić również w katalogach, w plikach startujących (np. index.php lub inny, do którego odwołuje się link z menu). Poza tym dopilnuj, by zabezpieczone tak był te strony, do których odwołują się odnośniki z Twojej main page.

 

Sposób jak każdy - na pewno ma wady, ale skutecznie zblokuje dzieciarnię i średniozaawansowanych. A na fachowców i tak mało co poradzimy, niestety.

[huan 18]

Można też zabezpieczyć wszystkie pliki na końcie za pomocą wpisów do pliku .htaccess w katalogu głównym konta. Kazde odwolanie z tych programow bedzie przekierowywac na strone http://www.twojserwer.pl/leecher.html

 

Przykladowy .htaccess

RewriteOptions inherit

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web Sucker.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^HTTrack.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebMirror.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZip.*

RewriteRule ^(.*) http://www.twojserwer.pl/leecher.html [R,L]

[user1 0]

Można też zabezpieczyć wszystkie pliki na końcie za pomocą wpisów do pliku .htaccess w katalogu głównym konta. Kazde odwolanie z tych programow bedzie przekierowywac na strone http://www.twojserwer.pl/leecher.html

 

Przykladowy .htaccess

RewriteOptions inherit

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web Sucker.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^HTTrack.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebMirror.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZip.*

RewriteRule ^(.*) http://www.twojserwer.pl/leecher.html [R,L]

 

A czy jakiś odpowiednik dla pliku konfiguracyjnego apacha php.ini jest ?

[Gość patrick]

a wersja po polsku jest ?

[kndr 0]

1) Zakładasz pułapkę na stronie w postaci niewidocznego linku

<a href="pulapka.php"></a>

 

2)Dla "dobrych botów" w robots.txt umieszczasz:

User-agent: *

Disallow: pulapka.php

 

3) W pliku pulapka.php banujesz adres ip.

 

Zasada jest taka, że człowiek i dobry bot nie wejdzie do pulapka.php. Wszystkie inne automaty wpadną do pułapki jeśli nie respektują robots.txt

[Tomi 0]

Za niewidoczne linki to mnie ostatnio Google zbannowało. Ale pomysły "psychologiczne i taktyczne" są najlepsze.

Przykład: przerabiałem kiedyś masę gotowych tokenów. Jak napisałem własny, taki z polskim znakiem diakrytycznym to spam z dnia nadzień znikł.

[jamesbond 0]

Tez jestem ciekaw jak @kndr radzi ukryc ten link zeby Google nie zbanowalo.

Czy ma z tym jakies doswiadczenia.

[kndr 0]

Jak dotychczas nie miałem problemów z tymi pułapkami. Ostatnio (od listopada 2006) mam problem z Google ale dotyczy to tak zwanego Penalty +31 i nie sądzę, żeby to miało związek z niewidzialnymi linkami. W końcu Google powinno trzymać się z dala od tego co jest zapisane w robots.txt czyli od wszystkich niewidzialnych linków.

[riklaunim 0]

"najlepsze" rozwiązanie to ochrona antyfloodowa/hammerowanie - jak coś wysyła >= 3 żądania na sekundę to ma mały współczynnik ludzkości

[Gość Bartosz Gadzimski]

"najlepsze" rozwiązanie to ochrona antyfloodowa/hammerowanie - jak coś wysyła >= 3 żądania na sekundę to ma mały współczynnik ludzkości

 

Czy może jakieś konkretne rozwiązania/skrypty dostępne publicznie?