Duża aktualizacja top100.wht.pl

[P-e-T-e-R 1]

Informuję, że w bieżącym tygodniu do rankingu top100.wht.pl zostanie dodane około 300 tysięcy nowych nazw domen. Z uwagi na dużą ilość danych zmiany będą wprowadzane przez kilka dni.

 

[P-e-T-e-R 1]

Informuję, że baza domen o której pisałem w poprzednim poście została dodana. Jak wielu użytkowników zauważyło (również na forum rootnode.pl) bardzo dużo z tych domen pochodzi z nazwa.pl i zasiliło wyniki tej firmy. To nieuniknione skoro 1/3 nazw nowych domen w Polsce jest rejestrowanych przez tego dostawcę (patrz raport NASK za 2018r.: https://www.dns.pl/NASK_Q4_2017_RAPORT.pdf).

 

Zapraszam przedstawicieli firm hostingowych do kontaktu ze mną jeżeli liczba domen prezentowanych w zestawieniu top100.wht.pl nie odpowiada liczbie domen danego dostawcy. Sprawdzę każdy przypadek indywidualnie tak jak to zrobiłem w przypadku firmy Progreso i Unixstorm (http://www.webhostingtalk.pl/topic/57922-problem-z-dzialaniem-top100whtpl/?p=493389).

 

Przeprowadzane prace ujawniły, że do statystyki zaliczane były domeny w rozszerzeniach po za oficjalnie przyjętą listą: .pl, .com, .net, .org, .biz, .info, .eu. Zgodnie z informacją na top100.wht.pl: "Na potrzeby budowania rankingu brane są pod uwagę zarówno domeny polskie, europejskie jak i globalne, a w przypadku firm z siedzibą za granicą Polski tylko domeny polskie.". Wycofałem te domeny, oraz oczyściłem bazę z nagromadzonych przez lata "śmieci". Zmiany dotyczą wielu rejestratorów - poniżej lista 20 z największą liczbą takich domen:

24031 hekko.pl
16836 forpsi.pl
9562 linuxpl.com
8542 biznes-host.pl
7806 az.pl
4789 home.pl
3860 nameserver.sk
3675 kei.pl
3447 bodis.com
3186 zenbox.pl
3011 mydevil.net
2970 superhost.pl
2676 nazwa.pl
2639 1and1.pl
1995 turbodns.co.uk
1668 hoseo.pl
1237 unixstorm.org
1127 neteasy.pl
899 tele3.us
808 laohost.pl

 

Dodatkowo z kolejki domen do sprawdzenia zostały usunięte domeny w różnych rozszerzeniach nie branych pod uwagę przy budowaniu zestawienia, a które zajmowały niepotrzebnie czas potrzebny na weryfikację domen w prawidłowych rozszerzeniach. Usunięte zostało też dużo śmieci wynikających z nieprawidłowego parsowania danych wejściowych z crawlerów i plików które udostępniają dostawcy hostingu. Jest to niestety stan zastany przeze mnie który teraz prostuję. Poniżej lista rozszerzeń domen usuniętych z zestawienia powyżej 10tyś wystąpień:

 

318145 de
254190 co.uk
198887 ru
137877 nl
115533 cz
56651 ch
56583 at
55260 se
51352 it
47997 dk
42460 be
41394 sk
38841 ca
34965 co.za
26929 hu
26771 es
25553 fr
25443 cn
22013 ro
20886 org.uk
20803 no
19367 ie
18213 lt
17517 co.nz
16680 gr
16024 jp
15955 com.cn
15013 com.ua
14079 cl
13976 in
13429 fi
12609 us
10270 tk

 

Powyższe prace spowodują duże zmiany w statystyce domen na top100.wht.pl gdyż system w krótkim czasie odświeży informacje o delegacjach wszystkich domen w rankingu, ujawniając wszystkie zmiany związane ze zmianą delegacji domen, oraz ich usunięciem z systemu DNS.

 

Piotr Nowak

 

 

 

 

 

 

[P-e-T-e-R 1]

Informuję, że w wyniku przeprowadzanych prac związanych z aktualizacją top100.wht.pl wykryty został błąd w działaniu oprogramowania generującego statystyki, polegający na nie usuwaniu ze statystyki domen których termin ważności wygasł. Domeny te pomimo, że nie były widoczne w DNS nadal były zaliczane do usługodawcy który je obsługiwał jako ostatni. Błąd ten istnieje od kilku lat działania top100.wht.pl co można zaobserwować porównując dynamikę wzrostu ilości domen na top100.wht.pl i w raportach udostępnianych przez NASK.

Prace związane z weryfikacją wszystkich domen zostały rozpoczęte i mogą wywołać duże zmiany w poniedziałkowym raporcie.

Piotr Nowak

[is_wm 287]

Czym jest spowodowane to, że niektóre hostingi mają uptime 0%? Bo jeśli nie jest mierzone dla tych stron, to warto byłoby tam dać np. b/d, bo jednak 0% to chyba raczej nikt nie ma

[P-e-T-e-R 1]

To oczywiście błąd w wyświetlaniu wyników. Słuszna uwaga - trzeba to zmienić.
Natomiast błędy pomiarowe wynikają zapewne z nie sparowania danego ISP z systemem raportowania Monit24.

Widać że konieczne jest wprowadzenie w tym tygodniu drobnych poprawek.

[is_wm 287]

Rozumiem, że chodzi o blokadę IP monitoringu? Choć trochę nie chce mi się wierzyć, że aż taka ilość firm blokuje jakieś IP...

Ale skoro monitorowana jest tylko strona "domowa" hostingu (czyli bądźmy szczerzy: to może ale zupełnie nie musi odwzorowywać uptime stron na danym hostingu), to może warto podać do publicznej wiadomości z jakich adresów odbywa się sprawdzanie dostępności, żeby nie było takiej sytuacji, że ktoś ma 0% lub np. 50% (w sytuacji, gdzie są 2 IP z czego 1 jest blokowany)?

[P-e-T-e-R 1]

Nie. Chodzi o techniczne ustawienie w bazie top100.wht.pl. Firma która się tym zajmowała na zlecenie webhostingtalk.pl jeszcze nie dokończyła swoich prac.

Natomiast co do blokowania monitorinu... Jest on robiony z wielu stacji, więc jeżeli te losowe stacje napotykają na błąd to przecież powinny go zaraportować w postaci niedostępności. Jaki sens miało by uprzywilejowywanie określonych numerów IP przez ISP? Chyba tylko sztucznego podwyższenia swojego SLA.

[P-e-T-e-R 1]

Informuję, że aktualizacja statystyki top100.wht.pl została zakończona. Z rankingu zostało usuniętych około 1,5mln domen które nie zostały przedłużone, oraz dodano około 200tyś nowych domen. W dniu dzisiejszym zostaje uruchomione również pobieranie listy domen od Partnerów, które wyłączyłem w momencie rozpoczęcia prac w sobotę.

[P-e-T-e-R 1]

Przez najbliższy weekend odbędzie się duża aktualizacja rankingu https://top100.wht.pl. Do zestawienia zostanie dodanych ponad 100.000 nowych domen. Aktualizacja obejmie wszystkich usługodawców.