Prosty benchmark hostingów

[cyberluk 0]

Eh, a patrzy ktoś na obciążenie procesora? U mnie na maszynie P4 3.0 GHz php4 w trybie fcgi wygląda tak:

 

- Test 1: przy odpalonym dnetc

Test #1 completed in 106 ms.
Test #2 completed in 106 ms.
Test #3 completed in 105 ms.
Test #4 completed in 106 ms.
Test #5 completed in 105 ms.
Test #6 completed in 107 ms.
Test #7 completed in 107 ms.
Test #8 completed in 105 ms.
Test #9 completed in 123 ms.
Test #10 completed in 107 ms.
Test #11 completed in 112 ms.
Test #12 completed in 111 ms.

Lowest time: 105 ms , Highest time : 123 ms
Average of all 12 times: 108 ms
Average of middle 10 times: 107 ms

-obciążenie procesora 4%

 

- Test 2: bez dnetc

Test #1 completed in 101 ms.
Test #2 completed in 104 ms.
Test #3 completed in 102 ms.
Test #4 completed in 105 ms.
Test #5 completed in 107 ms.
Test #6 completed in 102 ms.
Test #7 completed in 102 ms.
Test #8 completed in 103 ms.
Test #9 completed in 102 ms.
Test #10 completed in 102 ms.
Test #11 completed in 102 ms.
Test #12 completed in 103 ms.

Lowest time: 101 ms , Highest time : 107 ms
Average of all 12 times: 103 ms
Average of middle 10 times: 103 ms

- obciążenie procesora - 4-5%

 

Oba testy bez Eacceleratora, PHP 4.4.4-8+etch2 (cli) (built: Apr 22 2007 21:32:01), 2.6.18-4-686 #1 SMP

 

Jak widać, problemem nie jest obciążenie procka i maszyny, raczej mała wydolność parsera i kompilatora kodu PHP4. Dodatkowy narzut czasowy na komunikację między serwerem WWW a PHP też "poprawia" te wyniki...

Jak znajdę chwilę to popatrzę na testy php5 i php4 z acceleratorami...

[beliq 442]

Ja mam takie same wyniki zarówno o 3 w nocy jak i teraz przy load average 1.

[gamepad 0]

Shou.pl

 

Test #1 completed in 47 ms.

Test #2 completed in 48 ms.

Test #3 completed in 48 ms.

Test #4 completed in 48 ms.

Test #5 completed in 54 ms.

Test #6 completed in 50 ms.

Test #7 completed in 51 ms.

Test #8 completed in 49 ms.

Test #9 completed in 48 ms.

Test #10 completed in 47 ms.

Test #11 completed in 47 ms.

Test #12 completed in 48 ms.

 

Lowest time: 47 ms , Highest time : 54 ms

Average of all 12 times: 49 ms

Average of middle 10 times: 48 ms

[Tomasz Fiedoruk 98]

Shou.pl

 

Test #1 completed in 47 ms.

Test #2 completed in 48 ms.

Test #3 completed in 48 ms.

Test #4 completed in 48 ms.

Test #5 completed in 54 ms.

Test #6 completed in 50 ms.

Test #7 completed in 51 ms.

Test #8 completed in 49 ms.

Test #9 completed in 48 ms.

Test #10 completed in 47 ms.

Test #11 completed in 47 ms.

Test #12 completed in 48 ms.

 

Lowest time: 47 ms , Highest time : 54 ms

Average of all 12 times: 49 ms

Average of middle 10 times: 48 ms

 

Odświeżyłem stronę i było ok ale na początku miałem coś takiego:

This Account Has Been Suspended
Please contact the billing/support department as soon as possible.

[solo 0]

icomp.pl - na naszej platformie (lighttpd, eacc, tuning)

 

Test #1 completed in 34 ms.

Test #2 completed in 34 ms.

Test #3 completed in 37 ms.

Test #4 completed in 34 ms.

Test #5 completed in 34 ms.

Test #6 completed in 34 ms.

Test #7 completed in 34 ms.

Test #8 completed in 34 ms.

Test #9 completed in 34 ms.

Test #10 completed in 34 ms.

Test #11 completed in 34 ms.

Test #12 completed in 34 ms.

 

Lowest time: 34 ms , Highest time : 37 ms

Average of all 12 times: 34 ms

Average of middle 10 times: 34 ms

 

 

twojemiejsce.pl (ok. 100 klientow; na razie tylko obslugiwane firmy):

direct admin stuff + performance tuning

 

Test #1 completed in 43 ms.

Test #2 completed in 43 ms.

Test #3 completed in 43 ms.

Test #4 completed in 43 ms.

Test #5 completed in 43 ms.

Test #6 completed in 43 ms.

Test #7 completed in 42 ms.

Test #8 completed in 42 ms.

Test #9 completed in 42 ms.

Test #10 completed in 43 ms.

Test #11 completed in 42 ms.

Test #12 completed in 42 ms.

 

Lowest time: 42 ms , Highest time : 43 ms

Average of all 12 times: 43 ms

Average of middle 10 times: 43 ms

 

gamecenter.pl (platforma jak na icomp.pl; ruch ok. 6mln odslon miech; w chwili testow 21 requestow/s):

Test #1 completed in 46 ms.

Test #2 completed in 46 ms.

Test #3 completed in 75 ms.

Test #4 completed in 45 ms.

Test #5 completed in 46 ms.

Test #6 completed in 46 ms.

Test #7 completed in 46 ms.

Test #8 completed in 86 ms.

Test #9 completed in 47 ms.

Test #10 completed in 46 ms.

Test #11 completed in 92 ms.

Test #12 completed in 45 ms.

 

Lowest time: 45 ms , Highest time : 92 ms

Average of all 12 times: 56 ms

Average of middle 10 times: 53 ms

 

 

---

na kazdej maszynie najnowszy kernel (w ktorym m.in. nizsze czasy przelaczania sie taskow oraz tworzenia nowych).

[cyberluk 0]

No i znalazłem chwilę i dołożyłem Eacceleratora:

 

Test #1 completed in 98 ms.
Test #2 completed in 95 ms.
Test #3 completed in 96 ms.
Test #4 completed in 96 ms.
Test #5 completed in 97 ms.
Test #6 completed in 96 ms.
Test #7 completed in 96 ms.
Test #8 completed in 95 ms.
Test #9 completed in 128 ms.
Test #10 completed in 97 ms.
Test #11 completed in 95 ms.
Test #12 completed in 95 ms.

Lowest time: 95 ms , Highest time : 128 ms
Average of all 12 times: 99 ms
Average of middle 10 times: 96 ms

Różnica znikoma, ale wynik się poprawił.

Żeby było ciekawiej - właśnie odpaliłem ten skrypt z konsoli. Wynik... No jakżeby inaczej ~105ms

 

Edit: Zapatrzony w te wszystkie posty, sposoby testowania i chwalenie się tuningiem serwera, postąpiłem jak amator - nie popatrzyłem co się znajduje w pętli wykonującej benchmark... Dopiero odpalenie tego "benchmarka" z linii poleceń dało mi świadomość, że chyba coś jest nie tak. No i faktycznie - można sobie go włożyć w... Znającym PHP proponuję przyglądnąć się pętli w linijce 37 i ją przeanalizować Sam wnioski zostawię na jutro jak jeszcze uda mi się wykryć skąd biorą się tak duże różnice w czasach wykonywania tego pseudo-benchmarku.

[Tomasz Fiedoruk 98]

kei.pl - cgi

Platforma Luna

 

Test #1 completed in 39 ms.
Test #2 completed in 46 ms.
Test #3 completed in 49 ms.
Test #4 completed in 40 ms.
Test #5 completed in 41 ms.
Test #6 completed in 43 ms.
Test #7 completed in 40 ms.
Test #8 completed in 50 ms.
Test #9 completed in 40 ms.
Test #10 completed in 41 ms.
Test #11 completed in 41 ms.
Test #12 completed in 40 ms.

Lowest time: 39 ms , Highest time : 50 ms
Average of all 12 times: 43 ms
Average of middle 10 times: 42 ms

[cyberluk 0]

Eh, nikomu sie nie chciało popatrzeć? No dobra to Wam podpowiem, bo widzę, że co niektórzy uparli się na odpalanie benchmarków

Ten benchmark w żaden sposób nie testuje wydajności serwera WWW! Robi tylko i wyłączeni test za pomocą takiej pętli:

 

for($i = 1; $i <= 20000; $i++)
{
$x=$i * 5;
$x=$x + $x;
$x=$x/10;
$string3 = $string1 . strrev($string1);
$string2 = substr($string1, 9, 1) . substr($string1, 0, 9);
$string1 = $string2;
}

Co to znaczy w praktyce? A no tyle, że nie jest ważne, czy odpalimy go na serwerze WWW czy z linii poleceń czy w trybie CGI, FCGI czy jakimś innym to wynik zawsze będzie wydajnością PHP, a nie same serwera. Opowiadania o tuningu (ukłony solo) itp można sobie włożyć między bajki. W przypadku tego benchmarku liczy się tylko i wyłącznie wydajność wewnętrzna PHP, która btw jest baaaardzo cienka.

PHP5 wychodzi 2.5 razy lepiej niż PHP4. Różne wersja PHP4 mają zmiany mniej więcej +/- 10%.

 

Zastanawiałem się przez długi czas, jak można poprawić wynik tego "benchmarka". Rekompilowałem PHP, dokładałem akceleratory, a sposób okazał się bardzo prosty:

 

Test #1 completed in 105 ms.
Test #2 completed in 102 ms.
Test #3 completed in 109 ms.
Test #4 completed in 105 ms.
Test #5 completed in 110 ms.
Test #6 completed in 110 ms.
Test #7 completed in 106 ms.
Test #8 completed in 109 ms.
Test #9 completed in 103 ms.
Test #10 completed in 117 ms.
Test #11 completed in 109 ms.
Test #12 completed in 97 ms.

Lowest time: 97 ms , Highest time : 117 ms
Average of all 12 times: 107 ms
Average of middle 10 times: 107 ms

 

Ta sama maszyna:

 

Test #1 completed in 47 ms.
Test #2 completed in 57 ms.
Test #3 completed in 51 ms.
Test #4 completed in 52 ms.
Test #5 completed in 51 ms.
Test #6 completed in 48 ms.
Test #7 completed in 50 ms.
Test #8 completed in 47 ms.
Test #9 completed in 50 ms.
Test #10 completed in 47 ms.
Test #11 completed in 59 ms.
Test #12 completed in 46 ms.

Lowest time: 46 ms , Highest time : 59 ms
Average of all 12 times: 50 ms
Average of middle 10 times: 50 ms

 

i jeszcze raz:

Test #1 completed in 26 ms.
Test #2 completed in 24 ms.
Test #3 completed in 24 ms.
Test #4 completed in 27 ms.
Test #5 completed in 24 ms.
Test #6 completed in 26 ms.
Test #7 completed in 24 ms.
Test #8 completed in 25 ms.
Test #9 completed in 27 ms.
Test #10 completed in 23 ms.
Test #11 completed in 29 ms.
Test #12 completed in 24 ms.

Lowest time: 23 ms , Highest time : 29 ms
Average of all 12 times: 25 ms
Average of middle 10 times: 25 ms

 

Tak więc te wszystkie wyniki, które tu zostały wklejone, możecie sobie włożyć między książki. W żadnym wypadku nie nadają się do oceny platform hostingowych...

[wacek 0]

Nazwa.pl

Test #1 completed in 58 ms.

Test #2 completed in 110 ms.

Test #3 completed in 68 ms.

Test #4 completed in 68 ms.

Test #5 completed in 66 ms.

Test #6 completed in 59 ms.

Test #7 completed in 61 ms.

Test #8 completed in 64 ms.

Test #9 completed in 59 ms.

Test #10 completed in 67 ms.

Test #11 completed in 62 ms.

Test #12 completed in 73 ms.

 

Lowest time: 58 ms , Highest time : 110 ms

Average of all 12 times: 68 ms

Average of middle 10 times: 65 ms

 

 

 

Mój domowy serwer AMD K6-2 450 MHz / PHP 4.1.2

Test #1 completed in 892 ms.

Test #2 completed in 892 ms.

Test #3 completed in 892 ms.

Test #4 completed in 893 ms.

Test #5 completed in 893 ms.

Test #6 completed in 890 ms.

Test #7 completed in 894 ms.

Test #8 completed in 892 ms.

Test #9 completed in 896 ms.

Test #10 completed in 892 ms.

Test #11 completed in 893 ms.

Test #12 completed in 894 ms.

 

Lowest time: 890 ms , Highest time : 896 ms

Average of all 12 times: 893 ms

Average of middle 10 times: 893 ms

 

 

Btw. hardcorowy MIPS

[Tomasz Fiedoruk 98]

Eh, nikomu sie nie chciało popatrzeć? No dobra to Wam podpowiem, bo widzę, że co niektórzy uparli się na odpalanie benchmarków

Ten benchmark w żaden sposób nie testuje wydajności serwera WWW! Robi tylko i wyłączeni test za pomocą takiej pętli:

 

for($i = 1; $i <= 20000; $i++)
{
$x=$i * 5;
$x=$x + $x;
$x=$x/10;
$string3 = $string1 . strrev($string1);
$string2 = substr($string1, 9, 1) . substr($string1, 0, 9);
$string1 = $string2;
}

Co to znaczy w praktyce? A no tyle, że nie jest ważne, czy odpalimy go na serwerze WWW czy z linii poleceń czy w trybie CGI, FCGI czy jakimś innym to wynik zawsze będzie wydajnością PHP, a nie same serwera. Opowiadania o tuningu (ukłony solo) itp można sobie włożyć między bajki. W przypadku tego benchmarku liczy się tylko i wyłącznie wydajność wewnętrzna PHP, która btw jest baaaardzo cienka.

PHP5 wychodzi 2.5 razy lepiej niż PHP4. Różne wersja PHP4 mają zmiany mniej więcej +/- 10%.

 

Zastanawiałem się przez długi czas, jak można poprawić wynik tego "benchmarka". Rekompilowałem PHP, dokładałem akceleratory, a sposób okazał się bardzo prosty:

 

Tak więc te wszystkie wyniki, które tu zostały wklejone, możecie sobie włożyć między książki. W żadnym wypadku nie nadają się do oceny platform hostingowych...

No widzę, że wiedzę w temacie masz. Możesz zaproponować coś innego do takiego testu porównawczego?

[MasterNETpl 100]

Przecież to nawet widać po w/w różnicach między php_mod a php_*cgi, że rozchodzi się o samo php

[cyberluk 0]

No widzę, że wiedzę w temacie masz. Możesz zaproponować coś innego do takiego testu porównawczego?

 

Najlepszy byłby do tego http://jakarta.apache.org/jmeter/.

Należałoby zbudować jeden wspólny profil do testu, postawić go na jednym hoście i z tego hosta wykonać np po 10 tych samych benchmarków o różnych godzinach. Na platformie docelowej musiałaby istnieć prekonfigurowana aplikacja - np. phpbb z jakimiś postami. Warunek - na wszystkich hostingach zainstalowane to samo archiwum z tymi samymi danymi.

 

Taki benchmark uwzględni wszystko - jakość łącza, wydajność serwerów, różnice między mod_php vs CGI vs FCGI vs LSAPI i kilka innych szczegółów.

 

Dużo pracy i raportowania, ale wtedy wyniki będą w miarę sensowne do porównywania hostingów.

[solo 0]

cyberluk - no oczywiste jest, ze taki test nie sprawdzi calej platformy, tym bardziej ze inaczej wyglada platforma np. ktora ma duza, poindexowana baze, inaczej dla dynamicznego kontakty, inaczej dla statycznych danych itp. poproszono o wklejenie - bum wklejam;). Jednakze sama wydajnosc PHP jest rowniez wazna - najlepiej jak jest przekompilowany na danej maszynie, ale to chyba oczywiste.

 

Osobiscie mierzymy ssytem wrzucajac kilka roznych stron (o roznym zastosowaniu i zuzywaniu zasobow) i mielimy serwer z innej maszyny.

 

Co do jakosci lacza przy testach - nie wiem czy powinno to byc brane pod uwage. Wg. mnie powinna byc testowana sama platforma (czyli mlocimy serwer zapytaniami po LANie) bo jezeli sa problemy z laczami - zawsze mozna to zmienic, majac dalej ta sama platforme softwareową. Zakladajac oczywiscie ze w przypadko klastorow lub kilku serwerow (jeden baza, drugi content) lokalnie wzystko gra od strony hardwareowej.

[beliq 442]

Eh, nikomu sie nie chciało popatrzeć?

To jest ciekawe z punktu widzenia socjologicznego...

Ja, to nawet nie sprawdziłem co w tym pliku jest...

Zwykle tak nie robie, zawsze sprawdzam, a przez ten wątek...

Pobrałem, uruchomiłem, wkleiłem wyniki... niczym automat

dobrze, że to był pehap, a nie *.c, bo pewnie jak debil bym wpisał gcc i połowa internetu miała by moje hasło roota

[host4pl.com 0]

Witam

 

też wydaje mi się, że ten benchmark niestety podaje tylko "względną" jakość hostingu - dlaczego, ano dlatego, że na naszym serwerze dla klientów czasy oscylują ok ~110ms i nic w tym zaskakującego (PHP4, mod_php) za to na testowej "maszynce" (VPS z php5 fast-cgi) po prostu wyniki mnie rozbawiły (na początku myślałem, że skrypt po prostu nie działa):

 

 Test #1 completed in 1 ms.
  Test #2 completed in 1 ms.
  Test #3 completed in 2 ms.
  Test #4 completed in 1 ms.
  Test #5 completed in 1 ms.
  Test #6 completed in 1 ms.
  Test #7 completed in 1 ms.
  Test #8 completed in 1 ms.
  Test #9 completed in 1 ms.
  Test #10 completed in 2 ms.
  Test #11 completed in 1 ms.
  Test #12 completed in 1 ms.

  Lowest time: 1 ms , Highest time : 2 ms
 Average of all 12 times: 1 ms
 Average of middle 10 times: 1 ms

 

a powiem szczerze, że na tej testowej "maszynie" to raczej żaden hosting dla klientów niestety nie ruszy (za mało pamięci i przestrzeni )

[Tomasz Fiedoruk 98]

Ja miałem na jednym ujemne wartości, więc Cię przebiłem

[PIKeR 1]

Sorry za odkopywanie, ale nie potrafię nie dorzucić swoich pięciu groszy. Nigdy nie ukrywałem swojej niechęci do progreso, bo to według mnie jakaś kpina z klienta, ale teraz to IMHO lekkie przegięcie - post, który miał wyjaśnić sprawę nie pojawił się już kilka miesięcy. Bardzo długi weekend macie.

 

Ja też miałem przygody z progreso. Po kilku dniach testowania usług tejże firmy dostałem email od użytkownika - "może by warto pomyśleć o przeniesieniu strony na jakiś płatny hosting?" (!!). Ale to była prawda. Wymieniane przez Was czkawki czy długi czas generowania strony to niestety była codzienność.

 

Ja w dalszym ciągu czekam na wyjaśnienie. To, że ten benchmark testuje PHP a nie cały serwer to wiadomo było od razu. Nie zmienia to jednak faktu, że progreso wypadało* gorzej od innych firm.

 

* - nie znam sytuacji w chwili obecnej, gdyż nie mam konta na progreso (na szczescie )

[bald 0]

[...]

Bardzo długi weekend macie.

[...]

 

 

webmail po swietach...

odpowiedz po weekendzie...

 

 

od siebie dodam ze:

sie _czepiasz_ gdyz nie bylo sprecyzowane po ktorym weekendzie (tudziez swietach)...

 

nmsp

 

i jeszcze mysl filozoficzna, zalega mi proforma od progreso, placic czy pogadac z iq oto jest pytanie trzeba sie z tym przespac

[Gość normanos]

i jeszcze mysl filozoficzna, zalega mi proforma od progreso, placic czy pogadac z iq oto jest pytanie trzeba sie z tym przespac

mi się kończy chyba po wakacjach ale sprawa jest juz przesądzona

[Tomasz Fiedoruk 98]

I zapadła złowroga cisza

[Gość adamszendzielorz]

Sorry za odkopywanie, ale nie potrafię nie dorzucić swoich pięciu groszy. Nigdy nie ukrywałem swojej niechęci do progreso, bo to według mnie jakaś kpina z klienta, ale teraz to IMHO lekkie przegięcie - post, który miał wyjaśnić sprawę nie pojawił się już kilka miesięcy. Bardzo długi weekend macie.

 

Generalnie wszystkie kolejne posty wyjasnily dokladnie to, co chcielismy przekazac. Ze benchmark ten nie jest nic warty jezeli chodzi o jakosc / szybkosc / bezawaryjnosc / pewnosc hostingu. I tyle, dlatego postu nie bylo i nie bedzie, sprawa wyjasniona i zamknieta. Amen

pozdr.

[MasterNETpl 100]

Generalnie wszystkie kolejne posty wyjasnily dokladnie to, co chcielismy przekazac. Ze benchmark ten nie jest nic warty jezeli chodzi o jakosc / szybkosc / bezawaryjnosc / pewnosc hostingu. I tyle, dlatego postu nie bylo i nie bedzie, sprawa wyjasniona i zamknieta. Amen

pozdr.

Przecież to było wiadomo już na samym początku... wystarczyło tylko zaglądnąc do kodu źródłowego powyższego skryptu... a nie mówić, że zostanie wydane oświadcznie w związku z długim czasem generowania czasu...

[bald 0]

Przecież to było wiadomo już na samym początku... wystarczyło tylko zaglądnąc do kodu źródłowego powyższego skryptu... a nie mówić, że zostanie wydane oświadcznie w związku z długim czasem generowania czasu...

 

 

jesli wezme metalowa rurke i przejde sie po parkingu walac nia w dachy samochodow to pomimo ze test glupi to i tak da jakies pojecie o odpornosci lakierow poszczegolnych "skasowanych" marek

 

podsumowujac: nie wazne jakiej jakosci jest test, jesli bedzie uruchomiony na roznych maszynach i tak da jakis obraz roznic miedzy nimi

[cyberluk 0]

(...)

 

podsumowujac: nie wazne jakiej jakosci jest test, jesli bedzie uruchomiony na roznych maszynach i tak da jakis obraz roznic miedzy nimi

 

Błąd - ten test nie udowodnił niczego. Nie ma różnicy, czy PHP działa jako mod_php, jako CGI, jaki FastCGI czy jako CLI. Brak zmian przy różnych modułach. Ten test pokazał tylko, jak beznadziejnym językiem jest PHP i jak dużo poprawili w PHP5. Myślałem, że opisie jak działa benchamark to jest jasne...

[Tomasz Fiedoruk 98]

Ale logika jest prosta. Ten test nie ukazywał wydajności maszyn tylko ogólnie całego środowiska, więc i w jakimś stopniu określał efektywność i jakość serwerów (rozumianych jako szybkość działania strony klienta) danej firmy.