VPS managed który obsłuży 1k-2k połączeń/min (php curl_multi)

[tbnet_pl 1]

Tak jak w tytule szukam sprawdzonego VPS managed, który obsłuży na początek 1000-2000 połączeń na minutę. VPS pod prosty bot w php, wykorzystanie procesora niewielki - max 10% rdzenia.

 

Testowałem na hostingu dedykowanym (start w Hekko) i na ich najmniejszym koncie EasyPack ale okazało się, że zwykłe konto przy 240 połączeniach jest 3-4 razy wydajniejsze od dedykowanego.

 

Lokalnie na xamppie 1000 urli było przetworzonych w ciągu 30-40 sekund i wykorzystywało około 2% i5. Na koncie dedykowanym 200-300 sekund.

 

Jakie rozwiązanie możecie zaproponować? Interesuje mnie stabilne i sprawdzone rozwiązanie, o które nie będę musiał się martwić.

[gutek 23]

te połączenia to do czy od vpsa ? prosty czy nie prosty bot zależy co robi bo 1000 url to może być mało i bardzo dużo..

[tbnet_pl 1]

To połączenia wychodzące, same przetworzenie wyników i zapisanie do bazy to mniej niż sekunda. Dla 1000 urli skrypt wykorzystywał 10-20mb pamięci.

[gutek 23]

sama stabilność vpsa ma tu średnie znaczenie a jeżeli chodzi o połączenia wychodzące to jest wiele czynników np.

- serwer dns jeżeli zapytania idą na domeny

- konfiguracja timeout w przypadku błędu

- tuning tcp

- rozmiar pobieranych danych

- czy uruchomiony jest 1 wątek skryptu czy wiele równocześnie

- w jaki sposób jest realizowane "pobranie"

Edytowano Styczeń 7, 2016 przez gutek (zobacz historię edycji)

[tbnet_pl 1]

- timeout 15-20 s

- zapytania nie idą na ip więc dnsy też mają wpływ

- rozmiar pobieranych danych najczęściej do 50kb lub bez body

- jeden wątek skryptu

[gutek 23]

na jednym wątku szkoda się męczyć jeżeli zależy Tobie na ilości danych. Ja mam napisany skrypt w phpie co pobiera ~1mln/h lekko.

[tym 205]

Co ma byc zawarte w opcji managed?

[www.mzone.uk 1200]

Zapraszam do nas, polecam naszą serię Basic PRO Managed: http://pl.mzone.uk/pro-managed

 

W pakiecie otrzymujesz:

• Monitoring systemu z 4 niezależnych aplikacji (1 bezpłatnie dla klienta)
• Zewnętrzny oraz wewnętrzny backup danych
• Support w systemie 24/7
• Panel Directadmin PL
• Profesjonalna pomoc techniczna
• Indywidualne środowisko serwera przygotowane pod konkretne zamówienie serwera
• Administracja systemu (bezpłatnie)

[tbnet_pl 1]

na jednym wątku szkoda się męczyć jeżeli zależy Tobie na ilości danych. Ja mam napisany skrypt w phpie co pobiera ~1mln/h lekko.

 

W sumie racja, może rozbiję to na kilka wywołań i będzie łatwiej. Bo wtedy faktycznie można przerobić kilkaset tysięcy i więcej na godzinę.

 

Co ma byc zawarte w opcji managed?

 

Święty spokój.

 

 

Zapraszam do nas, polecam naszą serię Basic PRO Managed: http://pl.mzone.uk/pro-managed

 

W pakiecie otrzymujesz:

• Monitoring systemu z 4 niezależnych aplikacji (1 bezpłatnie dla klienta)
• Zewnętrzny oraz wewnętrzny backup danych
• Support w systemie 24/7
• Panel Directadmin PL
• Profesjonalna pomoc techniczna
• Indywidualne środowisko serwera przygotowane pod konkretne zamówienie serwera
• Administracja systemu (bezpłatnie)

 

 

Serwer będzie w olsztyńskim sprint?

[www.mzone.uk 1200]

Serwer będzie w olsztyńskim sprint?

 

 

Nie, te serwery kolokujemy w Gdańsku (CiS Nephax)

[Misiek08 285]

Rozważ też coś innego niż PHP. Pomijam Go, bo to język kompilowany i trudniej się pisze, ale node.js może być ciekawy. Odpalasz sobie 100 workerów i masz tablicę z zadaniami do zrobienia.

 

To niby offtopic, ale może mieć wpływ na wybór serwera.

[tbnet_pl 1]

Rozważ też coś innego niż PHP. Pomijam Go, bo to język kompilowany i trudniej się pisze, ale node.js może być ciekawy. Odpalasz sobie 100 workerów i masz tablicę z zadaniami do zrobienia.

 

To niby offtopic, ale może mieć wpływ na wybór serwera.

 

Dzięki, przemyślę to.

 

[breja 0]

Wielokrotnie przerabiałem temat. Czy skrypt miał 20 czy 200 wątków, był napisany w perlu/pythonie/GO/php uzywal curl czy innych metod to zawsze DNS powodował że wyniki na VPSach w OVH/EC2/DigitalOcean były podobne. Nie za bardzo wiem jak zrobić by system odpytywał losowo z listy różne serwery DNS.

[Kszysiu 136]

Nie za bardzo wiem jak zrobić by system odpytywał losowo z listy różne serwery DNS.

A nie wystarczy, że się poda kilka w resolv.conf? W sumie nigdy nie rozkminiałem czy pozostałe serwery w resolv.conf to tylko "failover", czy on aktywnie rozkłada na nie zapytania...