Skocz do zawartości
mcbarlo

Download dużych plików

Polecane posty

Obecnie mam zrealizowane pobieranie dużych plików za pomocą Apache i modułu x-sendfile. W sumie nie działa źle, ale przy kilkunastu jednoczesnych pobieraniach już załapuje czkawkę.

 

Zastanawiam się nad lepszym rozwiązaniem np. nginx lub inne? Chciałbym Was zapytać czy to w ogóle coś da?

 

Wąskim gardłem nie jest pamięć ani CPU tylko operacje I/O. Transfery są realtywnie niewielkie, do 200 Mbps, ale średnio poniżej 100 Mbps. Ilość operacyji I/O około 250/s w szczycie (według atop) także też nie wydaje mi się to wiele.

 

W jednej sesji jestem się w stanie rozpędzić prawie do 1 Gbps, ale jak sesji jest kilkanaście to wtedy zaczyna się problem.

 

Ważna informacja: dyski są podłączone za pomoca iSCSI, a inicjatorem jest FreeNAS z macierzą FC.

Edytowano przez idhosting.pl (zobacz historię edycji)

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Gość patrys

Ważniejszy od tego CPU jest RAM, ale jeżeli chodzi o oprogramowanie to tylko Nginx + sensowna konfiguracja.

Serwery z dyskami SATA lekko zamykają kartę 1Gb/s, a SSD 10Gb/s czytając oczywiście dane z dysku.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Rozumiem, ale mówisz o RAM we FreeNAS-ie czy w serwerze aplikacji? We FreeNAS-ie faktycznie jest zużyty w znacznym stopniu, ale w serwerze aplikacji to może z 500-600MB z 16GB.

 

Na jakie aspekty zwrócić uwagę konfigurując Nginxa?

Edytowano przez idhosting.pl (zobacz historię edycji)

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Obecnie nie mam możliwości dodania dysków, ale niebawem mogę takie coś zrealizować. Obecnie arc cache wygląda u mnie tak:

 

 

time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c
10:20:59 71 0 0 0 0 0 0 0 0 12G 12G
Limitów żadnych nie nakładałem.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Gość patrys

Nie dodawaj do Nginxa obsługi aio, jak niektórzy to robią, a reszta ustawień to ilość workerów i limity.

Dalej to dostosowanie pod specyfikacje aplikacji, np. dla plików video warto dodać buffory.

 

Nie widziałem nigdy freenas'a, ale jeżeli ma problem z I/O to zostaje dodać pamięci ram, albo tak jak pisał samu ssd cache by odciążyć te saty.

 

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Doraźnie dodam RAM do FreeNAS-a, a docelowo przeniose same downloady na Nginxa. Dzięki wielke za Wasze rady.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony

Utwórz konto

Zarejestruj nowe konto, to proste!

Zarejestruj nowe konto

Zaloguj się

Posiadasz własne konto? Użyj go!

Zaloguj się


×