Obciążenie Serwera

[c_tom 0]

Witam,

Mam pytanie do administratorów. Czy odwołania do katalogów w którym znajduje się duża ilość plików (zdjęć) mają jakiś wpływ na obciążenie serwera? (szybkość wyszukiwania? itp.) . Czy podzielić to na kilka podkatalogów i tam umieścić proporcjonalnie pliki?

 

Z góry dziękuję za uwagi.

 

Pozdrawiam,

Tomasz

[hyhyhy 0]

Tak, najlepiej podziel albo via rewrite daj zdjęcia na litehttpd ( taki zaje... server httpd) który obsłużył by Ci ładnie te zdjęcia, o ile Twój load jest na prawdę wysoki. Pozdr.

[ertcap 0]

daj zdjęcia na litehttpd ( taki zaje... server httpd) który obsłużył by Ci ładnie te zdjęcia, o ile Twój load jest na prawdę wysoki.

Tutaj zapewne nie mamy doczyniena z problemem zbyt duzej ilosci polaczen (czyli zmiana apache'a na cos mniej zasobozernego) lecz ze zbyt duza iloscia plikow w katalogu od ktorych m.in. dysk nie wyrabia (jak skrypty phpa jezdza po tych danych).

 

@c_tom - jesli dobrze kojarze Twoj serwis (nazwa domeny zaczyna sie na q) to zdecydowanie zlikwiduj kwestie trzymania wielkiej ilosci plikow w jednym katalogu i problem z obciazeniamy serwerow powinien sie rozwiazac.

 

pzdr.

[ednet 136]

Tutaj zapewne nie mamy doczyniena z problemem zbyt duzej ilosci polaczen (czyli zmiana apache'a na cos mniej zasobozernego) lecz ze zbyt duza iloscia plikow w katalogu od ktorych m.in. dysk nie wyrabia (jak skrypty phpa jezdza po tych danych).

pzdr.

 

Jaka ilosc fotek w jednym katalogu jest w miarę bezpieczną iloscią? Fotki nazywają się np 1.jpg, 2.jpg itd.

Chodzi o orientacyjną ilosc bo wiadomo ze zalezy to od serwera i np systemu plikow.

 

ed

[c_tom 0]

@c_tom - jesli dobrze kojarze Twoj serwis (nazwa domeny zaczyna sie na q) to zdecydowanie zlikwiduj kwestie trzymania wielkiej ilosci plikow w jednym katalogu i problem z obciazeniamy serwerow powinien sie rozwiazac.

 

@ertcap - raczej nie możesz go kojarzyć, ponieważ go jeszcze nie ma ;-) w sieci. dopiero go tworzę a nie chcę później mieć kłopotów z hostingodawcą

ale dziękuję za uwagi

 

może nie jestem precyzyjny, ale to właśnie będą bezpośrednie odwołania do tych plików

a jaka ilość plików (zdjęć ) jest optymalna w danym katalogu (nazwy np. 213562153768213.jpg)

 

Pozdrowienia Wszystkich,

[ertcap 0]

@ertcap - raczej nie możesz go kojarzyć, ponieważ go jeszcze nie ma ;-)

A to przepraszam, widocznie pomylilem sie.

może nie jestem precyzyjny, ale to właśnie będą bezpośrednie odwołania do tych plików

a jaka ilość plików (zdjęć ) jest optymalna w danym katalogu (nazwy np. 213562153768213.jpg)

Sam dostep do pliku graficznego nie bedzie jakis wielkim obciazeniem. Problem pojawi sie jak bedziesz chcial wylistowac taki katalog (np. wejdziesz do niego z poziomu ftpa).

Ja bym (juz nawet dla samej mojej wygody) nie pakowal wiecej niz 1000 plikow do jednego katalogu.

 

pzdr.

[p 3]

Sam dostep do pliku graficznego nie bedzie jakis wielkim obciazeniem. Problem pojawi sie jak bedziesz chcial wylistowac taki katalog (np. wejdziesz do niego z poziomu ftpa).

Nie wiem czy wnikales kiedys w budowe systemu plikow, ale sam dostep do pliku w przypadku katalogu z ich duza liczba (a co za tym idzie z duza liczba blokow opisujacych ten katalog) bedzie 'jakims' obciazeniem.

[ertcap 0]

Nie wiem czy wnikales kiedys w budowe systemu plikow,

Niestety nie, to tez mam z paczek

ale sam dostep do pliku w przypadku katalogu z ich duza liczba (a co za tym idzie z duza liczba blokow opisujacych ten katalog) bedzie 'jakims' obciazeniem.

Nie przecze. Tak tylko patrzac sie w praktyce gdzie mialem idealne warunki do tego typu testow (czyli serwer tylko na poczte z kontami (kilka k) jako Maildiry) to _zdecydowanie_ najwieksze obciazenie generowalo w pop3 list a nie retr.

 

pzdr.

[beliq 442]

Nie wiem czy wnikales kiedys w budowe systemu plikow, ale sam dostep do pliku w przypadku katalogu z ich duza liczba (a co za tym idzie z duza liczba blokow opisujacych ten katalog) bedzie 'jakims' obciazeniem.

Aktualnie, na jednym z serwerów przy których mam zasczyt "dłubać",

istnieje taki katalog co to ma ponad 200 tyś. plików.

Niby wszystko cacy: SATA, RAID1, ReiserFS,

ale w czasie kiedy Midnight Commander pobiera jego listing... idę robić kawę/zapalić.

[Gość patrick]

W sumie do obsługi "ciężkich" katalogów i dużej ilości plików tworzony był reiser4 niestety nie wiem jak tam z pracami nad tym systemem bo jakoś ostatnio nie był on stabilny

No i ja bym odstawił sata na rzecz scsi 15k

[beliq 442]

W sumie do obsługi "ciężkich" katalogów i dużej ilości plików tworzony był reiser4 niestety nie wiem jak tam z pracami nad tym systemem bo jakoś ostatnio nie był on stabilny

No i ja bym odstawił sata na rzecz scsi 15k

Z ReiserFSem 4 jest też taki mały problem...

trzeba patchować kernel, aby ten zechciał go obsłużyć,

zaś dodatkowo partycje muszą być stworzone właśnie w ReiserFS 4,

a czego jak narazie nie wszystkie płytki rescue (w DC) obsługują.

Za dużo zabawy przy ew. padzie... odpuściłem sobie więc.

 

P.S. SCSI 15K w Hetzner?

[hyhyhy 0]

Zarzuć ap bencharkiem, pokarz vmstat Pozdr.

[p 3]

Aktualnie, na jednym z serwerów przy których mam zasczyt "dłubać",

istnieje taki katalog co to ma ponad 200 tyś. plików.

Niby wszystko cacy: SATA, RAID1, ReiserFS,

ale w czasie kiedy Midnight Commander pobiera jego listing... idę robić kawę/zapalić.

Ale to nie jest miarodajny test, bo tutaj wiekszosc czasu zabiera wypisanie danych na konsole. Zreszta spojrz nizej

 

W sumie do obsługi "ciężkich" katalogów i dużej ilości plików tworzony był reiser4 niestety nie wiem jak tam z pracami nad tym systemem bo jakoś ostatnio nie był on stabilny

Z tego co sie orientuje Reiser siedzi teraz w wiezieniu za zabojstwo (albo probe zabojstwa?) swojej zony i pare systemow/dystrybucji zrezygnowalo juz z obslugi tego systemu plikow ze wzgledu na jego watpliwa przyszlosc.

 

Zarzuć ap bencharkiem, pokarz vmstat

time

 

$ ls -l | wc -l

14163

 

$ time ls -l

(tutaj listing katalogu)

real 0m7.004s

user 0m0.163s

sys 0m0.105s

 

$ time ls -l > /dev/null

real 0m0.256s

user 0m0.176s

sys 0m0.052s

 

Jak widac benchmarki po listingu sa niezbyt miarodajne jezeli chodzi o sam dostep do pliku, poniewaz wiekszosc czasu i tak zajmuje przedstawienie tych wynikow userowi. Co wiecej w przypadku ls program odwoluje sie lstat'em do kazdego pliku, wiec nawet w przypadku przekierowania wynikow do /dev/null czasy sa przeklamane pewnie o rzad wielkosci.

[moron 0]

tez mnie ten temat obchodzi wiec mam kilka pytan

 

w takim razie gdzie jest "granica oplacalnosci" cache'a ?

napisalem serwis ktory ma na razie okolo 500uu/dzien i dochodzi okolo 50-90 podstron dziennie (aktualnie okolo 15k)

zrobilem w nim bardzo duzy cache zeby ograniczyc zapytana (mam klopoty z pamiecia) - bardzo sie udalo bo schodze nawet z 15 zapytan do 2-5 ale niestety w folderze cache'a mam okolo 5k plikow (prawie 4mb)

czyszcze go co jakis tydzien ale portal sie rozrasta i tak samo cache

 

przechodzac do meritum - czy jak bedzie np 40k plikow to system bedzie dalej wydajny? (1x80GB SATA z mirrorem)

 

i ponowie pytanie zalozyciela tematu

Jaka ilosc fotek w jednym katalogu jest w miarę bezpieczną iloscią? Fotki nazywają się np 1.jpg, 2.jpg itd.

[beliq 442]

Ale to nie jest miarodajny test, bo tutaj wiekszosc czasu zabiera wypisanie danych na konsole. Zreszta spojrz nizej

Serdecznie dziękuję P za poprawienie mnie na tym forum po raz setny.

Tak na poważnie, mój poprzedni post miał charakter raczej luźny,

chciałem tylko ukazać w drobnym stopniu problem jakim jest niewątpliwie

posiadanie tylu nodów w jednym miejscu, bo problemów jest kilka,

a mój ulubiony MC to tylko taki pierwszy z brzegu przykład.

 

Co do konkretnych danych:

# ls -l | wc -l
219908

# time ls -l > /dev/null
real	0m3.767s
user	0m3.019s
sys	 0m0.645s

[beliq 442]

czy jak bedzie np 40k plikow to system bedzie dalej wydajny? (1x80GB SATA z mirrorem)

Hmmm... na to pytanie chyba nikt nie jest w stanie wiążąco odpowiedzieć,

ponieważ to zależy głównie od tego jak bardzo obciążasz dyski innymi rzeczami.

Nie mniej jednak wydaje mi się, że nie powinieneś mieć z cachem tej wielkośći problemów.

Dodatkowo możesz podmontować partycję gdzie te pliki trzymasz

z dyrektywą noatime,nodiratime(dla ext3) lub samo noatime(dla RFS).

 

Jaka ilosc fotek w jednym katalogu jest w miarę bezpieczną iloscią? Fotki nazywają się np 1.jpg, 2.jpg itd.

Zgubiłem szklaną kulę...

[p 3]

Serdecznie dziękuję P za poprawienie mnie na tym forum po raz setny.

Alez prosze Cie bardzo