Problem duzych plików w systemach linux

[cezary188 40]

Witajcie otoz mam ja ci ten zdalny pulpit z mojego poprzedniego tematu w tym dziale, który funkcjonuje pod debianem. Jako iz wiadomo ze wszelkie instalacje systemów na serwerach sa domyślnie robione na partycjach zdaje sie ext3 które umożliwiają tworzenie plików metoda write tylko do 2 gb. Potrzebuje rozpakowywać archiwa których pliki maja grubo ponad 2 gb (srednio od 8gb do 16 gb ) i teraz jak to elegancko zrobic nie rozwalajac tego co juz stoi na serwerze. Zainstalowałem sobie na szybkiego Gparted na debianie ale nie czyta zadnych urzadzen w sensie nie czyta dysku jest poprostu pusty i ja mu sie chyba nie dziwie bo serwer to vps ale z drugiej strony jakis obszar jako dysk ma widoczny w systemie wiec chyba mozna podzielic to? A druga sprawa to jakis typ partycji wybrac do rozpakowywania tych plikow i jak wykonac dobre partycjonowanie. Pomózcie.

[d.v 1409]

Wirtualny dysk na VPSie chcesz partycjonować i zmieniać na nim system plików? Oczadziałeś?

Jak chcesz się tak bawić, to zainwestuj w dedyka.

[HaPe 242]

Albo zainteresuj się pełną wirtualizacją (XEN HVM, KVM, VmWare).

[cezary188 40]

W sumie to fakt jestem szalony. A tak na przyszlosc to jaki system plikow polecacie zeby utworzyc ?

[Miłosz 2311]

z ext3 możesz już spokojnie przejść na ext4, xfs

[Gość patrys]

z ext3 możesz już spokojnie przejść na ext4, xfs

Z ciekawości napisz jak chcesz przejść z ext3/ext4 na xfs, nie tworząc od nowa systemu plików ?

 

Wracając do tematu, ext3 nie limituje do 2GB wielkości pliku....

[Miłosz 2311]

Z ciekawości napisz jak chcesz przejść z ext3/ext4 na xfs, nie tworząc od nowa systemu plików ?

Źle mnie zrozumiałeś

 

Jak mu się nie podoba ext3, to niech zacznie używać innych FSów. Ale jak już wspomniałeś wiąże się to ze zmianą systemu plików. Na OpenVZ niestety tego nie zrobi.

[www.biznes-host.pl 121]

Spróbuj wersję 64 bitową os'a lub zerknij tutaj

 

http://linuxmafia.com/faq/VALinux-kb/2gb-filesize-limit.html

[cezary188 40]

Hmm czyli co jak sobie zainstaluje zamiast 32 np Debian Squeeze 64bit(taki mam w panelu hostingu) to nie bede mial problemu z rozpakowywaniem na dysk plików wiekszych niz 2 gb ? Bo tak zrozumialem ze to jest problem ogolnie 32 bitowych systemow.

[cezary188 40]

Heh dobra sluchajcie dotarłem do momentu zmierzenia sie z problemem:

http://imageshack.us/f/266/screenky.png/

Screen taki niewyrazny bo sklejany. Jest to plik konfiguracji instalacji systemu i teraz mam 3 dyski w raid0 i chcialbym o ile to mozliwe zeby wszystkie byly podpiete w jedno miejsce (domyslnie /home) po to zeby w home przechowywac pliki jednoczesnie na 3 dyskach bez potrzeby przechodzenia miedzy partycjami by zapisac nowe pliki jak na jednym dysku/partycji skonczy sie miejsce. System plikow ma byc w xfs z tego co czytalem duzo lepszy od ext4. System moze tam sobie pozostac tylko zastanawia mnie jak mam ustawic. Mała porada co mam tam podopisywac pozmieniac ?

[GBSHouse 15]

RAID na VPS? hmmmm ciekawy pomysł - takie rzeczy to raczej na dedyku

 

Jeżeli chcesz już stworzyć w miarę bezpieczny system plików, z opcją zwiększania przestrzeni to dokup 2-3 VPS z dużym HDD i małym RAM i stwórz sobie klaster na GlusterFS albo XtreemFS i podepnij do swojego istniejącego VPS. Jak masz dobrego dostawcę to poproś żeby VPSy były rozmieszczone na różnych nodach.

 

RAID0 to najgorsze co możesz zrobić (także w przypadku dedyka) - jeżeli padnie Ci jeden dysk generalnie tracisz wszystkie dane, także te na innych dyskach. Jeżeli chcesz już stawiać RAID to 1, 5 albo 10 (poczytaj tutaj http://pl.wikipedia.org/wiki/RAID). Jeżeli chodzi o system plików to polecam własny kernel z patchem dla Reiser4

Edytowano Czerwiec 1, 2012 przez GBSHouse (zobacz historię edycji)

[cezary188 40]

Ostatni post dotyczy serwera dedykowanego. Zapomniałem wspomnieć. A rozwiazanie już znalazłem jest nim mhddfs maly programik ktory zrobi mi wirtulana partycje ktora zachowjue sie jak prawdziwa na ktorej bedzie zsumowane miejsce ze wszystkich dyskow/partycji jakie chce. A i jak mi padnie jeden z dyskow to padna tylko dane znajdujace sie na tym dysku reszta bedzie dzialac ok, ale jako iz dane nie sa szczegolnie wazne bo sa tylko dla mnie i dosc latwo moge je przywrocic wiec raid 0 jaknajbardziej na tak. Swoja droga padl kiedys wam dysk?

Edytowano Czerwiec 1, 2012 przez cezary188 (zobacz historię edycji)

[Marek607 655]

Swoja droga padl kiedys wam dysk?

 

U nas w DC dyski wymienia się systematycznie, natomiast jesli chodzi o zastosowanie domowe miałem dopiero 1 padnięty dysk przez 13 lat odkąd mam komputer.

[cezary188 40]

Nie wiem troche bez sensu robic kolejny temat w podobnym tonie wiec pisze tutaj. Jak sprawnie przerzucic pomiedzy dwoma dedykami 150GB plikow? Systemy to debian 6 64 bit na jednym z nich jest szyfrowanie TLS. łaczyłem sie juz przez programik gFTP poprzez protokół FTP i SSH ale w sumie to lipa bo upload idzie przez SSH 80 kb/s a FTP 320 kb/s i zeby bylo jeszcze fajniej to przesyła tylko jeden plik naraz. Wedlug tego co pokazywał przerzucenie skromnych 150GB bedzie trwało coś pomiędzy 170 a 200 godzin. Jest jakiś programik który by potrafił przerzucić wiecej plikow naraz albo z wieksza predkoscia ?

[HaPe 242]

Ostatni post dotyczy serwera dedykowanego. Zapomniałem wspomnieć. A rozwiazanie już znalazłem jest nim mhddfs maly programik ktory zrobi mi wirtulana partycje ktora zachowjue sie jak prawdziwa na ktorej bedzie zsumowane miejsce ze wszystkich dyskow/partycji jakie chce. A i jak mi padnie jeden z dyskow to padna tylko dane znajdujace sie na tym dysku reszta bedzie dzialac ok, ale jako iz dane nie sa szczegolnie wazne bo sa tylko dla mnie i dosc latwo moge je przywrocic wiec raid 0 jaknajbardziej na tak. Swoja droga padl kiedys wam dysk?

 

Nie lepiej zastosować LVM?

[GBSHouse 15]

@cezary188 - jakie masz łącze między serwerami? czy są w tej samej lokalizacji? Jesli tak to poproś o zestawienie Ci sieci wewnętrznej i wtedy przesyłaj dane między serwerami po tym łączu a nie po zewnętrznym. Jeśli nie to masz problem, generalnie jeśli masz na obydwu serwerach jakiś serwerek WWW (Apache etc.) zobacz jaką prędkość osiągniesz pobierając plik. Podejrzewam, że najlepsze wyniki osiągniesz sciągajać plik jako dane statyczne. Możesz sobie te serwery dowolnie zabezpieczyć, ustawić zadanie crona lub co tylko chcesz.

[cezary188 40]

Jeden serwer wynajmuje(mam tam shella) drugi jest moj, serwery sa w roznych serwerowniach. Czyli co mowicei ze w dzisiejszych czasach nie ma w miare sprawnego sposobu zeby przeslac zewnetrznie pliki ? To juz szybciej wyjdzie jak przerzuce to przez jakis serwis sharingowy plikow no nie?

[GBSHouse 15]

Przez sharing tylko pogorszysz sprawe. OK więc masz konto shell (A) i serwer dedykowany (B) - czy na koncie A masz możliwość hostowania WWW? jeśli tak to ustaw plik tak żeby go można było pobrać przez WWW (to samo zrób na serwerze B). Generalnie limitem przesyłania pliku jest prędkość łacza - jeżeli masz łącze 100Mb to w teorii powinno był mozliwe przesyłanie plik z prędkością 12,5MB/s więc plik 150GB (153600MB) powinien w teorii był przesłany w 12288 sekund czyli jakieś 3,41 godziny i nic na to nie poradzisz

[cezary188 40]

No wlasnie nie mam mozliwosci udostepnienia tego przez www, mam tylko mozliwosc polaczenia sie z serwera A na serwer b albo odwrotnie uzywajac zabezpieczonego ftp

[GBSHouse 15]

Czy możesz połaczyć się przez SCP? W teorii jeżeli możesz łączyć się A B przez SSH możesz też przez SCP. Podziel plik na kawałki TAR'em i przeslij używając opcji -r (wygoogluj sobie dokładną komendę)

[Łukasz Ostrowski 593]

A tak trudno użyć rsynca lub scp? Po co bawić się w stawianie tego na www lub ftp?

Jeśli połączyłeś dwa serwery przez ftp i miałeś transfer rzędu 80kb/s, to chyba nie myślisz, że to wina protokołu?