Kilka komputerów do obliczeń pod jednym zewnętrznym IP

[Samael 0]

Witam.

Nie jestem pewien czy piszę w dobrym dziale, za co z góry przepraszam.

 

 

(Dłuższym) Słowem wstępu:

Od pewnego czasu tworze oprogramowanie parsujące oparte o PHP+MySQL.

Ma ono za zadanie na podstawie wprowadzonych wytycznych przeszukiwać internet w poszukiwaniu zgodnych z owymi wytycznymi informacji i składników, następnie analizować je pod względem zgodności i wiarygodności, po czym tworzyć raporty zapisywane na koniec do bazy MySQL.

Po zakończeniu "wypluwa" mi ewentualne pliki które publikuję na swojej stronie.

Dotychczas do obliczeń wykorzystywałem jeden komputer (Opteron 2,1Ghz, 8GB RAM, 128GB SSD) na łączu 100Mbps.

Projekt jednak rozwija się dość szybko i obecna złożoność algorytmów oraz ich ilość powoduje, że jeden komputer to zdecydowanie za mało, przez co kupiłem cztery bardzo wydajne jednostki (AMD 8600K 4x4Ghz, 32GB RAM, 4x128GB SSD RAID 0) które wystarczą na dłuższy czas, no i tu zaczęły się schody.

 

Dlatego zwracam się do Szanownych użytkowników z następującą serią pytań:

1. Czy zastosowanie Ubuntu Server będzie dobrym wyborem (z komputerami "gratis" dostałem W7 OEM, ale poszukuję lżejszego systemu, prawie tak łatwego w konfiguracji co W7+WinServ i zdolnego w możliwie dużym stopni wykorzystać moc każdej jednostki bez zbędnego marnowania zasobów na system)?
2. Kwestia zdalnego sterowania: Obecnie korzystam z TeamViewer, ale niema czegoś lżejszego i najlepiej bezpłatnego dla systemów Windows, Linux i Android?
3. W alternatywie do pytania nr 2: Jak mógłbym połączyć te cztery komputery w jedną jednostkę obliczeniową i tak aby sterować zdalnie jedną wirtualną maszyną? (dodam, że nie znam się na tworzeniu klasterów - ale za łatwy do zrozumienia manual będę bardzo wdzięczny).

Dodam, że całość aplikacji jest podzielona na cztery osobne wątki, mogące działać całkowicie z osobna (byle w odpowiedniej kolejności) oraz, że dotychczasowy komputer zużywał maksymalnie 17% możliwości łącza.

Z góry za to przepraszam, ale nie jestem zainteresowany dzierżawą dedyka lub innymi ofertami. Problem jaki mam wywiązał się już po zakupie nowych komputerów i muszę jakoś go rozwiązać. Mam nadzieję, że nie wpłynie to negatywnie na dyskusję.

 

Z góry dziękuję za pomoc każdemu z Was!

[Misiek08 285]

Utworzenie 1 maszyny na 4 komputerach od razu odradzam, bo raczej więcej zachodu niż to warte. Skoro aplikacja potrafi działać w wątkach to wtedy na każdym komputerze trzeba odpalić instancje i już.

 

Ubuntu będzie dużo lepszy niż Windows, bo sam system nie zabierze tak dużo zasobów, a w sytuacji, gdy wyeliminujesz GUI to narzut systemu jest minimalny.

 

Kolejna sprawa - czemu PHP? Są lżejsze metody, a sam PHP jest dość wolny jeśli naprawdę masz już tak dużo pracy dla tego systemu.

 

1. Tak.

2. Najlepiej mieć system bez GUI, czyli wtedy zarządzasz z konsoli, przez protokół SSH na przykład.

3. Już napisałem, robienie klastra na razie sobie odłóż, raczej tego nie potrzebujesz skoro już aplikacja potrafi dzielić pracę.

 

Jak coś to pytaj dalej tutaj, jakbyś szukał programistów to na PW też zapraszam.

[Gość Kamikadze]

Postaw sobie albo debiana albo ubuntu. Jeżeli skrypt nie potrzebuje środowiska graficznego to jesteś w domu.

 

Jeżeli serwery są w twojej sieci wewnętrznej to korzystają z IP twojego routera (publicznego). Jeżeli każdy ma osobne IP publiczne i kolokujesz to u jakiegoś dostawcy to myślę że się dogadasz z konfiguracją tego.

[Samael 0]

Utworzenie 1 maszyny na 4 komputerach od razu odradzam, bo raczej więcej zachodu niż to warte. Skoro aplikacja potrafi działać w wątkach to wtedy na każdym komputerze trzeba odpalić instancje i już.

 

Ubuntu będzie dużo lepszy niż Windows, bo sam system nie zabierze tak dużo zasobów, a w sytuacji, gdy wyeliminujesz GUI to narzut systemu jest minimalny.

 

Kolejna sprawa - czemu PHP? Są lżejsze metody, a sam PHP jest dość wolny jeśli naprawdę masz już tak dużo pracy dla tego systemu.

 

1. Tak.

2. Najlepiej mieć system bez GUI, czyli wtedy zarządzasz z konsoli, przez protokół SSH na przykład.

3. Już napisałem, robienie klastra na razie sobie odłóż, raczej tego nie potrzebujesz skoro już aplikacja potrafi dzielić pracę.

 

Jak coś to pytaj dalej tutaj, jakbyś szukał programistów to na PW też zapraszam.

Czy mógłbyś rozwinąć kwestię nie opłacalności budowy klastra?

Czy przy Ubuntu możliwe jest - tak jak to było przy RedHat - praca na np. GNOME i po zakończonej pracy konfiguracyjnej wyłączyć GUI, pozostawiając tylko terminal?

 

Postaw sobie albo debiana albo ubuntu. Jeżeli skrypt nie potrzebuje środowiska graficznego to jesteś w domu.

 

Jeżeli serwery są w twojej sieci wewnętrznej to korzystają z IP twojego routera (publicznego). Jeżeli każdy ma osobne IP publiczne i kolokujesz to u jakiegoś dostawcy to myślę że się dogadasz z konfiguracją tego.

 

Skrypt nie wymaga trybu graficznego. Tzn. tak mi się wydaje ;-)

Chcę skorzystać z możliwości CronJob i zoptymalizować apkę aby połączyć funke cronjob z działaniem tylko jeśli zostały spełnione warunki kolejności działań (na podstawie monitorowania określonej tabeli w mysql).

 

 

Serwery są u mnie. Podpinam je dziś do routera. I teraz pytanie:

1. Ustawiać stałe IP czy pozostać przy dynamicznie przydzielanych?
2. Czy jest jakiś tutorial lub manual opisujący jak zainstalować i skonfigurować serwer Apach/PHP/MySQL/FTP pod Ubuntu? Zerkałem na stronę ze stopki Kamikadze ale tam jest jasno napisane Debian, dlatego zadaje powyższe pytanie.
3. Jeszcze raz spytam o zdalne sterowanie, jakąś alternatywę dla TeamViewer. Czy ktoś coś zna?

Edytowano Styczeń 11, 2016 przez Samael (zobacz historię edycji)

[Gość Kamikadze]

Ustaw sobie stałe IP najlepiej spoza zakresu dhcp (zmiennych ipków).

Ubuntu jest identyczne jak Debian z tą różnicą że na ubuntu przed każdą komendą dajesz sudo.

Wszystko przez putty (po ssh) rób. Bezpieczniej, łatwiej i mniej obciążająco (nie musisz mieć trybu graficznego)

[Samael 0]

Ok bardzo dziękuję za podpowiedzi.

Od godziny wszystko sobie konfiguruję na pierwszym komputerze (wiele maszyn jeden monitor i jeden zestaw myszy i klawiatury ;-) ).

Na chwilę obecną wszystko idzie bardzo gładko. Instalacja systemu była banalnie prosta, teraz konfiguruję serwer internetowy.

 

Mam tylko jedno jeszcze pytanie: Lepiej każdy komputer mieć podłączony osobno do routera czy może dodać "po drodze" switch?

[Misiek08 285]

Jeżeli wymieniają dane między sobą to switch się przyda. Jeśli tylko z internetem - nie widzę potrzeby.

[Gość Kamikadze]

I jak jest dużo tych "wymian danych" to już w gigabitowy zainwestuj.

[Samael 0]

Między sobą prawie zero, router - mimo braku konieczności - jest Gigabitowy.