Sprzęt dla Quaggi

[Marek Kowal 0]

Planuję uruchomienie routera BGP opartego na Quadze. Słyszałem kiedyś, że są serwery specjalnie przystosowane do takich zastosowań. Mają np. wbudowaną 4-portową kartę sieciową albo kartę sieciową na SFP.

 

Słyszał ktoś jeszcze o czymś takim?

[HaPe 242]

Teraz to w większości wszystkie serwery mają 4 porty LAN, plus 1 do karty np. DRAC.

Zależy jaki ruch, zainteresuj się Supermicro.

[Marek Kowal 0]

Tu ok, ale coś z SFP już mi ciężko znaleźć. Pewnie się domyślasz, że skoro szukam czegoś pod Quagge to nie dysponuje budżetem 50k zł.

 

Planuję obsłużyć tym sprzętem 2 operatorów oraz 1 węzeł wymiany ruchu:

- pierwszy operator 300 Mbps,

- drugi operator 100 Mbps,

- węzeł - pojedyncze megabity, bo tam bardziej dla sportu chce się wpiąć.

 

W perspektywie chciałbym również mieć możliwość podłączenia jeszcze jednego operatora. Wszystko przychodzi mi światłem.

[HaPe 242]

Zewnętrzny konwerter ze światła na gigabit i coś z supermicro, popytaj na trzepak.pl tam znajdzie się ktoś, kto Ci doradzi konkretniej.

[theONE 526]

Zależy jakie światło na jakim dystansie. Ogólnie karta 2x 1Gbit SPF nie kosztuje strasznych pieniędzy a konwerter to kolejne urządzenie które może mieć awarię.

 

Serwery specjalnie przystosowane to:

http://www.supermicro.com/products/motherboard/Xeon/C600/X9DRX_-F.cfm (czyli płyta w którą można włożyć bardzo dużo kart)

 

albo coś w obudowie tego typu:

http://www.supermicro.com/products/chassis/2U/823/SC823MTQ-R700LP.cfm (czyli karty na froncie tak jak w sprzęcie sieciowym i odwrócona cyrkulacja powietrza)

 

Ale dla ciebie to najlepiej kupić jakakolwiek bude 2U (lub stojące 4U desktop) z prockiem ~1270 (1230) bo najtaniej ci to wyjdzie, na router nie potrzebujesz specjalnej mocy na procesorze i ilości RAMu.

[Miłosz 2311]

U mnie BIRD chodzi na płytkach SuperMicro i Intel C2D 6600 z 2 GB ramu.

Quagga przy jednym peerze z pełnej tablicy brała ok 500 mb ramu na start. BIRD na starcie bierze ok 100. Aktualnie mamy dwóch peerów. Obciążenie takiego routera znikome.

[Marek Kowal 0]

Wstępnie się rozejrzałem i wymyśliłem taki zestaw:

 

Serwer Dell 1950 III coś jak na aukcji: http://allegro.pl/dell-1950-iii-2x-qc-e5420-2-5ghz-16gb-2x73gb-raid-i2455158277.html

Tylko z jednym Xeonem E5450, 8GB RAM i dyski to w sumie mało ważne - pewnie jakieś nowe SATA bym wsadził.

 

Do tego karta sieciowa Intel PRO/1000 4-portowa: http://allegro.pl/intel-quad-gigabit-pro-1000-pt-pci-express-i2481585622.html

 

Jak "media converter" taki switch: http://allegro.pl/cisco-ws-ce500g-12tc-8x-10-100-1000-4x-sfp-i2481595680.html

 

Plan jest taki żeby światełkiem wpiąć się do switcha, potem porobić VLAN-y pomiędzy portem SFP i jednym portem GE. W przyszłości chciałbym do każdego SFP dodać jeszcze jeden port GE i postawić drugi taki sam serwer jak wyżej i spiąć go VRRP z pierwszym żeby w razie awarii przejął jego zadanie.

 

Myślicie, że to jest dobry plan? Wiem, że ten Dell to już lekki zabytek, ale cena kusząca i ma wszystko nadmiarowe. Największe wątpliwości mam co do tego Cisco przed Dellem. Czy to aby nie jest jakiś wynalazek? Pierwszy raz widzę takiego switcha.

[Miłosz 2311]

To Cisco pewnie bez softu jest...

[theONE 526]

1) kup nowy serwer na E3 1230 albo czymś podobnym (1 proc AMD), raz awaryjność używanego sprzętu jest większa dwa za prąd szybko różnica ci się zwróci, nie chcesz przy tym chodzić, nie chcesz mieć używanych dysków jeżeli nie musisz, routery nie mają sie psuć więc lepiej o to zadbać wcześniej

 

2) nie kupuj używanych kart sieciowych bo sporo większa szansa na popsute porty albo uszkodzenia, do tego to jest 2x 1+1 Gbit a nie 4x 1 Gbit karta, jeżeli kupisz jednak używaną upewnij się że dostaniesz oba śledzie (wysoki i niski) razem z kartą żebyś potem nie miał problemu z montażem

[Marek Kowal 0]

Xeon E3 to już bardzo mocny procesor, a poza tym TDP ma identyczne jak wspomniany przeze mnie E5450. Dopiero E3 na Ivy Bridge ma niższe o 11W TDP. Pewnie reszta konstrukcji jest bardziej energooszczędna, ale nie wiem w jakim stopniu. Widzę, że sprzedajesz serwery z E3. Czy możesz podłączyć jakiś wolny do watomierza i sprawdzić ile bierze faktycznie prądu?

 

Przyznaje rację, że używka to używka i kiedy padnie nie wiadomo. Tylko Dell 1950 to serwer z górnej półki, a coś na E3 to raczej budżetówki w których na próżno szukać nadmiarowości zasilania, wentylatorów hot-swap czy porządnego kontrolera RAID z cache i baterią. Oczywiście to wszystko można dołożyć, ale cena niebezpiecznie zbliży się do pięciocyfrowej.

 

Z tą kartą to mnie trochę zaskoczyłeś. Czy to źle, że są tam dwa układy obsługujące po 2 porty? Googlałem wcześniej na ten temat i na jakimś forum kilka osób radziło wziąć kartę z tym konkretnie chipsetem.

 

Tak z innej beczki. Czy jeśli mam adresację PA od obecnego operatora to mogę ją rozgłosić na swoim routerze i potem używać u obu operatorów?

[globalnetwork.pl 11]

Ogólnie rozwiązań podanej sytuacji jest wiele, ale zaproponuję dwa:

 

1) Serwer DELL PE 2950 (ze względu na możliwość większej rozbudowy kart, RAM) - niewielka różnica cenowa od 1950.

Do tego Quagga, OpenBGPd, Bird (zdecydowanie Bird jest bardziej polecany). Można też zastosować gotowe rozwiązanie softwarowego routera - Vyatta. W tej architekturze warto podłączyć się optyką do przełącznika a z niego wyjść elektryką, z tego względu że zawsze będzie można podłączyć drugi serwer jako backup i nie trzeba będzie przepinać kabelków a VRRP zrobi swoje. Można oczywiście użyć też arch z dwoma przełącznikami.

2) Zakup przełącznika routującego Cisco 6500 z kartą SUP2/SUP-32 i kartami optycznymi. Ogólnie ograniczenie CAMa w tych kartach pozwala umieścić tylko 256k prefixów w tablicy routingu, ale można spokojnie ilość prefixów ograniczyć po długości lub terytorialnie (wtedy resztę wysyłamy default GW - na przykład wszystko co jest za granicami kraju). Oczywiście lepszym rozwiązaniem jest zakup karty min. SUP-720-3BXL lub CXL ale to znacznie większe pieniążki. Na początek SUP2/SUP32 starczy.

 

Zdecydowanie z tych dwóch wybrałbym opcję drugą. Argumenty są proste:

 

1) Hardwarowe rozwiązanie

2) Stabilne

3) Wiele funkcjonalności

 

Historia zna wiele przypadków kiedy to np. quagga klękała bo otrzymała błędne prefixy albo problem jest z ilością pamięci dla niej.

Po co stresować się, że linux/unix się zrestartuje lub zawiesi z powodu jakiegoś wyjątku. Trzeba także pamiętać, że karty sieciowe w serwerach są różne i nie zawsze kompatybilność sterowników z systemem operacyjnym jest pełna. W pewnym momencie potrzebne będą karty z NP i tutaj robią się kolejne inwestycje.

 

W przypadku pytań służymy pomocą, możemy także jako integrator pomóc w realizacji wszystkiego.

 

Z poważaniem,

Zespół BLUE LEAF Sp. z o.o.

http://www.blueleaf.pl

http://www.globalnetwork.pl

[kafi 2425]

porządnego kontrolera RAID z cache i baterią

Po grzyba w routerze brzegowym RAID z cache i baterią?

IMO to w takim przypadku to i można wybootować system z pendrive do ramdysku

 

Ja bym raczej polecał zainteresować się, jak działa podsystem i/o. I to nie mówię o pamięci masowej (takie ładne polskie określenie ) ale o zdolność przetwarzania pakietów przez sieciówki, ewentualnie ilość i sposób połączenia gniazd PCI-Express. Bo kwiatki w stylu gniazdo x8 ale elektrycznie x4 albo i nawet x2 zdarzają się dosyć często, nawet i w płytach "serwerowych" .

 

Czy jeśli mam adresację PA od obecnego operatora to mogę ją rozgłosić na swoim routerze i potem używać u obu operatorów?

Pytanie pierwsze - jaki to prefiks tej adresacji? Jeśli większy niż /24 to nie ma o czym gadać nawet

Jeśli owy dostawca zgodzi się odpowiednio routerecordy stworzyć to niby tak...

... ale i tak większość peerów będzie takie "pirackie" prefiksy wycinać.

Edytowano Lipiec 11, 2012 przez Gość (zobacz historię edycji)

[theONE 526]

Xeon E3 to już bardzo mocny procesor, a poza tym TDP ma identyczne jak wspomniany przeze mnie E5450. Dopiero E3 na Ivy Bridge ma niższe o 11W TDP. Pewnie reszta konstrukcji jest bardziej energooszczędna, ale nie wiem w jakim stopniu. Widzę, że sprzedajesz serwery z E3. Czy możesz podłączyć jakiś wolny do watomierza i sprawdzić ile bierze faktycznie prądu?

 

TDP nie jest równoważne z poborem mocy, i w szczególności z poborem mocy przez system, jest raczej wskazówką ile będzie zjadać na pełnym obciążeniu. Twój router z procesora nie będzie w większości wypadków korzystał albo będzie to 15% jednego rdzenia. Na 1230 skończy się na zużyciu przez cały system na poziomie 60W przez większość czasu, 5450 to konstrukcja która ma już 5 lat i jest bardzo niewydajna energetycznie w spoczynku, do tego RAM w niej dużo więcej prądu potrzebuje i dużo bardziej się grzeje. Do tego masz dwa procesory kontra jeden o większej wydajności niż oba razem.

 

Przyznaje rację, że używka to używka i kiedy padnie nie wiadomo. Tylko Dell 1950 to serwer z górnej półki, a coś na E3 to raczej budżetówki w których na próżno szukać nadmiarowości zasilania, wentylatorów hot-swap czy porządnego kontrolera RAID z cache i baterią. Oczywiście to wszystko można dołożyć, ale cena niebezpiecznie zbliży się do pięciocyfrowej.

 

kontra pięcioletnia używka, E3 to nie jest budżetówka tylko jedno procesorowy serwer, w routerze jeżeli nie planujesz nim mocno mielić po dyskach (dużo logów i analiz) nie potrzebujesz kontrolera RAID, dodatkowo pięcioletni serwer ma kontroler ze starą baterią którą i tak musisz wymienić jeżeli chcesz mieć do niej jakiekolwiek zaufanie

 

 

Z tą kartą to mnie trochę zaskoczyłeś. Czy to źle, że są tam dwa układy obsługujące po 2 porty? Googlałem wcześniej na ten temat i na jakimś forum kilka osób radziło wziąć kartę z tym konkretnie chipsetem.

Lepiej mieć nowsza konstrukcję na 4x1 niż 2x2 bo w wypadku awarii wypada ci więcej portów na raz, kiedyś to był jedyny sposób na 4 porty na jednej karcie ale od hmm~2 lat są nowe z 4x1.

 

Tak z innej beczki. Czy jeśli mam adresację PA od obecnego operatora to mogę ją rozgłosić na swoim routerze i potem używać u obu operatorów?

Żeby to rozgłosić (jak rozumiem BGP) musisz mieć swoj AS, jak masz swój AS to i tak dostaniesz /23 dla siebie z RIPE i używać jego niż lecieć na cudzym.

 

Jeżeli to PA jest /24 lub większe to operator może w bazie zrobić wpisy o tym że jest ono do ciebie i wtedy możesz to podłączyć do innego łącza ale raczej rzadko kiedy idą na rękę w ten sposób...

[Marek Kowal 0]

Z PA to kicha będzie, bo niestety mam bloki mniejsze niż /24. Apropo adresacji mam jeszcze pytanie. theOne napisał, że do AS jest potrzebne minimum PI /23, a ja mam PI /24. Czy to była pomyłka czy faktycznie będę miał problem aby otrzymać AS-a na adresację /24?

 

Co do serwera to jeśli faktycznie te nowe rozwiązania na E3 biorą tak mało prądu to nie ma się co zastanawiać. Możecie mi polecić jakąś dobrą kartę sieciową 4 portową z którą nie będę miał problemów w połączeniu z Quaggą?

 

Kolejna sprawa to dyski. Mimo wszystko wolałbym mieć tu RAID, bo wiadomo, że z czegoś ten system musi wstać. Nie chciałbym się kiedyś nie miło zdziwić. Pendrive jakoś do mnie nie przemawia.

[globalnetwork.pl 11]

Zdecydowanie pomyłka. /24 jak najbardziej będzie ok. Nawet ze względu na oszczędne podejście do adresów IPv4 możliwe jest rozgłaszanie /25.

 

PS. Mimo wszystko radzimy zastanowić się nad rozwiązaniem sprzętowym. Kiedyś mieliśmy rozwiązanie na markowym serwerze z Quaggą i co jakiś czas działy się różne jaja nawet z kartą dedykowaną z NP. Od kiedy wszędzie wymieniliśmy routery na sprzętowe rozwiązania każdy z supportu śpi spokojnie

 

Z poważaniem,

Zespół BLUE LEAF Sp. z o.o.

http://www.blueleaf.pl

http://www.globalnetwork.pl

[Miłosz 2311]

No to może BIRD zamiast Quaggi, jeśli rozwiązanie ma być programowe

[globalnetwork.pl 11]

Miłosz ma rację, BIRD zdecydowanie jest lepszy - stosowany jest w niektórych dużych punktach IX, ale to nadal software.

 

Z poważaniem,

Zespół BLUE LEAF Sp. z o.o.

http://www.blueleaf.pl

http://www.globalnetwork.pl

[Miłosz 2311]

Mam u siebie na dwóch routerach i sprawuje się lepiej od quaggi. Dużo mniej ramu żre.

[Marek Kowal 0]

Przekonaliście mnie do BIRD-a. Poczytałem trochę i faktycznie duży węzłach jest używany. Czytałem też, że niestety konfiguracja jest dość trudna. Mam jednak 3 miesiące na naukę i postawienie tego routera produkcyjnie, więc myślę, że dam radę.

 

Czy jest możliwość testowania takiego routera tak żeby niczego nie popsuć? W sensie nie puścić w świat jakiegoś badziewia oraz nie odciąć się od Internetu?

[Miłosz 2311]

Masz dokumentację birda. W necie znajdziesz przykładowe konfiguracje. Najlepiej zrób sobie wirtualny lab (kilka wirtaulek na kompie, sieć do nich w bridge, możesz użyć Virtualboxa) do testów, na niepublicznej adresacji. Potestujesz, zobaczysz jak to działa.

 

Upstreamowi operatorzy będą filtrować Cię na sesjach, żebyś jakiegoś syfu nie puścił, ale nie zadzkodzi zaznajomić się z filtrami i stosować je u siebie. Prawdopodobnie będziesz od nich odbierać całą tablice, a eksportować będziesz tylko swój prefix.

 

Na routerze wyłącz sobie rp_filter w sysctl

[Marek Kowal 0]

Mam jeszcze jedno pytanie. Czy można klasę PI /24 podzielić na mniejsze podklasy samodzielnie? Czy to w jakikolwiek sposób koliduje z BGP?

[theONE 526]

Po swojej stronie tak

 

W publicznej sieci teoretycznie tak

Praktycznie nie bo nikt nie routuje mniejszej klasy niż /24 w publicznej sieci

[Marek Kowal 0]

Przepraszam jeśli pytanie będzie idiotyczne, ale słabo się jeszcze w temacie orientuję.

 

Jak rozumiem będę mógł wewnątrz swojej sieci przydzielić różnym strukturom np. różnym gałęzią sieci różne klasy z tej mojej /24? Chciałbym ją podzielić na 4x /26. Tylko w tym wypadku będę miał 4 bramy, adresy sieci i broadcasty i nie wiem w ogóle jak się do czegoś takiego zabrać...

[Miłosz 2311]

Przypiszesz te bramy na interfejsie w routerze. Pamietaj, że na routerze (na interfejsie do opa upstreamowego) nie ustawiasz domyślnej bramy.