[DC] Etop.pl / datahouse.pl

[Gość nrm]

Znowu część maszyn leży... @#$%^

 

edit//

 

i UP. Monitoring zliczył kolejne 15 minut.

[lukaschemp 27]

@nrm toż to gorzej niż w OVH

[Gość nrm]

Jest drobna różnica: tutaj przynajmniej (z małymi problemami) dodzwonisz się w nocy i coś dowiesz, a w OVH zapomnij o czymkolwiek

[Gość nrm]

Prace serwisowe routera rdzeniowgo / Core router maintenance

• Aktualny stan zdarzenia: Otwarte
  
• Czas wystąpienia: 21-22.11.2011 00:30
  
• Przewidywany czas zakończenia: 21-22.11.2011 1:00
  
• Typ zdarzenia: Planowane
  

Około godziny 0:30 z 21 na 22 listopada przewidujemy około 15 - 30 minutową przerwę w pracy jednego z routerów rdzeniowych związaną z pilnymi pracami serwisowymi i modernizacyjnymi. W tym czasie mogą wystąpić chwilowe niedostępności związane z przełączaniem się sesji BGP. Prace mają na celu większenie wydajności oraz upgrade oprogramowania. / At night on 21/22 November there will be planed urgent maintenance of one of our core routers. Some services can be affected by those works and cause very short service unavailabilities.

[Gość nrm]

Upgrade routerów rdzeniowych i dostepowych / Core and service router upgrade.

• Aktualny stan zdarzenia: Otwarte
  
• Czas wystąpienia: 19-20.04.2012 01:00
  
• Przewidywany czas zakończenia: 20.04.2012 01:00
  
• Typ zdarzenia: Planowane
  

W nocy z dnia 19 na 20 kwietnia o godzinie 1 w nocy nastąpi upgrade routerów szkieletowych. Przewidujemy dwie kilkuminutowe przerwy w dostępie do usług oraz około 20 minutowe wydłużenie tras na kierunku TPSA. Działania mają na celu usprawnienie i zwiększenie bezpieczeństa sieci. Dziekujemy za zrozumienie.

[mateooo 0]

Oj, coś się poważnie porypało z łączami w etopie

 

Od jakichś 10 minut kompletnie leży wszystko stojące w datahouse/etop

 

Zna ktoś szczegóły? Ich strony (moje zresztą też) nie żyją

[Gość nrm]

Siekło eTop mocno. Widzę, że leżą wszyscy których znam z serwerami w eTopie + samo datahouse/etop niedostepne.

[patryk 451]

Yess, z 20 minut temu padło. I żeby nam żaden moderator nie dał warna :

 

traceroute to daz.neteasy.pl (80.72.45.18), 30 hops max, 60 byte packets

 

1 cirrus002.route.oktawave.local (223.255.255.2) 0.568 ms 1.592 ms 1.900 ms

2 gw-pl.route.oktawave.local (223.255.255.1) 0.060 ms 0.075 ms 0.063 ms

3 rev-46.229.151.138.atman.pl (46.229.151.138) 5.932 ms 5.906 ms 5.891 ms

4 z-atman-global-2.rsc.pl (193.111.38.41) 0.294 ms 0.298 ms 0.292 ms

5 195.219.246.9 (195.219.246.9) 3.423 ms 3.421 ms 3.406 ms

6 if-3-1-97.har1.W1T-Warsaw.as6453.net (195.219.188.37) 14.799 ms 14.866 ms if-9-1-98.har1.W1T-Warsaw.as6453.net (195.219.188.25) 14.841 ms

7 if-9-0-0-0.tcore1.FNM-Frankfurt.as6453.net (195.219.188.2) 23.410 ms te0-7-0-6.mpd22.fra03.atlas.cogentco.com (130.117.15.149) 24.955 ms 25.010 ms

8 te0-4-0-4.ccr22.ham01.atlas.cogentco.com (154.54.63.18) 32.876 ms te0-5-0-4.ccr22.ham01.atlas.cogentco.com (154.54.63.14) 33.274 ms te0-2-0-4.ccr22.ham01.atlas.cogentco.com (130.117.49.222) 33.368 ms

9 te0-7-0-6.mpd22.fra03.atlas.cogentco.com (130.117.15.149) 23.509 ms 23.501 ms 23.614 ms

10 te0-3-0-4.ccr22.ham01.atlas.cogentco.com (130.117.49.226) 31.868 ms te0-5-0-4.ccr22.ham01.atlas.cogentco.com (154.54.63.14) 31.840 ms te0-4-0-4.ccr22.ham01.atlas.cogentco.com (154.54.63.18) 31.534 ms

11 * te8-2.ccr01.waw01.atlas.cogentco.com (154.54.60.166) 44.359 ms te9-2.ccr01.waw01.atlas.cogentco.com (154.54.73.122) 44.193 ms

12 * * *

13 * * *

14 * ^C

 

 

edit: prądu chyba w części DC zabrakło bo 2 z 5 serwerów właśnie się bootują ;-).

[ambrozy 0]

Mi działa

 

13 49 ms 47 ms 50 ms xe-0-0-0.BR2.AMS11.ALTER.NET [146.188.4.62]

14 52 ms 51 ms 50 ms ae3-9.ams20.ip4.tinet.net [213.200.75.125]

15 129 ms 69 ms 82 ms xe-0-2-0.waw10.ip4.tinet.net [89.149.185.22]

16 76 ms 77 ms 77 ms zig-zag-gw.ip4.tinet.net [213.200.69.254]

17 71 ms 69 ms 141 ms ae1-Nitro.etop.pl [79.133.201.131]

18 76 ms 73 ms 75 ms daz.neteasy.pl [80.72.45.18]

[patryk 451]

Przeczytaj mój edit .

[mateooo 0]

3 z moich serwerów zostało zrestartowanych, faktycznie wygląda na brak prądu w części DC

 

Unclean shutdown, na jednym mam uszkodzoną bazę

 

Pytanie gdzie były w tym czasie UPSy i generatory?

[tgx 575]

 

Pytanie gdzie były w tym czasie UPSy i generatory?

 

Nic nie gwarantuje 100% ciągłości, UPS też się może popsuć, generator to samo. Nawet mając dwa tory zasilania też można zaliczyć awarię - jedyna różnica to poziom prawdopodobieństwa wystąpienia awarii...

[Gość nrm]

Dobra, nam tez wstało choć siekło jeszcze drugi raz. I jak wszędzie MySQL miał czkawkę. Psia mać... Długo.

[maniack 403]

.

Edytowano Wrzesień 9, 2017 przez maniack (zobacz historię edycji)

[Gość nrm]

Jeśli dobrze pamiętam, to pierwsza awaria w tym roku. Ciekawe jak się z tego Etop wytłumaczy.

Tak, poza pracami w nocy to ostatnie sieknięcie to bodajże listopad 2011. Często tego nie mają, ale jak już mają to... z przytupem...

[mateooo 0]

 

Nic nie gwarantuje 100% ciągłości, UPS też się może popsuć, generator to samo. Nawet mając dwa tory zasilania też można zaliczyć awarię - jedyna różnica to poziom prawdopodobieństwa wystąpienia awarii...

 

Wiem że nie ma 100% gwarancji i dlatego są UPSy i generatory i niezależne zasilanie.

 

Problem polega na tym, że prawdopodobieństwo awarii wszystkiego na raz jest raczej statystycznie nieprawdopodobne, a tutaj mamy sytuację że wszystkie te systemy na raz zawiodły, więc definitywnie coś jest nie halo.

 

Czekam na jakieś wieści z etopu, bo na razie zero raportu. Przypuszczam że mają masę roboty, więc im nie zawracam gitary

[tgx 575]

 

Problem polega na tym, że prawdopodobieństwo awarii wszystkiego na raz jest raczej statystycznie nieprawdopodobne, a tutaj mamy sytuację że wszystkie te systemy na raz zawiodły, więc definitywnie coś jest nie halo.

 

 

Nie musi wszystko, wystarczy awaria np UPS (jeżeli jest jeden tor zasilania) i generator nie pomoże bo nie będzie czasu podtrzymania pozwalającego na jego uruchomienie.

 

Zresztą nie ma co gdybać bo to nie miejsc i czas...

[mateooo 0]

Wie ktoś może co się wczoraj stało?

 

Zawsze w takich sytuacjach przesyłali informacje na maila. Tym razem nic nie było

[Gość nrm]

Puściłem im rano maila aby się... ustosunkowali No to czekamy.

[Gość nrm]

W dniu 18.12.2012 ok. godziny 11:00 miała miejsce awaria linii dosyłu średniego napięcia do transformatorów zasilających kompleks budynków ERA 200 przy Al. Jerozolimskich 200 w Warszawie , gdzie mieści się centrum danych DataHouse.

Powodem awarii było zerwanie linii zasilającej przez operatora koparki na sąsiedniej działce , gdzie budowane jest osiedle mieszkaniowe.

 

Ok. godziny 13:53 jeden z agregatów prądotwórczych , jak się później okazało z powodu awarii jednego z modułów, zaprzestał podawania zasilania na jeden z obwodów, co wymusiło przełączenie agregatu z trybu automatycznego działania na ręczne sterowanie. Miało to również wpływ na stabilność działania pozostałych obwodów zasilania oraz włączenie się zabezpieczeń, co spowodowało utratę zasilania przez cześć kolokowanych lub dzierżawionych urządzeń.

 

 

Awaria została usunięta w ciągu kilkunastu minut, a centrum danych DataHouse do godziny 20:00 pracowało na zasilaniu awaryjnym, a po otrzymaniu potwierdzenia o prawidłowej i stabilnej pracy transformatorów zasilających , system zasilania przeszedł na normalny tryb pracy.

[Gość]

Tak z ciekawości - czy taka serwerownia ma a) ubezpieczenie od takich wydarzeń b) poda do sądu firmę od tego kierowcy koparki c) nic nie zrobi?

[tgx 575]

Tak z ciekawości - czy taka serwerownia ma a) ubezpieczenie od takich wydarzeń b) poda do sądu firmę od tego kierowcy koparki c) nic nie zrobi?

 

Serwerownia ma kontrakt z firmą energetyczną, a ten ma określone czasy reakcji i dostępność usługi.

Firma energetyczna może dochodzić odpowiedzialności od operatora koparki

 

Serwerownia może dochodzić odpowiedzialności od firmy energetycznej jeżeli ta nie dotrzymała warunków usługi, ale nie od operatora koparki.

 

 

Co do ubezpieczenia to w zasadzie chyba wszystko można ubezpieczyć gorzej później wyrwać od nich odszkodowanie

[Gość Pokuć]

Przecież wiadomo kto to zrobił ! To już kolejne przecięcie kabla przez tę samą osobę za sterami koparki

 

Swoją drogą, u mnie w robocie taka sytuacja jest nie do pomyslenia. Być może dlatego, że nie jest to zwykła serwerownia, tylko coś bardziej zaawansowanego. A prąd musi siadać nam na dzielnicy często bo stale awizują przyjazd cysterny z paliwem dla dwóch wielkich generatorów.

[Marek607 655]

Przecież wiadomo kto to zrobił ! To już kolejne przecięcie kabla przez tę samą osobę za sterami koparki

 

Swoją drogą, u mnie w robocie taka sytuacja jest nie do pomyslenia. Być może dlatego, że nie jest to zwykła serwerownia, tylko coś bardziej zaawansowanego. A prąd musi siadać nam na dzielnicy często bo stale awizują przyjazd cysterny z paliwem dla dwóch wielkich generatorów.

 

Pochwalisz się gdzie pracujesz, tzn gdzie mają rozwiązania gwarantujące 100 % dostępności bez względu na wszystko?

Edytowano Grudzień 19, 2012 przez Marek607 (zobacz historię edycji)

[Łukasz Ostrowski 593]

Swoją drogą, u mnie w robocie taka sytuacja jest nie do pomyslenia. Być może dlatego, że nie jest to zwykła serwerownia, tylko coś bardziej zaawansowanego. A prąd musi siadać nam na dzielnicy często bo stale awizują przyjazd cysterny z paliwem dla dwóch wielkich generatorów.

Jeśli naprawde tak sądzisz, to się kiedyś ładnie zdziwisz