Numer : PIONIER.20070330-1 Właściciel : PIONIER IP NOC Status : CLOSE Typ : nieplanowane Dotyczy : usługa Pionier / problemy z Foundry XMR w sieci krajowej Nadawca : Krzysztof Władyszewski Początek zdarzenia : 2007-03-30 10:40:00 Koniec zdarzenia : 2007-07-26 10:23:00 Bilet otwarty : 2007-03-30 13:38:00 Bilet zamknięty : 2007-07-26 10:24:00 *** Opis problemu: W dniu dzisiejszym, od około 10:40 zaobserwowaliśmy kilkukrotne już problemy z samoczynnymi restartami kart na XMR-ach w następujacych miastach: Łódź, Radom, Kielce i Koszalin. Problem został już zgłoszony do serwisu z prośba o pilną reakcję. Przyczyny i czas usunięcia problemu nieznane. *** Działanie: 2007-06-28 13:35:00 (0,0) Witold Bogacki Zgodnie z planem o godz. 10:00 wyłączony został testowo kanał nr 2 w relacji Warszawa-Radom. W czasie prac zaobserwowano zbyt długi czas przełączenia kilku LSP. W związku z tym testy zostaną powtórzone. Włączony zostanie kanał 2 i wyłączony kanał 1 na łączu Rad-War. *** Przewidywany czas zakończenia: nieznany *** Zakończenie zdarzenia: Po aktualizacji oprogramowania Foundry problemy na XMRach obecnie już nie występują. Zakonczono również zwiazane z tym problemem testowe wyłączenia wybranych kanałów pomiędzy XMRami na łączach szkieletowych Pioniera. *** Historia: 2007-03-30 13:47:00 (0,0) Piotr Goczał W związku z opisywanymi problemami testowo wyłączono lambdę nr2 w relacji Łódź-Częstochowa-Katowice celem sprawdzenia jej wpływu na obserwowane restarty kart XMR. 2007-04-17 09:22:00 (0,0) Tomasz Berner Na środe 18.04.2007 zaplanowano ponowne włączenie drugiego kanału Łódz-Częstochowa-Katowice. Inżynierowie Foundry rozpoczną wtedy monitorowanie wszystkich XMRów w celu ustalenie przyczyny samoistnych restartów moduóów. Po włączeniu kanalów należy spodziewać sie, że takie restarty nastąpią. Kanały zostaną wyłączone ponownie, jeżeli restarty będą powodować znaczne przerwy w działaniu sieci. 2007-04-18 16:17:00 (0,0) Piotr Goczał Dodatkowe kanały zostały uruchomione ponownie. 2007-04-26 14:51:00 (0,0) Witold Bogacki Serwis Foundry udostępnił i zalecił instalacje poprawki do oprogramowania. Rozpoczęcie aktualizacji zaplanowano na 30.04.2007. W zależności od postępu prac bedą one kontynuowane 2.05.2007. W pierwszej kolejności Foundry zaleciło aktualizacje XMRów dotkniętych opisywanymi wcześniej problemami. Terminy poszczególnych aktualizacji zostaną podane w następnej aktualizacji. 2007-04-30 12:12:00 (0,0) Tomasz Berner Po restarcie modułu w Gdańsku, Foundry zaleciło wstrzymanie aktualizacji. Trwa analiza przyczyn awarii w Gdańsku. 2007-05-02 09:51:00 (0,0) Piotr Goczał Zgodnie z wcześniejszą zapowiedzią dzisiaj przeprowadzona zostanie aktualizacja oprogramowania XMRow do wersji wskazanej przez serwis Foundry. 2007-05-02 13:54:00 (0,0) Piotr Goczał Ze względu na przeprowadzaną aktualizację oprogramowania na urządzeniach Foundry XMR, w sieci krajowej obserowane będa kilkuminutowe przerwy w ich działaniu. Aktualizacja obejmuje Kielce, Kraków, Puławy, Lublin, Zieloną Góre, Opole. Prace prowadzone będą do godziny 17. 2007-05-02 16:00:00 (0,0) Piotr Goczał Zakończona została aktualizacja oprogramowania na XMRach: Gorzów Wlkp., Szczecin, Koszalin, Gdańsk, Bydgoszcz, Łódź, Warszawa, Częstochowa, Katowice, Radom, Kielce, Kraków, Puławy, Lublin, Opole, Zielona Gora, Poznan1. Prace będa kontynuowane również 04.05.2006. 2007-05-04 14:09:00 (0,0) Jerzy Grzenda Zakończona została aktualizacja oprogramowania na zapasowym XMRze w Poznaniu. 2007-05-08 15:00:00 (0,0) Witold Bogacki Na dzisiaj zaplanowano wymianę modułu 10GE w Gdańsku. Prace nie powinny spowodować odcięcia MANu Gdańsk (połączenia zapasowe realizowane są w Koszalinie. 2007-05-10 07:50:00 (0,0) Piotr Goczał Karta w Gdańsku została wymieniona. 2007-06-13 15:16:00 (0,0) Witold Bogacki Od czasu aktualizacji oprogramowania nie stwierdzono restartow kart w przełącznikach. W celu potwierdzenia poprawnego działania urządzeń przeprowadzone zostaną testy polegające na czasowym wyłączeniu obu kanałów 10GE na wybranych relacjach. Na dziś na godz. 22 zaplanowano zamkniecie łącza w relacji Łódz-Częstochowa. Prace nie powinny spowodować przerwy w łączności - ruch powinien zostać skierowany na ścieżki obejściowe. 2007-06-13 21:55:00 (0,0) Piotr Goczał Prace zostały rozpoczęte. 2007-06-13 22:49:00 (0,0) Piotr Goczał O godz 22:12 łącze w relacji Łódź-Częstochowa zostało zamknięte. Ruch został skierowany na ścieżki obejściowe. 2007-06-14 00:42:00 (0,0) Piotr Goczał W związku z awarią sieci Pionier (ticket PIONIER.20070614-1), na łącze Łódź-Częstochowa został ponownie skierowany ruch produkcyjny. 2007-06-19 09:53:00 (0,0) Witold Bogacki W związku z kontynuacja testów działania nowego oprogramowania, dzisiaj na godz. 12.00 zaplanowano wyłączenie połączenia Poznań-Zielona Góra. Prace potrwają około 2 godzin i nie powinny spowodować przerw w łącznosci. 2007-06-19 14:29:00 (0,0) Witold Bogacki Prace przeniesiono na godz. 14.15. 2007-06-19 15:35:00 (0,0) Witold Bogacki Prace rozpoczęły się o godz. 14:18. Wszystkie połączenia PIONIER działają poprawnie po wyłączeniu łącza. 2007-06-19 17:35:00 (0,0) Piotr Wilk Prace zostały zakończone o godzinie 17:00. 2007-06-26 17:13:00 (0,0) Witold Bogacki Dalsze testy będą prowadzone w-g następującego planu: 27.06 Poz-War-ch6, 28.06 War-Rad-ch2, 02.07 War-Lod-ch1, 03.07 Byd-Tor-ch2. Wyłączenie poszczególnych kanałów nastąpi od godz. 10.00 do 15.00. Prace nie powinny spowodować przerw w łącznosci. 2007-06-27 11:13:00 (0,0) Tomasz Berner Zgodnie z planem testów o 10:09 wyłączono kanał 6 w relacji Poznań-Warszawa. 2007-06-27 16:29:00 (0,0) Krzysztof Władyszewski Kanał 6 został ponownie włączony o godz. 16:03.