17. 11. 2022 dnes ráno byl proveden upgrade správcovské konzole vCenter. Nyní máme verzi 7.0 a dále bude probíhat postupný upgrade jednotlivých hostů.

26. 9. 2022 mezi 11:00 - 18:00 proběhne výměna síťových prvků v brněnské lokalitě DC-VI. Součástí výměny je přeuspořádání zařízení v racku a přepojení uplinků do nové páteřní sítě s kapacitou 2x100GE. Virtuální servery budou v předstihu bez výpadkově migrovány do druhé lokality.

5. 9. 2022 mezi 19:00 - 23:00 proběhne fyzický přesun veškeré technologie v pražském datacentru DC-Tower (ČRa) do vyhrazeného privátního sálu Cesnetu. Virtuální servery budou v předstihu bez výpadkově migrovány do druhé lokality. Během víkendu proběhne přesun routingu všech našich sítí, zde může dojít k několika krátkým výpadkům síťové konektivity.

22. 5. 2022 ve 21:20 při krátkodobém výpadku primárního napájení došlo k selhání záložního zdroje napájení v brněnském datacentru. To vedlo k neřízenému pádu celého datového sálu. Napájení obnovili až přivolaní technici cca půl hodiny před půlnocí. Příčiny selhání jsou předmětem dalšího vyšetřování. V našem případě šlo o pád 247 v té době běžících virtuálních serverů. Po obnovení napájení vše nastartovalo a nedošlo k žádným ztrátám dat.

20. 4. 2022 - na čtvrtek 21.4.2022 je v čase 18:00 - 21:00 naplánován servisní zásah v pražském datacentru VI. Konkrétně jde o upgrade OS síťových prvků spojený s bezpečnostními aktualizacemi a opravou chyb v SW. Celá síťová infrastruktura je zdvojená a práce by měly mít pouze minimální dopad na provoz, omezena bude redundance celé DC/VI infrastruktury. UPDATE: Upgrade byl úspěšně ukončen ve 20:45. Během upgradu jsme se střetli s paralelní akcí na páteřní inrastruktuře a v době 19:00 - 19:30 se latence mezi pražským a brněnským uzlem pohybovala kolem 100ms.

4. 3. 2022 - na středu 9. 3. 2022 od 6:00 hodin je naplánován servisní zásah v brněnském datacentru VI. Konkrétně provedeme upgrade FW UCS. Celá infrastruktura je zdvojená a práce by měly mít pouze minimální dopad na provoz (omezení redundance, případně snížení datové propustnosti). UPDATE: Upgrade byl úspěšně dokončen v 7:00.

29. 9. 2021 - na středu 29. 9. 2021 od 15:00 hodin je naplánován servisní zásah v brněnském datacentru VI. Konkrétně provedeme upgrade OS síťových prvků. Celá síťová infrastruktura je zdvojená a práce by měly mít pouze minimální dopad na provoz (omezení redundance, případně snížení datové propustnosti). UPDATE: Upgrade byl úspěšně ukončen v 16:30.

30. 11. 2020 - V týdnu od 30. 11. 2020 započnou práce na přesunu části infrastruktury do prostor serverovny v DC Toweru (ČRa). V první fázi dojde k migraci virtuálních strojů v subnetu 78.128.211.0/24 do druhého datacentra v Brně. Půjde o migraci živých strojů, tedy bez výpadku. Dále bude převeden routing této sítě z pražského uzlu na brněnský, zde dojde ke krátkému výpadku síťové konektivity v řádu sekund. V dalším kroku bude nutné převést diskové pole ze sálu v Zikově ulici do prostor DC Tower. Po oživení a odzkoušení celého zapojení bude následovat zpětná migrace virtuálních strojů z Brna do Prahy. Tentokrát již do nového datacentra v DC Tower. Během migrací se můžete občas setkat se sníženým výkonem či zvýšenou odezvou u strojů, ale pokud půjde vše hladce, nemělo by dojít k žádnému výpadku služeb.

8. 9. 2020 - Na čtvrtek 10. 9. 2020 v odpoledních hodinách je naplánován servisní zásah v brněnském datacentru VI. Dodavatel zde provede výměnu jednoho síťového prvku (fabric interconnectu) v Cisco UCS šasi. Důvodem jsou potíže na jednom z procesorů, které se nepodařilo vyřešit upgradem firmware. Jde o zdvojený prvek a při jeho výměně by nemělo dojít k žádnému omezení provozu. UPDATE: Výměna síťového prvku i následné testy proběhly v pořádku. Vše je zpět v plně redundantním stavu.

2. 6. 2020 - Na čtvrtek 4. 6. 2020 je plánován upgrade správcovské konzole vCenter. Upgrade je plánován na brzké ranní hodiny a neměl by zabrat déle než jednu hodinu. Pokud se s vaším požadavkem trefíte do tohoto časového okna, mějte prosím strpení a vyzkoušejte to později. UPDATE: Upgrade vCentera na verzi 6.7 se zdařil. Nyní se můžeme pustit i do postupného upgradu jednotlivých hypervizorů. Hlavní změna pro vás spočívá ve změně grafického rozhraní, nyní je již plně podporovaná a preferovaná varianta v HTML5.

28. 4. 2020 - Na dnešek je od 15 hodin naplánován upgrade firmware diskových polí virtualizační platformy. Jde o opravu problému, který způsobil neočekávaný restart minulý týden, a proto jsme tuto operaci naplánovali na první možný termín. V 15 hodin začneme na pražské lokalitě, a pokud vše proběhne jak má, naplánujeme stejnou operaci i v Brně. UPDATE: Update diskového pole v Praze proběhl bez problémů. V druhé lokalitě se bohužel projevila nekonzistence z minulého výpadku a při restartu vzdálené repliky došlo k pádu virtuálních serverů v Brně. Všechny virtuální stroje v Brně bylo třeba restartovat a při té příležitosti jsme aktualizovali i druhé diskové pole. Provoz byl obnoven kolem 21:00 hodiny.

24. 4. 2020 - Dnes v 19:20 došlo k pádu jednoho řadiče brněnského diskového pole a automatický fail-over nezafungoval jak měl. Došlo k výpadku dvou produkčních datastorů což odpovídá přibližně polovině virtuálních strojů běžících v této lokalitě. Při výpadku nedošlo k žádné ztrátě dat, dotčené virtuální stroje byly restartovány a přibližně v 22:30 byl provoz plně obnoven.

27. 11. 2019 - Ve čtvrtek 28. 11. a 5. 12. 2019 proběhne upgrade firmware serverové platformy Cisco UCS v Praze. Důvodem je podpora novějšího hardwaru a bezpečnostní aktualizace. Veškeré práce proběhnou za plného provozu a nemělo by dojít k žádnému dopadu na běžící služby. UPDATE: Upgrade pražského uzlu proběhl bez problémů. Nyní máme nasazen nejnovější firmware.

18. 11. 2019 - V úterý 19. 11. 2019 proběhne upgrade firmware serverové platformy Cisco UCS v Brně. Důvodem je podpora novějšího hardwaru a bezpečnostní aktualizace. Veškeré práce proběhnou za plného provozu a nemělo by dojít k žádnému dopadu na běžící služby. UPDATE: Upgrade brněnského uzlu proběhl bez problémů.

3. 9. 2019 – Dnes bude mezi 6 a 7 hodinou ranní probíhat upgrade operačního systému síťových prvků v brněnském datacentru. Tento servisní zásah je plánován jako bez výpadkový a neměli byste zaznamenat žádný výpadek služeb. Síťová infrastruktura je zdvojená, a pokud bude vše probíhat dle plánu, bude vždy zajištěna konektivita, alespoň jednou cestou. UPDATE: Upgrade proběhl bez problémů a příští týden 10. 9. 2019 budeme mezi 6 a 7 hodinou ranní pokračovat v pražském datacentru. UPDATE: Upgrade pražského uzlu proběhl bez problémů.

25. 7. 2019 - Na dnešek je od 15 hodin naplánován upgrade primárních diskových polí virtualizační platformy. Jde o opravu problému, který způsobil neočekávaný restart minulý týden, a proto jsme tuto operaci naplánovali na první možný termín. V 15 hodin začneme na brněnské lokalitě, a pokud vše proběhne jak má, budeme dále pokračovat i v Praze. UPDATE: Upgrade diskového pole neproběhl úplně bez problémů. Zatímco v Brně vše šlapalo dle plánu, v Praze se během upgradu projevila stejná chyba, která minulý týden zapříčinila výpadek. Opět došlo k problému při přebírání rolí a odpojení jednoho datastoru, nezbývalo než cca 50 postižených virtuálních strojů restartovat.

17. 7. 2019 – V 9:30 došlo ke druhému neočekávanému restartu kontroléru pražského diskového pole. Zatímco noční restart pole ustálo, ten dopolední způsobil nedostupnost všech hostovaných datastorů. Po nastartování pole se přibližně polovina strojů vzpamatovala (byly ve stavu pozastavených diskových operací „freeze“), druhou část strojů jsme museli restartovat (cca 50). Dodavatel analyzoval logy a objevil příčinu, jde o chybu, která je již v poslední verzi firmware opravena. Z toho důvodu provedeme začátkem příštího týden k upgrade pražského i brněnského diskového pole.

26. 4. 2019 - Ve 2:00 došlo k přehřátí počítačového sálu v Brně a obsluha jej musela celý vypnout. Díky tomu došlo k výpadku všech 112 virtuálních serverů zde běžících. Klimatizace byla ještě v noci opravena a ve 4:00 bylo obnoveno napájení sálu. O 28 minut později jsme mohli konstatovat, že vše běží! Při neřízeném výpadku nedošlo k žádným ztrátám na datech ani na HW.

1. 12. 2018 - V letošním roce se nám podařilo vysoutěžit a v obou lokalitách nasadit nová All-Flash disková pole Dell SC5020F. Tato pole jsou osazena SSD disky s celkovou hrubou kapacitou 50TB. Díky technologii deduplikace a komprese se využitelná kapacita bude pohybovat daleko výše. K datu 1. 12. 2018 byly všechny virtuální servery běžící na brněnské virtualizační platformě přemigrovány na nová disková pole. Pražský uzel budeme migrovat během ledna příštího roku.

30. 10. 2018 – Včera večer došlo na brněnském diskovém poli k poruše záložní baterie v controlleru diskového pole. Pole se díky tomu přeplo do write-through režimu a běží s významnou degradací výkonu. Na odstranění problému pracujeme.

11. 10. 2018 - Tento a příští týden probíhá postupný SW update VMware vSphere komponent, tyto operace jsou pro uživatele transparentní. Jedinou viditelnou operací bude update samotného vCentra, který je naplánován na dopoledne v pondělí 15. 10. Pokud se náhodou svým požadavkem trefíte do tohoto údržbového okna, mějte prosím strpení a zkuste to později. Celá operace by neměla trvat déle než hodinu. V případě naléhavých požadavků využijte kontaktní body.

14. 6. 2018 - Na pátek 15. 6. 2018 je plánován update správcovské konzole vCenter. Update by neměl zabrat déle než jednu hodinu. Pokud se s vaším požadavkem trefíte do tohoto časového okna, mějte prosím strpení a vyzkoušejte to později. UPDATE: Update proběhl úspěšně, správcovská konzole vCenter je zpět a v plné síle.

24. 5. 2018 - Během upgradu firmware na brněnské části virtualizační platformy, jsme narazili na nepříjemný bug spojený s Cisco UCS a vMware vSphere 6.5. Při rebootu Fabric Interconnectu nefunguje failover viz KB2149969. Důsledkem byl několikaminutový výpadek internetové konektivity u částí virtuálních serverů. Doinstalovali jsme opravený síťový ovladač a při té příležitosti rovnou aktualizovali všechny hosty na poslední update vSphere 6.5 Update2. Následné testy potvrdily opětovnou plnou funkčnost HA. Během následujících dní nainstalujeme stejné aktualizace i do pražského datacentra.

15. 5. 2018 - Ve čtvrtek 17. 5. 2018 proběhne upgrade firmware serverové platformy Cisco UCS v Brně. Důvodem je podpora novějšího hardwaru a bezpečnostní aktualizace. Veškeré práce proběhnou za plného provozu a nemělo by dojít k žádnému dopadu na běžící služby.

7. 9. 2017 – V období od 7.9. do 8.10.2017 budou na virtualizační platformě probíhat penetrační testy Forenzní laboratoře Cesnetu FLAB. Cílem je kontrola zabezpečení platformy jako celku. U vybraných služeb bude dále testována i odolnosti před vnějšími útoky. Během testů může dojít ke krátkodobému zhoršení odezvy u některých služeb. Pokud zpozorujete nějaké omezení ve službách běžících na virtualizační platformě, neváhejte nás o tom informovat. Ke konci října dojde k vyhodnocení testů, o jehož výsledku vás budeme informovat.

4. 9. 2017 - Minulý týden byl dokončen postupný upgrade všech VMware vSphere hypervizorů na nejnovější verzi 6.5.0 update 1. Celá infrastruktura nyní běží na posledních stabilních verzích.

20. 7. 2017 - Na středu 26. 7. 2017 je plánována odstávka správcovské konzole vCenter. Během dopoledne bude probíhat upgrade na novou verzi 6.5. V případě neodkladné potřeby přístupu k virtuálnímu serveru nás kontaktujte emailem či telefonicky. UPDATE: Upgrade byl úspěšný. Nyní je k dispozici nová verze vSphere web clienta včetně HTML5 rozhraní. Postup přístupu ke konzoli naleznete v návodech.

30. 5. 2017 - Návrat pražského virtualizačního uzlu do plného produkčního režimu. Součástí odstávky byla změna designu sítě a migrace na nové síťové prvky. Nyní jsou obě virtualizační platformy odděleny od páteřní infrastruktury CESNET a jsou tak plně ve správě virtualizační skupiny. Ve čtvrtek 1. 6. 2017 v 6:00 proběhne návrat směrování produkční sítě 78.128.211.0/24, 2001:718:1:1F::1/64 zpět do Prahy. Změna si vyžádá krátký výpadek IP konektivity virtuálních serverů v této síti (v řádu jednotek až desítek sekund).

18. 5. 2017 - V dopoledních hodinách (9-12), budou na pražské virtualizační platformě provedeny poslední HA testy, před navrácením do plně produkčního režimu. Během testů se mohou vyskytnout krátkodobé výpadky konektivity zde běžících virtuálních serverů. V drtivé většině jde o testovací stroje. UPDATE: Testy byly úspěšně dokončeny.

13. 3. 2017 - Byla spuštěna proaktivní kontrola stavu virtuálních serverů a v případě blížícího se potenciálního problému je jednou týdně správci zaslán email. Podrobnosti v návodech.

11-12. 1. 2017 - Proběhne plánová odstávka virtualizační platformy v Praze, při níž dojde k přepojení kabeláže na nové síťové prvky. Produkční virtuální stroje jsou přestěhovány do druhé lokality a odstávka se jich nijak nedotkne. UPDATE: Akce byla úspěšně dokončena.

19. 9. 2016 - Převedení druhého virtualizačního uzlu v Brně do produkčního režimu. Síťová infrastruktura je připojena redundantně do dvou páteřních uzlů CESNET (na MUNI a VUT) a je odolná vůči výpadku jakékoli jednotlivé části. Všechny možné výpadky byly před oficiálním spuštění otestovány. Brněnská virtualizační infrastruktura je v tuto chvíli preferovaná při zřizování nových strojů.

10. 9. 2016 - V 18:20 došlo u některých hypervizorů k odpojení datastorů, opětovného připojení jsme dosáhli do 30 minut od prvního hlášení výpadku. Přesto mohlo dojít u některých strojů k problémům, za které se omlouváme. Příčinou problému byl zásah síťařů na nepřímo souvisejícím propoji.

19. 6. 2016 - Při výměně break-out kabelů mezi přepínači nexus a UCS přestal správně fungovat jeden z fabric modulů Cisco UCS. V době od 17:50 do 20:02 byly některé virtuální stroje částečně nebo úplně bez konektivity. Zda problém souvisel s užitím break-out kabelů je předmětem dalšího šetření. Prosíme všechny správce virtualizovaných strojů, aby zkontrolovali jejich funkčnost.

23. 5. 2016 - Před 20 hodinou došlo k výpadku jednoho síťového prvku u virtualizační platformy. Bohužel jeho následkem došlo k fatální chybě na Fabricu Cisco UCS a ten způsobil přibližně hodinovou nedostupnost virtuálních strojů z internetu. Prosíme všechny správce virtuální serverů o kontrolu hostovaných služeb. O detailech výpadku budeme dále informovat.

28. 4. 2016 - Mezi 10. a 11. hodinou proběhne plánovaná profylaxe síťových prvků virtualizační platformy. Údržba je plánována jako bez výpadková a nemělo by dojít k žádnému omezení služeb. UPDATE: Akce byla úspěšně dokončena.

19. 2. 2016 - Na webu virtualizace.cesnet.cz byl zpřístupněn nový formulář pro žádosti o virtuální server. Pokud vám ve formuláři něco chybí, dejte nám vědět, rádi jej upravíme k vaší spokojenosti.

1. 2. 2016 - Při plánovaném upgradu síťových prvků došlo včera po 18 hodině k potížím na virtualizační platformě, které vyústilo v neplánovaný restart několika virtuálních serverů a krátkému výpadku konektivity do internetu. Všechny služby byly opět zprovozněny během večera téhož dne.

1. 1. 2016 - Oficiální zahájení poskytování služeb virtualizačni platformy a jmenování týmu správců virtualizační platformy