Ako vybudovať spoľahlivú infraštruktúru pre Peppol Access Point
Príbeh jednej noci, keď sme úmyselne vypli vlastný produkčný server
- Prevzatie prevádzky
- 3 min 37 s
- Zásah človeka
- žiadny
- Stratené potvrdené zápisy
- 0
- Cieľová dostupnosť
- 99,9 %
Je 1:35 v noci. Mám otvorené tri terminály a v prvom je napísaný príkaz, ktorý okamžite vypne hlavný produkčný server ePošťáka. Nie reštart a nie elegantné vypnutie. Server zhasne, ako keby niekto v dátovom centre vytiahol kábel zo zásuvky.
Cez ten server práve chodia faktúry slovenských firiem.
Stlačím Enter.
Prečo by to niekto robil
Od 1. januára 2027 posielajú slovenské firmy faktúry elektronicky cez sieť Peppol. Prístupový bod (Access Point) je pre ne pošta. Keď nebeží, faktúry neodídu, odosielateľ nedostane doklad o doručení (MLS) a hlásenia na Finančnú správu meškajú. Pre účtovníčku v piatok poobede to nie je „technický problém“, ale zastavená fakturácia.
Keď sme začínali, odpoveď na otázku „čo keď spadne server“ bola rovnaká ako takmer všade: máme zálohy. Lenže záloha chráni pred stratou dát, nie pred výpadkom. Keď server spadne, niekto to musí zbadať, vstať od stola alebo z postele, pripraviť nový stroj, obnoviť naň dáta, preniesť certifikát a presmerovať doménu. To sú hodiny. A všetko, čo prišlo od poslednej zálohy, je preč. Pri faktúrach to znamená doklady, ktoré odosielateľ považuje za doručené, ale vy ich nemáte.
Každý server raz prestane bežať. Zlyhá disk, poskytovateľ robí údržbu, bezpečnostná aktualizácia chce reštart, vypadne sieť alebo sa niekto pomýli v príkaze. Otázka nie je, či sa to stane, ale čo sa stane potom.
OpenPeppol od prístupového bodu vyžaduje dostupnosť 99,5 %. To je takmer štyri hodiny výpadku za mesiac. Väčšina si preto povie, že aplikáciu nasadí na jeden VPS a požiadavku splní. Lenže čo keď príde prvý klient, ktorý potrebuje spoľahlivú prevádzku, a 99,5 % mu jednoducho nestačí? Softvérová firma, ktorá cez prístupový bod posiela faktúry tisícov svojich zákazníkov, nebude čakať štyri hodiny, kým niekto server opraví.
My sme chceli dostupnosť 99,9 %. To je najviac 43 minút výpadku za mesiac, vrátane porúch, údržby a vydávania nových verzií. S jedným serverom sa to nedá sľúbiť, len dúfať.
Dva servery nestačia
Prvá intuícia je jednoduchá: dva servery, a keď jeden spadne, druhý prevezme prevádzku. Problém je v slove „keď“.
Záložný server prestane vidieť hlavný. Spadol hlavný, alebo len vypadlo spojenie medzi nimi? Zvnútra sa to rozlíšiť nedá. Ak záloha prevezme prevádzku a hlavný medzitým žije, máte dva prístupové body, ktoré si obidva myslia, že sú ten pravý. Faktúry sa rozdelia medzi dve databázy a nikto si to nevšimne, kým účtovník pri uzávierke nezistí, že mu chýbajú doklady.
Toto je najzákernejšia chyba záložných riešení a nevidno ju na žiadnom grafe dostupnosti. Preto má ePošťák dva produkčné servery a k nim tretie, nezávislé miesto v inom dátovom centre, ktoré situáciu rozsúdi. A preto platí pravidlo, od ktorého neustupujem: pri akejkoľvek pochybnosti sa radšej neprepne nič a ozve sa človek. Mylné prepnutie je horšie než pár minút výpadku.
Zvyšok bolo veľa práce, ktorú zákazník nikdy neuvidí. Záložný server musí mať v každej sekunde tie isté dáta ako hlavný, rovnakú verziu aplikácie a rovnakú identitu v sieti Peppol. Kým hlavný beží, nesmie obsluhovať nikoho a nesmie mať prístup k ničomu, čo by sa dalo zneužiť. A musí vedieť prevziať prevádzku sám, o tretej v noci, keď všetci spia.
Prvý pokus
Prvé ostré cvičenie sme robili 7. novembra. Ohlásené, s pripraveným návratom a s rezervou na to, že sa niečo pokazí.
Pokazilo sa. Napočítal som deväť vecí, ktoré by v skutočnom incidente zastavili prevzatie alebo návrat. Nič z toho by neodhalil žiadny test v laboratóriu, pretože išlo o veci, ktoré sa ukážu len na skutočných serveroch, so skutočnými dátami a skutočným časovaním. Opravil som ich a každú opravu otestoval. Až potom som automatiku pustil bežať samostatne.
A potom prišla táto noc.
1:35
Server zhasol. V druhom termináli bežala sonda, ktorá do databázy zapisovala päťkrát za sekundu a pri každom zápise si poznamenala, či ho server potvrdil. Posledný potvrdený zápis mal presnú adresu v databáze. Ak sa po prevzatí niečo stratí, uvidím to na bajt.
V treťom termináli som sledoval záložný server. Prvých niekoľko desiatok sekúnd sa nedialo nič a tak to má byť. Systém overoval, či hlavný server naozaj spadol, alebo sa len na chvíľu odmlčal. Potom sa rozbehol: izolácia starého servera, databáza, fronty, súbory, prístupový bod, aplikácia a nakoniec doména.
4 minúty 21 sekúnd po vypnutí obsluhoval zákazníkov záložný server. Nikto sa ničoho nedotkol.
Potom som porovnal dáta. Posledný zápis, ktorý hlavný server stihol potvrdiť, bol presne posledný zápis, s ktorým začal záložný. Nula stratených zápisov.
Vrátil som prevádzku späť na hlavný server a znova zapol automatiku.
Dá sa to rýchlejšie
Štyri minúty sú dobrý výsledok. Lenže keď som si prevzatie rozložil po sekundách, uvidel som niečo, čo ma rušilo: veľkú časť času nezabrala práca, ale čakanie. Systém na niektorých miestach čakal na veci, ktoré už nemohli prísť. Na iných sa pýtal príliš zriedka, či je hotovo, hoci hotovo bolo dávno.
Také veci nenájdete čítaním kódu. Nájdete ich, len keď si ostrý pád zmeriate a pozriete sa, kde sekundy miznú.
Každú zmenu som otestoval v izolovanom laboratóriu. Overoval som aj zlé scenáre, keď sú dáta poškodené alebo neúplné, a systém z nich musí buď všetko správne obnoviť, alebo odmietnuť pokračovať. Potom išli zmeny na nezávislú kontrolu kódu a až nakoniec na servery.
Jednu vec som zámerne neskrátil: čas, počas ktorého musí byť hlavný server preukázateľne mŕtvy, kým sa prevzatie vôbec začne. To je poistka proti mylnému prepnutiu. Tých pár sekúnd za ňu stojí.
2:27
Rovnaký príkaz, rovnaký server, rovnaká sonda.
3 minúty 37 sekúnd. O 44 sekúnd rýchlejšie, opäť bez zásahu človeka. Posledný potvrdený zápis na hlavnom serveri a prvý bod záložného sa opäť zhodovali na bajt.
| Meranie | 1:35 | 2:27 |
|---|---|---|
| Od pádu po obsluhu zákazníkov zo záložného servera | 4 min 21 s | 3 min 37 s |
| Zásah človeka | žiadny | žiadny |
| Stratené potvrdené zápisy | 0 | 0 |
Potom sa prevádzka znova vrátila na hlavný server.
Čo som sa naučil
Spoľahlivosť sa nedá dokázať prezentáciou. Diagram s dvoma servermi a šípkou nakreslí každý. Dokáže ju až ostrý pád, ktorý niekto zmeria. Preto testujeme na produkcii, ohlásene, a nie iba v laboratóriu.
Peppol nie je webstránka. Webstránku zdvojíte za popoludnie. Prístupový bod nesie certifikát, doklady o doručení, evidenciu odoslaných správ a hlásenia na Finančnú správu. Po prevzatí musí pokračovať presne tam, kde skončil hlavný: žiadna správa dvakrát, žiadne hlásenie navyše a žiadne chýbajúce.
Návrat je ťažší než útek. O prevzatí prevádzky sa píše veľa, o ceste späť skoro nič. Vrátiť hlavný server bez druhého výpadku a bez toho, aby jeho staré dáta prepísali nové, dalo viac práce než samotné prevzatie.
Nikdy dva naraz. Každá vrstva systému je postavená tak, aby záložný server nezačal obsluhovať, kým nie je isté, že hlavný už nemôže. To platí pri páde aj pri návrate.
Každý test končí zoznamom opráv. Ak cvičenie neodhalilo nič, bolo zle navrhnuté. Každý nález má záznam v registri bezpečnosti informácií a opravu, ktorú overil ďalší ostrý test.
Nové verzie nesmú byť výpadok. Dostupnosť nekazia len poruchy, ale aj vydania. Nová verzia ePošťáka sa nasadzuje bez prerušenia prevádzky a vydanie, ktoré neprejde testami, sa na servery vôbec nedostane.
Čo z toho má zákazník
Účtovníčka, e-shop, výrobná firma ani softvérová firma, ktorá k nám pripája svoj systém, nemusí vedieť nič z toho, čo je vyššie. Stačí jej vedieť toto:
- faktúra, ktorú ePošťák prijal, sa nestratí ani pri páde servera;
- výpadok sa meria v minútach, nie v hodinách, a rieši ho systém sám, aj o pol tretej v noci;
- za každým tvrdením je meranie, nie sľub.
Ja som tú noc šiel spať neskoro. Server nespí nikdy.