Preskočiť na obsah

Ako vybudovať spoľahlivú infraštruktúru pre Peppol Access Point

Príbeh jednej noci, keď sme úmyselne vypli vlastný produkčný server

Prevzatie prevádzky
3 min 37 s
Zásah človeka
žiadny
Stratené potvrdené zápisy
0
Cieľová dostupnosť
99,9 %

Je 1:35 v noci. Mám otvorené tri terminály a v prvom je napísaný príkaz, ktorý okamžite vypne hlavný produkčný server ePošťáka. Nie reštart a nie elegantné vypnutie. Server zhasne, ako keby niekto v dátovom centre vytiahol kábel zo zásuvky.

Cez ten server práve chodia faktúry slovenských firiem.

Stlačím Enter.

Prečo by to niekto robil

Od 1. januára 2027 posielajú slovenské firmy faktúry elektronicky cez sieť Peppol. Prístupový bod (Access Point) je pre ne pošta. Keď nebeží, faktúry neodídu, odosielateľ nedostane doklad o doručení (MLS) a hlásenia na Finančnú správu meškajú. Pre účtovníčku v piatok poobede to nie je „technický problém“, ale zastavená fakturácia.

Keď sme začínali, odpoveď na otázku „čo keď spadne server“ bola rovnaká ako takmer všade: máme zálohy. Lenže záloha chráni pred stratou dát, nie pred výpadkom. Keď server spadne, niekto to musí zbadať, vstať od stola alebo z postele, pripraviť nový stroj, obnoviť naň dáta, preniesť certifikát a presmerovať doménu. To sú hodiny. A všetko, čo prišlo od poslednej zálohy, je preč. Pri faktúrach to znamená doklady, ktoré odosielateľ považuje za doručené, ale vy ich nemáte.

Každý server raz prestane bežať. Zlyhá disk, poskytovateľ robí údržbu, bezpečnostná aktualizácia chce reštart, vypadne sieť alebo sa niekto pomýli v príkaze. Otázka nie je, či sa to stane, ale čo sa stane potom.

Údržba servera. Ak beží len jeden, faktúry počas nej čakajú.

OpenPeppol od prístupového bodu vyžaduje dostupnosť 99,5 %. To je takmer štyri hodiny výpadku za mesiac. Väčšina si preto povie, že aplikáciu nasadí na jeden VPS a požiadavku splní. Lenže čo keď príde prvý klient, ktorý potrebuje spoľahlivú prevádzku, a 99,5 % mu jednoducho nestačí? Softvérová firma, ktorá cez prístupový bod posiela faktúry tisícov svojich zákazníkov, nebude čakať štyri hodiny, kým niekto server opraví.

My sme chceli dostupnosť 99,9 %. To je najviac 43 minút výpadku za mesiac, vrátane porúch, údržby a vydávania nových verzií. S jedným serverom sa to nedá sľúbiť, len dúfať.

Dva servery nestačia

Prvá intuícia je jednoduchá: dva servery, a keď jeden spadne, druhý prevezme prevádzku. Problém je v slove „keď“.

Záložný server prestane vidieť hlavný. Spadol hlavný, alebo len vypadlo spojenie medzi nimi? Zvnútra sa to rozlíšiť nedá. Ak záloha prevezme prevádzku a hlavný medzitým žije, máte dva prístupové body, ktoré si obidva myslia, že sú ten pravý. Faktúry sa rozdelia medzi dve databázy a nikto si to nevšimne, kým účtovník pri uzávierke nezistí, že mu chýbajú doklady.

Toto je najzákernejšia chyba záložných riešení a nevidno ju na žiadnom grafe dostupnosti. Preto má ePošťák dva produkčné servery a k nim tretie, nezávislé miesto v inom dátovom centre, ktoré situáciu rozsúdi. A preto platí pravidlo, od ktorého neustupujem: pri akejkoľvek pochybnosti sa radšej neprepne nič a ozve sa človek. Mylné prepnutie je horšie než pár minút výpadku.

Zvyšok bolo veľa práce, ktorú zákazník nikdy neuvidí. Záložný server musí mať v každej sekunde tie isté dáta ako hlavný, rovnakú verziu aplikácie a rovnakú identitu v sieti Peppol. Kým hlavný beží, nesmie obsluhovať nikoho a nesmie mať prístup k ničomu, čo by sa dalo zneužiť. A musí vedieť prevziať prevádzku sám, o tretej v noci, keď všetci spia.

Prvý pokus

Prvé ostré cvičenie sme robili 7. novembra. Ohlásené, s pripraveným návratom a s rezervou na to, že sa niečo pokazí.

Pokazilo sa. Napočítal som deväť vecí, ktoré by v skutočnom incidente zastavili prevzatie alebo návrat. Nič z toho by neodhalil žiadny test v laboratóriu, pretože išlo o veci, ktoré sa ukážu len na skutočných serveroch, so skutočnými dátami a skutočným časovaním. Opravil som ich a každú opravu otestoval. Až potom som automatiku pustil bežať samostatne.

A potom prišla táto noc.

1:35

Server zhasol. V druhom termináli bežala sonda, ktorá do databázy zapisovala päťkrát za sekundu a pri každom zápise si poznamenala, či ho server potvrdil. Posledný potvrdený zápis mal presnú adresu v databáze. Ak sa po prevzatí niečo stratí, uvidím to na bajt.

V treťom termináli som sledoval záložný server. Prvých niekoľko desiatok sekúnd sa nedialo nič a tak to má byť. Systém overoval, či hlavný server naozaj spadol, alebo sa len na chvíľu odmlčal. Potom sa rozbehol: izolácia starého servera, databáza, fronty, súbory, prístupový bod, aplikácia a nakoniec doména.

4 minúty 21 sekúnd po vypnutí obsluhoval zákazníkov záložný server. Nikto sa ničoho nedotkol.

Potom som porovnal dáta. Posledný zápis, ktorý hlavný server stihol potvrdiť, bol presne posledný zápis, s ktorým začal záložný. Nula stratených zápisov.

Vrátil som prevádzku späť na hlavný server a znova zapol automatiku.

Dá sa to rýchlejšie

Štyri minúty sú dobrý výsledok. Lenže keď som si prevzatie rozložil po sekundách, uvidel som niečo, čo ma rušilo: veľkú časť času nezabrala práca, ale čakanie. Systém na niektorých miestach čakal na veci, ktoré už nemohli prísť. Na iných sa pýtal príliš zriedka, či je hotovo, hoci hotovo bolo dávno.

Také veci nenájdete čítaním kódu. Nájdete ich, len keď si ostrý pád zmeriate a pozriete sa, kde sekundy miznú.

Každú zmenu som otestoval v izolovanom laboratóriu. Overoval som aj zlé scenáre, keď sú dáta poškodené alebo neúplné, a systém z nich musí buď všetko správne obnoviť, alebo odmietnuť pokračovať. Potom išli zmeny na nezávislú kontrolu kódu a až nakoniec na servery.

Jednu vec som zámerne neskrátil: čas, počas ktorého musí byť hlavný server preukázateľne mŕtvy, kým sa prevzatie vôbec začne. To je poistka proti mylnému prepnutiu. Tých pár sekúnd za ňu stojí.

2:27

Rovnaký príkaz, rovnaký server, rovnaká sonda.

3 minúty 37 sekúnd. O 44 sekúnd rýchlejšie, opäť bez zásahu človeka. Posledný potvrdený zápis na hlavnom serveri a prvý bod záložného sa opäť zhodovali na bajt.

Meranie1:352:27
Od pádu po obsluhu zákazníkov zo záložného servera4 min 21 s3 min 37 s
Zásah človekažiadnyžiadny
Stratené potvrdené zápisy00

Potom sa prevádzka znova vrátila na hlavný server.

Čo som sa naučil

Spoľahlivosť sa nedá dokázať prezentáciou. Diagram s dvoma servermi a šípkou nakreslí každý. Dokáže ju až ostrý pád, ktorý niekto zmeria. Preto testujeme na produkcii, ohlásene, a nie iba v laboratóriu.

Peppol nie je webstránka. Webstránku zdvojíte za popoludnie. Prístupový bod nesie certifikát, doklady o doručení, evidenciu odoslaných správ a hlásenia na Finančnú správu. Po prevzatí musí pokračovať presne tam, kde skončil hlavný: žiadna správa dvakrát, žiadne hlásenie navyše a žiadne chýbajúce.

Návrat je ťažší než útek. O prevzatí prevádzky sa píše veľa, o ceste späť skoro nič. Vrátiť hlavný server bez druhého výpadku a bez toho, aby jeho staré dáta prepísali nové, dalo viac práce než samotné prevzatie.

Nikdy dva naraz. Každá vrstva systému je postavená tak, aby záložný server nezačal obsluhovať, kým nie je isté, že hlavný už nemôže. To platí pri páde aj pri návrate.

Každý test končí zoznamom opráv. Ak cvičenie neodhalilo nič, bolo zle navrhnuté. Každý nález má záznam v registri bezpečnosti informácií a opravu, ktorú overil ďalší ostrý test.

Nové verzie nesmú byť výpadok. Dostupnosť nekazia len poruchy, ale aj vydania. Nová verzia ePošťáka sa nasadzuje bez prerušenia prevádzky a vydanie, ktoré neprejde testami, sa na servery vôbec nedostane.

Čo z toho má zákazník

Účtovníčka, e-shop, výrobná firma ani softvérová firma, ktorá k nám pripája svoj systém, nemusí vedieť nič z toho, čo je vyššie. Stačí jej vedieť toto:

  • faktúra, ktorú ePošťák prijal, sa nestratí ani pri páde servera;
  • výpadok sa meria v minútach, nie v hodinách, a rieši ho systém sám, aj o pol tretej v noci;
  • za každým tvrdením je meranie, nie sľub.

Ja som tú noc šiel spať neskoro. Server nespí nikdy.

Časté otázky

Čo je Peppol Access Point?

Prístupový bod do siete Peppol. Firma cez neho posiela a prijíma elektronické faktúry. Na Slovensku ho od 1. januára 2027 firmy potrebujú na elektronickú fakturáciu medzi sebou.

Prečo nestačí Peppol Access Point na jednom serveri?

Pretože každý server raz prestane bežať: pre poruchu, údržbu poskytovateľa alebo aktualizáciu. Pri jednom serveri trvá výpadok, kým ho niekto opraví, často hodiny. Pri dvoch produkčných serveroch a nezávislom treťom mieste prevezme prevádzku záložný server sám, v ePošťáku za menej ako štyri minúty.

Prečo nestačia dva servery bez tretieho miesta?

Záložný server nevie sám rozlíšiť, či hlavný spadol, alebo len vypadlo spojenie medzi nimi. Ak by vtedy prevzal prevádzku, mohli by bežať dva prístupové body naraz a faktúry by sa rozdelili medzi dve databázy. Tretie, nezávislé miesto takúto situáciu rozsúdi.

Čo znamená dostupnosť 99,9 %?

Služba smie byť mimo prevádzky najviac 43 minút za mesiac, vrátane porúch, údržby a vydávania nových verzií. OpenPeppol vyžaduje od prístupového bodu 99,5 %, čo pripúšťa takmer štyri hodiny výpadku za mesiac.

Môže sa pri páde servera stratiť faktúra?

V ePošťáku nie. Každá potvrdená faktúra je v tej chvíli uložená na viacerých nezávislých miestach. Pri ostrom teste sme to zmerali: stratených zápisov bolo nula.

Musí zákazník po prepnutí na záložný server niečo zmeniť?

Nie. Adresa, Peppol identifikátor aj API zostávajú rovnaké. Prepnutie je pre zákazníka neviditeľné.

Ako často ePošťák testuje prevzatie prevádzky?

Pravidelne, ohláseným ostrým vypnutím hlavného servera, nie iba simuláciou. V laboratóriu sa navyše overujú zlé scenáre, napríklad poškodené alebo neúplné dáta.