Zomerhitte zorgt voor uitval ziekenhuis-epd en cloud-servers
Tijdens de hittegolf van 17 tot en met 19 juli 2022 in het Verenigd Koninkrijk(VK)deed zich een bijzonder, maar ook zorgwekkend fenomeen voor. Door de tot 40 graden Celsius gestegen buitentemperatuur viel het ziekenhuisinformatiesysteem van het Guy’s and St Thomas’ Trust ziekenhuis uit. Het ziekenhuis heeft twee datacenters, één in de Guy’s en één in de St. Thomas locatie. Toch vielen beide uit door de hoge temperatuur. Duidelijk door gebrek aan koeling. Tegelijkertijd vielen ook in het VK servers uit van de Oracle- en van de Google-cloud. Beide tech-bedrijven gaven aan dat er sprake was van een “cooling related failure”. De koeling moest werken boven de ontwerp-grenzen. Omdat zulks niet lukte schakelden systemen zich zelf uit. Nu zijn hoge temparuren in de zomer door de opwarming van de aarde geen zeldzaamheid meer. Met de al meerdere jaren bestaande aandacht voor dit wereldwijde probleem lijkt er sprake van onvoldoende anticipatie.
Consequenties voor ziekenhuis
Als gevolg van de uitval van de ICT-systemen van het ziekenhuis functioneerde er geen elektronisch patiëntdossier meer. Ook kon men uitslagen van laboratorium en beeldvormende diagnostische apparaten, zoals MRI-, CT-scan, röntgenfoto’s etc. niet meer inkijken. Het hele afsprakensysteem lag tevens plat. Het Guy’s hospital heeft trouwens een beddencapaciteit van 400, het St. Thomas’ hospital telt 840 bedden. Voor enkele categorieën van ernstig zieke patiënten moest men een beroep doen op ziekenhuizen in de omgeving. Daar was blijkbaar de koeling van de systemen wel in orde.
Gewaarschuwd
Het ziekenhuis heeft een ziekenhuisinformatiesysteem(ZIS) dat niet meer up-to-date is. In het verslag van een online-vergadering van de Audit- en Risicocommissie van de Raad van Bestuur van 17 november 2021 staat dat de trust “IT-systemen had die niet meer ondersteund worden”, waaronder “IT-infrastructuur die het einde van zijn levensduur had bereikt”. Het bestaande ZIS staat op de nominatie om in 2023 vervangen te worden door het Amerikaanse EPIC. Hoewel de koeling van systemen niet noodzakelijkerwijs samen hoeft te hangen met de ouderdom van het HIS, zal een aanpassing mogelijk uitgebleven zijn vanwege de aanstaande vervanging. Helaas blijkt zoiets dan weer “penny-wise and pound-foolish” te zijn.
Oracle
De uitval bij Oracle had als gevolg dat klanten mogelijk deels geen toegang hadden tot of gebruik konden maken van de Oracle Cloud Infrastructure-resources die worden gehost in de regio VK-Zuid (Londen).
Meer specifiek ging het om Oracle Networking, Oracle Cloud Infrastructure Block Volumes, Oracle Cloud Infrastructure Compute en Oracle Cloud Infrastructure Compute. Uiteindelijk betrof het een uitval van 20 uur die begon op dinsdag 19 juli. Oracle gaf nog aan dat aan het eind van die periode toch een onderdeel van de Oracle Integration cloud nog niet helemaal goed werkte.
Bij Google ging het om het uitvallen van koeling in één van de gebouwen waarin de systemen staan die de zone Europa-West-2 van de Google-cloud huisvest. 25 onderdelen van Google’s activiteiten vielen daardoor weg in het VK. Ook bij Google begon het op 19 juli. Het volledig verhelpen van alle uitval duurde uiteindelijk bijna 39 uur.
Vermijdbare uitval
Uiteindelijk gaat het bij elke hierboven beschreven uitval om een vermijdbare oorzaak. Namelijk het ontbreken van voldoende koelingscapaciteit in de datacentra. Aangezien het klimaatprobleem wijd en zijd bekend is en warmere zomers met soms bloedhete dagen geen uitzondering meer zijn kan en gerust spreken van een ernstig falen van de leiding van de respectievelijke bedrijven.
Teken aan de wand
Datacentra staan bekend als enorme stroomconsumenten met een grote warmteproductie. Soms kan die warmte tot nut zijn en gebruikt worden als stadsverwarming. In de zomer gaat dat niet en is de noodzaak voor meer en krachtiger koelinstallaties eens te meer duidelijk. Hetgeen een nog groter beslag doet op de stroomleverantie.
Grenzen aan de groei
Het klinkt allemaal heel aardig en efficiënt om steeds meer dataopslag en computerdiensten in de cloud te huisvesten. Wat we nu zien gebeuren zijn twee dingen: het onvoldoende anticiperen op te voorziene problemen EN een grens aan wat in de cloud mogelijk is. Het eindeloos uitbreiden van datacenters zorgt ervoor dat we aan gaan lopen tegen grenzen in de groei ervan. Een steeds groter beslag op stroom van bestaande elektriciteitsnetwerken zal niet altijd mogelijk zijn. Overheden en/of stroomleveranciers zullen prioritering van stroomgebruik moeten gaan aangeven in perioden van grote vraag. Ook gaat het al dan niet wenselijk zijn van het huisvesten van nieuwe grote datacenters in gebieden met krappe stroominfrastructuur een rol spelen. Bij steeds toenemende vraag zal men de stroom- infrastructuur niet eindeloos aan kunnen passen.
Wat nu in het VK gebeurde is een niet te veronachtzamen serie van vermijdbare incidenten.
W.J. Jongejan, 26 juli 2022
Afbeelding van Marc Hatot via Pixabay
Recente reacties