Zeer lange nasleep van ICT-uitval ziekenhuis door zomerhitte

Op 26 juli 2022 schreef ik een artikel “Zomerhitte zorgt voor uitval ziekenhuis-EPD en cloud servers”. Het betrof het ICT systeem van het Guy and St. Thomas Hospital in Londen en de uitval van cloudservers van Google en Oracle. Bij deze laatste twee duurde het meerdere dagen voor alles weer online was. Nadere berichtgeving over het genoemde ziekenhuis leert dat meerdere weken na de uitval er nog steeds niet sprake is van volledig normaal draaiende systemen. Een bericht van gisteren, 13 augustus 2022, laat zien dat de kern-systemen wel goed draaien. Maar dat men nog steeds bezig is allerlei kleine applicaties goed te laten werken. Blijkbaar is de uitval zo abrupt geweest dat er bestanden beschadigd(corrupt) geraakt zijn en het herstarten of terugzetten van back-ups niet afdoende was voor het herstel.

Woordvoerder ziekenhuis

Een woordvoerder van Guy’s en St Thomas’s NHS Foundation Trust zei:

“Onze kern-IT-systemen zijn nu operationeel en er komen elke dag nieuwe systemen online. Er wordt verder gewerkt aan het herstellen en verzoenen van een groot aantal kleinere toepassingen en dit gebeurt op basis van klinische prioriteit. De complexiteit van onze huidige IT-systemen maakt het moeilijk om ze te herstellen en dit proces is aan de gang. Hoewel we de meeste van onze diensten zijn blijven leveren, hebben we helaas een aantal operaties en afspraken moeten uitstellen.

Het spijt ons zeer voor de eventuele verstoring en bieden onze onvoorwaardelijke excuses aan. We nemen rechtstreeks contact op met deze patiënten om hun zorg zo snel mogelijk te herschikken. We danken onze medewerkers voor hun inzet en veerkracht in deze zeer moeilijke tijd.”

Waarschuwing

In mijn artikel van 26 juli tekende ik ook op dat de betrokken ICT-er meldden dat de zomerhitte met temperaturen van rond de 40 graden Celsius de ontwerpspecificaties van de koeling van de systemen overschreden had. Bij een onverwachte stroomuitval hebben moderne systemen door de aanwezigheid van UPS(Uninterruptable Power Supply)-sen nog de tijd om de systemen op een fatsoenlijke manier af te sluiten. Door de hitte-uitval zijn processen binnen gekoppelde systemen abrupt midden in dataverwerking beëindigd. Dat is DE MANIER om corrupte bestanden te krijgen. De langdurige uitval in Londen moet meer dan een waarschuwing zijn voor ons in Nederland. Niet alleen ten aanzien van de continuïteit van het werk van zorginstellingen, maar ook in veel bredere zin.

Koeling systemen veel breder probleem

Steeds duidelijker wordt het dat de toename van grote datacentra een onoverkomelijk probleem met de koeling ervan met zich meebrengt. Niet voor niets bouwen grote tech-bedrijven hun datacentra op plaatsen aan de kust waar belangrijke datakabels het land binnenkomen EN koelwater in ruime mate voorhanden is. Door een Wob-verzoek van een provinciale krant, het Noordhollands Dagblad, kwam op 11 augustus 2022 aan het licht dat het luchtgekoelde datacentrum van Microsoft te Middenmeer in 2021 wel heel veel koelwater gebruikte. De aanvankelijk gedachte 12 tot 20 miljoen liter bleek in 2021 maar liefst 84 miljoen liter te zijn geweest. Nu zult u zeggen: wat doet een luchtgekoeld datacentrum met koelwater. Nu, dat zit zo. Als de buitentemperatuur boven de 25 graden Celsius komt dan gaan de systemen koelwater gebruiken, mits dat uiteraard koeler is dan 25 graden. . .

Geen oppervlaktewater maar drinkwater

Hierbij gaat het niet om oppervlaktewater, uit het IJsselmeer of uit sloten/kanalen, maar om drinkwater. Op de website van de gemeente Hollands Kroon staat het drinkwatergebruik over 2020 vermeld. Daar staat het gebruik van de 84 miljoen liter van het Microsoft-datacentrum te lezen. In het hele werkgebied van het Provinciale Waterleidingbedrijf Noord-Holland(PWN) ging het in 2020 om 550 miljoen liter drinkwater dat de datacentra voor de koeling gebruikten. Het PWN-gebied bevat in totaal 28 datacentra. De datacentra ontharden het water dat ze gebruiken met onthardingszout. Meestal zal dat NaCl(keukenzout) zijn. Doordat er bij de koeling water verdampt is de concentratie aan het einde van het koelproces hoger dan ervoor. Dat afvalwater heet “brijnwater”. In Middenmeer lozen de datacentra op sloten die uitkomen op de Medemblikker Vaart. Het water gaat dan via het gemaal Leemans bij Den Oever de zoute Waddenzee in.

Warmere zomers

Inmiddels moge het meer dan duidelijk zijn dat de klimaatveranderingen leiden tot veel warmere zomers. Dientengevolge kan je op je vingers natellen wat de te verwachten problemen zijn voor het gebruik van ICT-systemen, nu en in de toekomst.

Waterleidingbedrijven haasten zich om te zeggen dat de hoeveelheid drinkwater dat naar datacentra gaat procentueel gering is. Als echter aan huishoudens tijdens de zomerhitte gevraagd wordt in huis het watergebruik te minderen, niet de tuin te sproeien of de auto te wassen dan is het in absolute zin forse drinkwatergebruik door datacentra absoluut disproportioneel te noemen.

W.J. Jongejan, 14 augustus 2022

Afbeelding van Andrew Martin via Pixabay