Cegal og Kafka sikrer stabilt dataflow hos Statnett

Statnett sørger for, at strømmen flyder problemfrit fra leverandør til forbruger. For at strømforsyningen kan fungere optimalt, skal data flyde uhindret mellem systemer, afdelinger, leverandører og myndigheder. Det sørger teknologien Kafka for, kombineret med kompetence fra Cegal. (Foto: Statnett)

På Statnetts hjemmeside finder du en oversigt over, hvor meget strøm der produceres i Norge – og hvor højt strømforbruget er. Dataene bag tjenesten stilles til rådighed af Kafka-teknologi, som Cegal assisterer med. 

Statnett ejer, driver og udvider Norges elnet, hvilket betyder, at elektricitet kan overføres på tværs af landet og mellem Norge og nabolandene. Kort sagt sikrer Statnett, at vi får elektricitet, når vi tænder for en kontakt, og at der er balance mellem produktion og elforbrug i Norge.

Statnetts aktiviteter omfatter indsamling og analyse af enorme mængder data. Et moderne energimarked og et velfungerende elnet kan ikke fungere uden dataindsamling og -analyse. Statnett er også forpligtet ved lov til at dele data med de norske myndigheder og EU-myndigheder.

Kafka sikrer frit data flow

Dataindsamling og dataflow kan kaldes det centrale nervesystem i Statnett. Dog har dataene traditionelt været meget beskyttede og svære at få adgang til for andre forretningssystemer. Derudover har få mennesker haft adgang til dataene. Udfordringen har været at opnå et bedre dataflow mellem it-systemer og myndigheder. For at løse dette har Statnett valgt Kafka-teknologi.

Så hvem og hvad er denne Kafka i en datakontekst? Apache Kafka, som er det fulde navn, er en open-source streaming platform. Den gør det muligt at håndtere integration mellem forskellige systemer og behandle data i realtid. Kafka blev udviklet af LinkedIn, som havde brug for en løsning, der kunne håndtere de enorme mængder data, virksomheden i sidste ende skulle håndtere. Projektet blev til Apache Kafka, som blev open source i 2012.

Cegal har hjulpet Statnetts kompetente integrationsteam med opsætning og udvikling af Kafka-baseret integration siden 2018.

"Til at begynde med var opgaven at opsætte Kafka. Ved hjælp af Kafka henter vi data fra databaser eller systemer og gør dem tilgængelige for andre systemer, hurtigt og sikkert."

Dejan Maric seniorkonsulent i Cegal

Fra database til data lake

Den første fase af projektet handlede om at vise, at det ved hjælp af Kafka ville være muligt at distribuere data til de forskellige områder og systemer i Statnett.

Efter en vellykket første fase har Statnett og Cegal påbegyndt fase to: at flytte data fra databaser til en såkaldt data lake i et Hadoop-miljø. Cegal har skabt en streamingplatform, der lader data flyde hurtigt mellem forskellige systemer og gør det muligt at bruge data i nye systemer.

"Denne dataplatform muliggør en organisk vækst i brugen af data til nye systemer og nye anvendelser. Det gør det nemt at bruge data på nye måder."

Dejan Maric seniorkonsulent i Cegal

Tidligere var dataene i proprietære databaser, og kun få systemer og personer havde adgang til og indsigt i dataene. Med dataplatformen kan dataene bruges af flere systemer og distribueres til endnu flere, både internt i Statnett og eksternt til partnere, leverandører og andre aktører i energibranchen, myndigheder, samt dig og mig.

Store mængder data samles ind fra udstyr, der står på lokationen, såsom transformatorer, turbiner og så videre. Nu kan disse data bruges til intelligent og forebyggende vedligeholdelse. På denne måde kan man reparere udstyr, før det faktisk fejler, hvilket forhindrer nedetid og sparer Statnett for store omkostninger.

Med dataene i en data lake bliver det også lettere at forbinde dataene med andre kilder, såsom vejrdata. Samtidig bliver det lettere at analysere dataene og sikre et mere effektivt elnet og en bæredygtig strømforsyning.