Cegal og Kafka sikrer god dataflyt hos Statnett

Statnett sørger for at strømmen flyter problemfritt fra kraftprodusenter til forbrukere. Skal strømforsyningen fungere optimalt, må data flyte uhindret mellom systemer, avdelinger, kraftselskaper og myndigheter. Det sørger teknologien Kafka for, kombinert med kompetanse fra Cegal. (Foto: Statnett)

På Statnetts nettsider finner du blant annet oversikt over hvor mye kraft det produseres i Norge, nesten i sanntid – og hvor høyt forbruket av kraft er. Dataene som ligger bak denne tjenesten er tilgjengeliggjort av teknologien Kafka, som Cegal bistår med.

Statnett eier, drifter og bygger ut det nasjonale strømnettet som gjør at strømmen kan overføres på tvers av landet vårt og mellom Norge og nabolandene. Forenklet kan man si at Statnett sørger for at vi får strøm når vi skrur på en bryter, og at det er balanse mellom produksjon og strømforbruk i Norge.

Statnetts virksomhet innbefatter innsamling og analyse av enorme mengder data. Et moderne energimarked og velfungerende strømnett fungerer ikke uten datainnsamling og -analyse. Statnett er også lovpålagt å dele data med norske myndigheter og EU-myndigheter.

Kafka sørger for fri dataflyt

Datainnsamling og dataflyt kan kalles sentralnervesystemet i Statnett. Imidlertid har dataene tradisjonelt vært veldig beskyttet og vanskelig tilgjengelig for andre forretningssystemer. I tillegg har få personer hatt tilgang til dataene. Utfordringen har vært å få til en bedre dataflyt mellom IT-systemer og instanser. For å løse dette har Statnett valgt teknologien Kafka.

Hvem og hva er så denne Kafka i datasammenheng? Apache Kafka, som er det fulle navnet, er en open source streaming-plattform. Den gjør det mulig å håndtere integrasjon mellom forskjellige systemer og prosessere data i sanntid. Kafka ble utviklet av LinkedIn, som trengte en løsning som kunne håndtere de enorme datamengdene selskapet etter hvert måtte håndtere. Prosjektet ble Apache Kafka, som ble open sourcet i 2012.

Cegal har bistått Statnetts svært kompetente integrasjonsteam med oppsett og utvikling av Kafka-basert integrasjon siden 2018.

Til å begynne med var jobben å sette opp Kafka. Ved hjelp av Kafka henter vi ut data fra databaser eller systemer og gjør dem raskt og sikkert tilgjengelig for ulike andre systemer

Dejan Maric seniorkonsulent i Cegal

Fra database til datasjø

Den første fasen av prosjektet dreide seg om å vise at man ved hjelp av Kafka ville greie å distribuere data til de ulike områdene og systemene i Statnett.

Etter at den første delen var en suksess, har Statnett og Cegal gått i gang med del to: å flytte data fra databaser til en datasjø, eller en såkalt «data lake» i et Hadoop-miljø. Cegal har laget en «streaming plattform» som lar data flyte raskt mellom ulike systemer og gjør det mulig å bruke data i nye systemer.

Denne dataplattformen tillater en organisk vekst i bruk av data til nye systemer og ny bruk. Den gjør det enkelt å bruke data på nye måter

Dejan Maric seniorkonsulent i Cegal

Tidligere lå dataene i proprietære databaser, og bare et fåtall systemer og personer hadde tilgang til og innsikt i dataene. Med dataplattformen kan dataene brukes av flere systemer og distribueres til flere både internt i Statnett og eksternt mot partnere, kraftleverandører og andre aktører i energibransjen, myndigheter samt deg og meg.

Mye av dataene samles inn fra utstyr som står ute i felten, som transformatorer, turbiner og så videre. Nå kan disse dataene brukes til smart og prediktivt vedlikehold. Slik kan man kan fikse utstyr før det faktisk feiler, noe som hindrer nedetid og sparer Statnett for store kostnader.

Med dataene i en data lake (datasjø), er det også enklere å koble dataene sammen med andre kilder, for eksempel værdata. Samtidig blir det enklere å analysere dataene og slik sikre et mer effektivt strømnett og en mer effektiv og bærekraftig kraftforsyning.