Har lytta i fire millioner timer - nå finner de feilene før de skjer

- Til nå har vi samlet nærmere 4 millioner timer med data fra hundretalls systemer, forteller utviklerne bak Soundsensing.

Elias Bragstad Hagen (til venstre) er hovedansvarlig for programvare i Soundsensing. Jon Nordy er ansvarlig for datavitenskap. 📸: Privat
Elias Bragstad Hagen (til venstre) er hovedansvarlig for programvare i Soundsensing. Jon Nordy er ansvarlig for datavitenskap. 📸: Privat Vis mer

I alle bygg finner man tekniske anlegg som sørger for at de som bruker det har tilgang på god luft, oppvarming, kjøling og vann. Men her kan det fort komme stygge overraskelser.

Dette har utviklerne i selskapet Soundsensing forsøkt å gjøre noe med. De bruker lyd- og vibrasjonssensorer sammen med maskinlæring for å forutse svikt og melde fra om avvik i driften av systemene.

Løsningen kan på denne måten lytte etter feil - før de skjer. En av kategoriene som løsningen oppdager, er mekaniske feil - for eksempel i ventilasjonsanlegg.

- Ofte er det slik at utstyret går ujevnt eller unormalt tungt i en periode før de faktisk feiler helt. Dette kan vår løsning detektere, og i mange tilfeller varsle før det skjer et driftsavbrudd eller havari. Dette er et eksempel på prediktiv feil-deteksjon, sier Jon Nordby, datavitenskap-ansvarlig i Soundsensing, til kode24.

«Til nå har vi samlet nærmere 4 millioner timer med data.»

Bruker maskinlæring

Soundsensing ble startet i 2019 av Jon Nordby og Ole Johan Aspestrand Bjerke. For øyeblikket er de fem personer i det tekniske teamet.

Dette inkluderer en utvikler og en dataviter som utvikler og drifter systemet. I tillegg til tre forskere fra Norsk Regnesentral og Sintef.

Ifølge Nordby samler Soundsensing inn data via lyd- og vibrasjonssensorer som monteres direkte på og i nærheten av anleggene.

- Til nå har vi samlet nærmere 4 millioner timer med data fra hundretalls systemer i fra mange bygg. Denne dataen mates kontinuerlig inn i modellene våre, som analyserer nye data og markerer eventuelle avvik fra normal drift, sier Nordby.

CEO Ole Johan illustrerer mange vibrasjonssensorer under installasjon hos Norskt Maritimt museeum. 📸: Privat
CEO Ole Johan illustrerer mange vibrasjonssensorer under installasjon hos Norskt Maritimt museeum. 📸: Privat Vis mer

"Ting bare funker"

Den tidlige varslingen gjør det mulig å gjennomføre tiltak, som for eksempel å gjennomføre service, eller bytte over til et backup-system.

- Ideelt sett merker ikke leietaker og de som bruker bygget noe som helst - ting bare funker, sier Nordby.

En annen kategori med feil er når utstyr kjører når det ikke skal, som unødvendig energibruk og slitasje, eller ikke kjører når det skal, som gir dårlig luftkvalitet. Ifølge Soundsensing-gutta skyldes slike feil ofte styringsproblematikk, for eksempel i kommunikasjon, programvare eller konfigurasjon.

- Her er det sjeldent noen detekterbare forløpere til feilen, så vi varsler i det problemet inntreffer. Uten vårt system tar det typisk minst noen dager, og opp til flere måneder, å detektere slike avvik. Så det er strengt talt ikke prediktivt, men gir uansett en stor forbedring i responstid og reduksjon av nedetid, sier Nordby.

«Kommunikasjon mellom backend, sensorer og gateway, samt frontend og eksterne systemer, går via standard HTTP REST API-er.»

Klassisk "PyData"-stack

Ifølge Elias Bragstad Hagen, som er programvare-ansvarlig i selskapet, krever det mye forskning og et godt datagrunnlag for å bygge en løsning som baserer seg på kunstig intelligens.

Ifølge ham har de jobbet mye med å samle inn data sammen med kunder og partnere, ettersom det ikke finnes gode og åpne datasett for systemene som det jobbes med.

- Sensor-data brukes i kombinasjon med metadata for å trene opp modeller som kan detektere avvik, sier Hagen.

Han legger til at Soundsensing har jobbet mye med å identifisere og kategorisere hvilke feil som kan forekomme i ulike anlegg, slik at de kan måle hvor godt modellene treffer på ulike scenarioer.

- For maskinlæring bruker vi en klassisk “PyData”-stack, med biblioteker som scikit-learn, Tensorflow, pandas med mer, sier Hagen.

Viktig med godt brukergrensesnitt

Hagen legger til at utover arbeidet med modellene og datainnsamling, kreves det også mye jobb for å sette opp et skalerbart system som kan håndtere lagring og prosessering av store datamengder.

- Her har vi valgt å bruke Timescale, tidsserie-database basert på Postgres, og RabbitMQ. Kommunikasjon mellom backend, sensorer og gateway, samt frontend og eksterne systemer, går via standard HTTP REST API-er. Sensorparken vår bruker primært trådløst kommunikasjon med Bluetooth Low Energy (BLE) og LTE CAT M1 (4G), sier han.

Ifølge Hagen er et AI-system ikke mye til nytte uten et godt brukergrensesnitt.

- Og her har vi jobbet sammen med kunder og konsulenter fra Netlight for å utvikle en frontend som gjør det forståelig hva modellene våre reagerer på. Frontend er Javascript og React med Tailwind CSS. I tillegg til egen frontend har vi åpne API-er, og har integrert med flere eksisterende verktøy som er i bruk i bransjen i dag, som FDV-systemer.

Her installeres løsningen i et teknisk rom. 📸: Privat
Her installeres løsningen i et teknisk rom. 📸: Privat Vis mer

Ville gjort det annerledes i dag

- Hadde dere valgt en annen framgangsmåte i dag?

- Den overordnede fremgangsmåten er vi ganske fornøyde med. Da vi gikk inn i markedsområdet for tilstandsmonitorering og prediktiv feildeteksjon for næringsbygg, så hadde vi allerede jobbet noen år med en annen brukercase basert på lyd-sensorikk og maskinlæring, sier Nordby.

Nordby sier at de lærte mye av med tanke på realistiske forventninger om hvor lang tid tar. Samt betydningen av å starte datainnsamling, kundesamarbeid og utprøving av løsninger i et realistisk miljø.

- Men samtidig kunne vi nok vært enda bedre på å dele opp den overordnede problemstillingen i mindre deler, som kan rulles ut steg for steg, sier Nordby.

Her er et bilde av appen til Soundsensing. 📸: Privat
Her er et bilde av appen til Soundsensing. 📸: Privat Vis mer

Er i en AI-hype

- Det florerer med selskaper og startups som skal bruke AI nå. Har det blitt for mye av det gode?

- Slik vi ser det, er det mye hype rundt AI, og derfor mye interesse både fra næringslivet og akademia, sier Hagen.

Han legger til at det er naturlig at det dukker opp mange AI-selskaper som prøver å utnytte denne interessen.

- Vi tror nok at mange av dagens selskaper vil falle av på veien dersom de ikke gjør jobben med å forsikre seg om at de har en betalingsvillig kundebase, eller sikrer seg investorer med langsiktige perspektiv.

Hagen sier at de ut fra erfaring vet at det tar lang tid å bygge et solid system som gir gode resultater.

- Vårt fokus er på å levere nyttige løsninger til våre brukere, og på den måten har vi et avslappet forhold til hype berg-og-dalbanen, sier Hagen.