Machine learning skal standardisere 3D-billedanalyser, så forskere kan få større udbytte af data udarbejdet på avancerede forskningsfaciliteter.
Forskningsverdenen har store forventninger til forskningsanlæggene MAX IV og ESS i Lund i Sverige, hvor materialer og systemer kan blive undersøgt ned på atomniveau i 3D, så man kan gøre nye opdagelser inden for materialer, medicin og miljø.
Med en bevilling på 11,5 millioner kroner fra Novo Nordisk Fonden går DTU nu i gang med at udvikle en standardprocedure for, hvordan billeder optaget på f.eks. MAX IV kan analyseres ved hjælp af kunstig intelligens. Arbejdet kommer til at foregå gennem en ny forskningsinfrastruktur kaldet QUAITOM.
”I dag bliver selve dataanalysen af 3D-billeder ofte et forskningsprojekt i sig selv, og det tager 10-100 gange så lang tid som alt andet i eksperimentet. Det sætter en begrænsning på, hvor stor nytte man kan få af en forskningsfacilitet som MAX IV, fordi data ikke bliver udnyttet i så høj grad, som de kunne med bedre analyseteknikker. Det problem vil vi gerne løse,” siger professor og sektionsleder for Visual Computing på DTU Compute Anders Bjorholm Dahl.
Han peger på potentialet inden for life science-området. De seneste år er der opbygget et stærkt forskningsmiljø omkring 3D-imaging særligt inden for life science med biomedicinske anvendelser. Undersøgelse af vævsprøver med 3D-imaging gør det nemlig muligt at se og forstå strukturer meget tæt på den struktur, som vævet har i den levende organisme, som prøverne stammer fra. Desuden kan vævet efterfølgende undersøges med histologiske teknikker, der bruger lysmikroskopi eller elektronmikroskopi.
Timingen er perfekt, eftersom MAX IV i løbet af 2022 vil starte forskning ved to forsøgsstationer (beamlines). Den danske DanMAX der klarer alt fra life science til byggematerialer, samt ForMAX tilpasset biomasseforsøg. Desuden står søsterfaciliteten ESS, European Spallation Source, også snart klar til brug.
Kompliceret 3D-imaging
Kunstig intelligens baseret på machine learning og særligt deep learning er blevet den alt dominerende tilgang til computervision.
Grundlaget for at lave deep learning baseret på computervision-algoritmer er, at man har store datasæt med tusindvis af billeder. Forskerne udvikler så algoritmen ved at vise den alle de eksempler, som den skal lære at genkende, og når den har set tilpas mange billeder, kan man tage noget, som ligner og få algoritmen til at genkende, hvad billedet indeholder. Hvis der er stor variation, går der måske millioner af billeder til for at kunne lave en brugbar algoritme. Derfor har man især undersøgt områder, hvor det har været let at få data, eller hvor forskningsgrupper har lavet store datasæt.
"Når du som forsker laver en algoritme og får den publiceret i en videnskabelig artikel, så kan du bare håbe, at andre vil bruge den. Med QUAITOM-platformen får vi musklerne til at få fat i brugerne selv og tage dem hen til de metoder, som vi har lavet. Det gør, at vores egen forskning kommer ud at leve i verden på en helt anden måde end tidligere."
Professor, sektionsleder Anders Bjorholm Dahl
Data fra 3D-imaging er anderledes komplicerede, fordi data lever i tre dimensioner, og man kan ud fra samme billeddata udtrække mange forskellige typer informationer om størrelse og form af de strukturer, som man tager billeder af. Desuden er der tale om unikke billeder, hvor forskerne ønsker at undersøge materialers mikrostruktur, som man normalt ikke har undersøgt tidligere, og man har ikke adgang til billeder, som man kan træne algoritmen på i forvejen. Typisk vil det være forskning, hvor man kigger efter noget nyt og specifikt. Til gengæld vil variationen inden for et datasæt være relativt lille.
”På den ene side har vi problemet, at der inden for 3D-imaging mangler metoder til at lave effektive analyser. På den anden side har vi forskningsfeltet machine learning og deep learning, der arbejder med forholdsvis generelle analyser, der kan give meget præcis information om indholdet af billederne. Vi mener, at der er behov for at koble de to verdener og udvikle billedanalysealgoritmer, der kan trænes med meget mindre data,” siger Anders Bjorholm Dahl.
Stort potentiale inden for life science
Fordelen ved at bruge billeddannelse med røntgen eller neutroner til at undersøge materialers egenskaber og struktur er, at prøverne forbliver intakte. Det har en lang række anvendelser inden for teknisk videnskab og naturvidenskab, da det gør det muligt at optage et billede, ændre på prøven og optage igen. Det er også muligt efterfølgende at undersøge prøver med andre teknikker.
DTU har blandt andet været involveret i 3D-life scienceprojekter om forståelse af hjernens mikrostrukturelle organisering, hvordan Covid-19 påvirker blodkar i hjertet, hvordan perifere nerver påvirkes af diabetes, og hvordan muskelceller ændres hos lammede patienter.
”Med MAX IV og ESS har vi to af de mest avancerede mikroskoper i verden, som gør det muligt at lave helt ekstraordinære forsøg. Det er stadig meget kompliceret at analysere data, der kommer ud af sådanne forsøg, så det har afgørende betydning at kunne standardisere analysen af 3D-billeder. Et samarbejde mellem forskere, som laver nye AI-baseret billedanalysemetoder og imaging-forskere er unikt, og rummer et stort potentiale for forskningsresultater i verdensklasse,” siger Anders Bjorholm Dahl.
DTU’s forskning bliver mere synlig
Dataanalyse-platformen bliver en stor computer, som forskere kan logge ind på og visualisere, analysere og opbevare 3D-data. Brugerne vil både være folk, der laver analyser af deres egne data, og folk, som vil teste deres egne algoritmer på et sæt testdata, som platformen stiller til rådighed. Herunder data til konkurrencer inden for machine learning, hvor brugerne skal udvikle algoritmer, der løser bestemte problemstillinger.
DTU vil via platformen også uddanne ph.d.-studerende gennem workshops og ph.d.-sommerskoler og på sigt masterstuderende og andre interesserede i 3D-billedanalyseværktøjer.
Endelig vil Anders’ egen Visual Computing-forskningssektion få implementeret en række machine learning-baserede algoritmer på QUAITOM-platformen, som folk udefra kan anvende til analyse af egne data.
”Det er ganske fantastisk. Når du som forsker laver en algoritme og får den publiceret i en videnskabelig artikel, så kan du bare håbe, at andre vil bruge den. Med QUAITOM-platformen får vi musklerne til at få fat i brugerne selv og tage dem hen til de metoder, som vi har lavet. Det gør, at vores egen forskning kommer ud at leve i verden på en helt anden måde end tidligere,” siger Anders Bjorholm Dahl.
Bevillingen fra Novo Nordisk Fonden rækker fem år frem.
- QUAITOM - The Infrastructure for QUantitative AI-based TOMography
- QUAITOM-platformen bliver en del af centeret QIM, og bygger videre på de erfaringer og det netværk, der er opbygget der. QIM blev med støtte fra Region Hovedstaden etableret i 2018 af DTU, Københavns Universitet, Lunds Universitet og MAX IV.
- Med QUAITOM vil den dataanalyse og det brugersamarbejde i forbindelse MAX IV og ESS, som er startet i QIM, blive udvidet til at også at omfatte samarbejde inden for machine learning.
- Samarbejdet bliver baseret på en dataanalyseplatform som giver optimale muligheder for at udvikle den næste generation af algoritmer til at optimere de omfattende 3D-målinger og data, som bliver genereret fra undersøgelserne på røntgensynkrotron- og neutronfaciliteterne i Lund.
- QUAITOM og QIM samarbejder også tæt med den nye forskningsfacilitet 3D Imaging Center/DANFIX på DTU, hvor laboratoriet på 900 m2 vil rumme 10 laboratorie-CT-skannere, når det er fuldt udbygget.
- Novo Nordisk Fonden støtter QUAITOM med 11,5 millioner over fem år fra bevillingen Data Science Research Infrastructure 2021.