Udbredelsen af Machine Learning gør det nødvendigt at samtænke teknologi og etiske aspekter. Her kan ny arbejdsmetode og model til at skabe troværdige kunstige data hjælpe.
Machine Learning (ML) har været en stor del af Pola Elisabeth Schwöbels liv de seneste tre år som ph.-d.-studerende. Machine Learning har eksempelvis i hverdagen hjulpet hende med at oversætte dansk til tysk og engelsk og omvendt - gennem forskellige oversættertjenester på nettet. Samtidig har hun i sin forskning på DTU Compute kigget ind i mekanismerne bag de forskellige matematiske modeller, der er ’hjernen’ i den kunstige intelligens.
Mens det forhåbentligt begrænser sig til irritation, hvis en ML-model oversætter dagligdagsting forkert, kan det have anderledes alvorlig betydning, hvis en Machine Learnings-model tolker medicinske billeder forkert og overser sygdom. Det er derfor, at AI stadig kun understøtter lægerne i deres arbejde, for vi stoler mere på menneskets vurdering end maskinens, ligesom der ofte er højere krav til maskinens præcision end menneskets. Men potentialet i AI er enormt.
Pola Elisabeth Schwöbel og hendes kolleger i forskningssektionen Kognitive Systemer arbejder med at udvikle standarder for, hvordan man først udvælger en matematisk model og dernæst udvikler den til at kunne løse en bestemt opgave - på en retfærdig måde, så modellen eksempelvis ikke kun er trænet på data fra mænd og dermed risikerer at overse sygdom hos kvinder. For biased data - altså misvisende data - fører til biased (misvisende) modeller.
”Der har været flere eksempler på, at AI forskelsbehandler folk, fordi modellerne er trænet på mangelfulde datasæt. Det skaber begrundet mistillid til AI, og vi mener, at man er nødt til at samtænke etik og teknik, når man udvælger en matematisk model og tilpasser den til opgaven”, siger Pola Elisabeth Schwöbel.
Sammen med kolleger står hun bag et forslag til en ny måde at arbejde med AI på - en slags fairness-model. Den model vender vi tilbage til, men først kigger vi på data, der er råstoffet i ML-modellerne.
Teknisk innovation
Kvaliteten og mængden af data, som modellerne er trænet på, er afgørende for, hvor godt ML-modellerne virker. Hvis man tænker på begrebet Big Data for år tilbage, er det ikke i nærheden af, hvor mange millioner data de nuværende meget mere avancerede kunstig intelligens-modeller har brug for.
Derfor benytter AI-forskere og -udviklere sig af en kendt matematisk metode kaldet data augmentation - dataforøgelse. Man tager eksisterende data og laver en simpel transformation på dem for at generere mere data. Hidtil har man dog gjort det uden reelt at vide, om f.eks. syntetiske medicinske data repræsenterede et menneske. Nu har Pola udviklet en ML-metode, der kan forøge datamængden, så man får syntetiske data, der er mere realistiske.
"Vi mener, at man bør have en anderledes systematisk arbejdsgang, når man vælger en model. Man skal først beslutte sig for et etisk mål: Hvad er det, som man gerne vil løse med matematikken?"
Pola Elisabeth Schwöbel, afsluttede sin ph.d. på DTU Compute i september 2022.
”I mit arbejde har vi set på, hvad der er god data-augmentation. Det er let at forestille sig, hvordan vi skaber syntetiske data, der virker som ’rigtige’ data. F.eks. er et billede af en bil stadig et realistisk billede, hvis vi ændret placeringen på bilen eller farven. For andre typer billeder, fx hjerneskanninger, kan det være meget sværere. I min forskning viser vi, hvordan vi kan skabe realistiske kunstige data ved at moderere billederne en smule ved hjælp af vores ML-model,” siger Pola.
”På den måde kan du forøge data, og det er også med til at skabe mere retfærdig data og AI, fordi vi kan gøre dataset mere balancerede med hjælp af syntetiske data,” siger hun.
Polas innovative model er generel og bredt anvendelig og kan f.eks. bruges til at skabe flere data inden for energiforskning og i forbindelse med tidsserie-analyser, hvor man arbejder med data, der er sorteret efter, hvornår de målt.
Filosofisk grundlag for retfærdighed i AI
Polas forskning startede dog et andet sted end med den førnævnte tekniske innovation, nemlig med udgangspunkt i filosofi om, hvordan man kunne bruge syntetiske data til at gøre AI-modeller mere fair. For når det kommer til stykket, mener hun ikke, at man generelt kan løse etiske udfordringer ved hjælp af teknologi. Der er behov for at bygge bro mellem etik og teknik.
”Jeg overvejede, om man kunne lave en standard for, hvad der er en fair AI-model? Det er svært at vurdere, og der er mange måder at måle, hvorvidt en model er fair eller ikke fair. Det vil måske blive betragtet som unfair, hvis modellen f.eks. er baseret på sundhedsdata fra mænd, og dermed bedre kan opdage sygdomme hos mænd end kvinder. Men tilsvarende vil det heller ikke være fair, hvis modellerne med vilje udvikles til at være dårligere til at finde sygdomme hos mænd i bestræbelserne på at behandle mænd og kvinder lige,” siger Pola.
Sammen med sine kolleger har hun skrevet en videnskabelig artikel, der diskuterer problemet med, at folk ofte vælger en eksisterende ML-model fra et katalog og optimerer og forbedrer den uden at tænke over, hvilke etiske overvejelser og standarder, der er indkodet i modellen; altså hvordan den er udviklet.
”Vi mener, at man bør have en anderledes systematisk arbejdsgang, når man vælger en model. Man skal først beslutte sig for et etisk mål: Hvad er det, som man gerne vil løse med matematikken?” siger hun.
Bør man skyde genvej med AI?
Pola forklarer det med et eksempel fra DTU. Hvis man gerne vil have en mere ligelig fordeling af kvindelige og mandlige studerende, kunne man overveje at sænke karaktergennemsnittet for kvinder som en del af strategien. Men det kunne måske betyde, at nogle kvindelige studerende ville få svært ved at klare sig fagligt på studierne. Og det vil heller ikke være rimeligt over for de mandlige studerende. I stedet kunne man måske gøre mere for at fremme studiemiljøet og tilpasse opgaveløsningerne til emner, der appellerer mere til kvinder. Og det kunne ske i løbende dialog med målgruppen og universitets ledelse.
”Det gælder på samme måde for ML-modeller. Du skal evaluere løbende på alle dele af beslutningerne om, hvorvidt de vil bringe dig tættere på målet. Og det er heller ikke alle steder, hvor AI egner sig, selv om man vil kunne skyde genvej med AI og spare tid og penge,” siger Pola.
”Hvis man er bekymret for etikken, så er mit råd, at man undersøger, hvordan man kan tilrette modellerne, så de kommer til at virke. Hvis det er inden for sundhedsområdet, så snak indgående med interessenter, patientforeninger, lovgivere og ansatte på gulvet og hør, hvilke problemer der er, og hvad de skyldes. Når du så har indsamlet en masse viden og opstillet et etisk mål, skriver du det ned med ord. Og dernæst prøver du at formalisere det – beskrive det med matematiske værktøjer. Og man skal holde sig for øje, at AI kun kan bruges til langvarig intervention, og ikke til her og nu ændringer,” siger Pola.
Vigtig kombination af teknologi og filosofi
Polas vejleder på DTU Compute, professor Søren Hauberg, var en af de første i verden til at arbejde metodisk med data augmentation. Og det inspirerede Pola til i sin ph.d. at arbejde med etisk data augmentation
I dag er det et forskningsfelt i vækst med 10-20 laboratorier, der arbejder med den type forskning på verdensplan.
”Udviklingen inden for AI går stærkt. Så hurtigt, at det kan være svært at følge med. Derfor har vi sjældent tid til at gøre os etiske overvejer omkring konsekvenserne af AI. Polas arbejde er derfor utrolig vigtigt, for det giver en praktisk arbejdsmetode, der hjælper med at sikre, at de etiske overvejelser får en integreret plads i udviklingen af AI-systemer. Her bidrager det ekstra, at Pola kommer med en stærk teknisk forståelse via sin ph.d. fra DTU, samtidig med at hun har en filosofisk baggrund. Samlet set giver det hende en helt unik mulighed for at formulere tankemåder og arbejdsprocesser, der faktisk kan gøre en forskel,” siger professor Søren Hauberg.