De AI-verktyg som idag används av marknadsförare, rekryterare, brottsbekämpande myndigheter och domstolar är inte nödvändigtvis neutrala. De kan vara färgade av den information de matats med, och de kan särbehandla utan utvecklarens vetskap.
Det ställs inte bara krav på att de stora plattformarna på nätet ska radera innehåll och redovisa vilka som står bakom annonser - politiker som Angela Merkel, forskare som Joanna Bryson och i tilltagande grad även tongivande medier som The Guardian, föreslår nu också att företag ska redovisa hur deras algoritmer fungerar. När dataskyddsförordningen, som innehåller regler om profilering, automatiserade beslut och den enskildes rätt till information om hur data hanteras, börjar gälla som lag i EU tar vi ett steg i den riktningen.
Vad är problemet?
Stanley Greenstein, forskare i rättsinformatik vid Stockholms universitet, beskriver i sin avhandling (läs en intervju med Greenstein här) hur förutsägelser baserade på AI och big data hotar vår möjlighet att fatta självständiga beslut när tekniken används av privata aktörer, så som vid marknadsföring. Juridikprofessorn Andrew G. Ferguson varnar i sin bok The Rise of Big Data Policing för de integritets- och rättssäkerhetsrisker predictive coding kan ge upphov till när tekniken används av brottsbekämpande myndigheter. I allt fler länder används ansiktsigenkänning, smarta kameror och sensorer, databaser med biometrisk information och analyser av transaktioner, kommunikation i sociala medier och tidigare begångna brott för att, som i filmen Minority Report, försöka förutsäga var, när och av vilka brott kommer att begås. De förmodat vetenskapliga systemen motiverar "hotspot policing":
"This is the future. This is the present. This is the beginning of big data policing. Big data technologies and predictive analytics will revolutionize policing. Predictive policing, intelligence-driven prosecution, “heat lists” of targets, social media scraping, data mining, and a data-driven surveillance state provide the first clues to how the future of law enforcement will evolve", skriver Ferguson.
Domstolar använder också AI. I Kina uppges hundratals lokala domstolar använda sig av big data och neurala nätverk för att effektivisera beslutsfattandet. Och i USA använder domare verktyg som Compas och The Arnold Algorithm för att bedöma risk för återfall i brott i samband med beslut om borgen. Dessa system har anklagats för att diskriminera särskilt utsatta, bl a av den granskande nyhetssajten ProPublica.
Matematikern Cathy O'Neil, keynotetalare vid Internetdagarna i Stockholm i höstas, syftar i titeln på bestsellern Weapons of Math Destruction på "svarta lådor" - oreglerade algoritmer som fattar avgörande beslut utan möjlighet till insyn eller överprövning. Datan systemen matas med är inte neutral, därtill leder negativa beslut systemen fattar till nya negativa beslut. På så sätt uppstår en spiral av diskriminering.
Detta sker inte bara inom myndighetsutövning. Maskininlärning och predictive coding används exempelvis för att sålla kandidater i samband med rekrytering. Som i andra sammanhang (många hoppas att AI ska leda till mer fördomsfritt och enhetligt dömande) är tanken att maskiner inte bara ska göra oss mer effektiva utan också hjälpa oss att undvika att beslut färgas av förutfattade meningar. Men, som O'Neil resonerar här: om algoritmer lär sig att kandidater med vissa typer av efternamn tenderar att vara bättre lämpade än andra och sju av tio ansökningar filtreras bort utan mänsklig inblandning har vi ett problem. Kanske ratas kandidater på grundval av kön, ålder, handikapp, sannolikhet att bli sjuka eller gravida utan att rekryterarnas eller de berördas vetskap.
Vid sidan av rekrytering framhåller hon utbildning och brottsbekämpning som särskilt problematiska områden.
Problematiken många kritiker återkommer till är att det är svårt, även för utvecklarna själva, att överblicka hur algoritmer som hela tiden förändras fungerar. Risken är att system som förmodas vara objektiva i själva verket reflekterar våra fördomar. Nätplattformar har anklagats för att rikta annonser för välbetalda jobb till män, COMPAS och liknande verktyg för att diskriminera svarta.
Zeynep Tufekci, tidigare programmerare, numera forskare knuten till bl a Harvards Berkman Klein Center for Internet and Society (som nyligen arrangerade ett seminarium om COMPAS och liknande verktyg), berättar i ett TED-talk om möten med rekryterare som tror att datorer är mer objektiva än människor. Hon varnar för math-washing:
- The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
Will Knight, redaktör vid MIT Technology Review, förklarar svårigheten att överblicka hur algoritmer "resonerar" - den så kallade black box-problematiken - såhär:
"You can’t just look inside a deep neural network to see how it works. A network’s reasoning is embedded in the behavior of thousands of simulated neurons, arranged into dozens or even hundreds of intricately interconnected layers. The neurons in the first layer each receive an input, like the intensity of a pixel in an image, and then perform a calculation before outputting a new signal. These outputs are fed, in a complex web, to the neurons in the next layer, and so on, until an overall output is produced."
"Black data leads to aggressive use of police force, including deadly force, and new forms of invasive surveillance. Big data policing, and these new forms of surveillance and social control, must confront this black data problem", skriver Andrew G. Ferguson.
Måste vi helt enkelt sluta använda AI?
Kate Crawford vid nystartade forskningscentret AI Now Institute vid New York University vill att "black box AI" ska förbjudas tillsvidare, eftersom vi inte vet hur systemen fungerar. Andra vill att företag och myndigheter ska bli mer transparenta, i den mån det är möjligt. Om det stämmer att utvecklare har svårt att överblicka hur systemen fungerar - är alternativen då att avstå från att använda dem eller att ändra regelverken och förlita oss på att algoritmerna i vart fall är mindre fördomsfulla och producerar bättre resultat än oss människor - eller finns det andra vägar?
Det finns de menar att system som COMPAS mycket väl kan användas. Det var också vad en amerikansk domstol kom fram till i en unik dom från 2016. Domstolar kan använda verktyget så länge det underlag det producerar inte är ensamt avgörande. Mänskligt förnuft behövs fortfarande. Supreme Court har beslutat att inte pröva målet.
Men även om besluten blir riktiga återstår ett problem - transparensen. Enligt den kommande dataskyddsförordningen ska "förekomsten av automatiserat beslutsfattande, inbegripet profilering ... varvid det åtminstone i dessa fall ska lämnas meningsfull information om logiken bakom samt betydelsen och de förutsedda följderna av sådan behandling för den registrerade". Informationen ska vara begriplig och lättillgänglig.
- Profilering är inte förbjudet i sig, men det finns en definition av profilering och ett förbud mot helt automatiserat beslutsfattande som får påtagliga konsekvenser för den registrerade, så som beslut om försäkringspremier. Det ska finna sen enkel möjlighet att invända mot beslutet. Man kommer också behöva vara mycket mer transparent kring hur man använder informationen i framtiden.
Det säger Erik Stavegren, vars examensarbete om profilering och big data framhölls som en av årets studentuppsatser i Legaltech.se:s Innovation Awards 2016. tavegren har i likhet med Greenstein främst intresserat sig för användning av data i samband med marknadsföring. Mest problematisk, och mest eftertraktad, är den information vi inte lägger upp själva, menar han:
- Information om vem man är vän med, hur ofta man besöker andras profiler och så vidare. Den datan visar vad vi är intresserade av utan att vi uttryckligen säger det och används för profilering. Facebooks marknadsföring bygger helt på den, säger Stavegren.
Profileringen producerar i sin tur nya personuppgifter:
- För några år sedan kollade Target köpmönster hos folk som hade deras kundkort. Utifrån en 16-årings inköp drog systemet slutsatsen att hon var gravid - innan hon själv visste om det. När det skickades anpassad reklam för gravida till hennes hem blev hennes pappa inte glad, säger Stavegren.
Relaterat:
"You can’t just look inside a deep neural network to see how it works. A network’s reasoning is embedded in the behavior of thousands of simulated neurons, arranged into dozens or even hundreds of intricately interconnected layers. The neurons in the first layer each receive an input, like the intensity of a pixel in an image, and then perform a calculation before outputting a new signal. These outputs are fed, in a complex web, to the neurons in the next layer, and so on, until an overall output is produced."
"Black data leads to aggressive use of police force, including deadly force, and new forms of invasive surveillance. Big data policing, and these new forms of surveillance and social control, must confront this black data problem", skriver Andrew G. Ferguson.
Måste vi helt enkelt sluta använda AI?
Kate Crawford vid nystartade forskningscentret AI Now Institute vid New York University vill att "black box AI" ska förbjudas tillsvidare, eftersom vi inte vet hur systemen fungerar. Andra vill att företag och myndigheter ska bli mer transparenta, i den mån det är möjligt. Om det stämmer att utvecklare har svårt att överblicka hur systemen fungerar - är alternativen då att avstå från att använda dem eller att ändra regelverken och förlita oss på att algoritmerna i vart fall är mindre fördomsfulla och producerar bättre resultat än oss människor - eller finns det andra vägar?
Det finns de menar att system som COMPAS mycket väl kan användas. Det var också vad en amerikansk domstol kom fram till i en unik dom från 2016. Domstolar kan använda verktyget så länge det underlag det producerar inte är ensamt avgörande. Mänskligt förnuft behövs fortfarande. Supreme Court har beslutat att inte pröva målet.
Men även om besluten blir riktiga återstår ett problem - transparensen. Enligt den kommande dataskyddsförordningen ska "förekomsten av automatiserat beslutsfattande, inbegripet profilering ... varvid det åtminstone i dessa fall ska lämnas meningsfull information om logiken bakom samt betydelsen och de förutsedda följderna av sådan behandling för den registrerade". Informationen ska vara begriplig och lättillgänglig.
- Profilering är inte förbjudet i sig, men det finns en definition av profilering och ett förbud mot helt automatiserat beslutsfattande som får påtagliga konsekvenser för den registrerade, så som beslut om försäkringspremier. Det ska finna sen enkel möjlighet att invända mot beslutet. Man kommer också behöva vara mycket mer transparent kring hur man använder informationen i framtiden.
Det säger Erik Stavegren, vars examensarbete om profilering och big data framhölls som en av årets studentuppsatser i Legaltech.se:s Innovation Awards 2016. tavegren har i likhet med Greenstein främst intresserat sig för användning av data i samband med marknadsföring. Mest problematisk, och mest eftertraktad, är den information vi inte lägger upp själva, menar han:
- Information om vem man är vän med, hur ofta man besöker andras profiler och så vidare. Den datan visar vad vi är intresserade av utan att vi uttryckligen säger det och används för profilering. Facebooks marknadsföring bygger helt på den, säger Stavegren.
Profileringen producerar i sin tur nya personuppgifter:
- För några år sedan kollade Target köpmönster hos folk som hade deras kundkort. Utifrån en 16-årings inköp drog systemet slutsatsen att hon var gravid - innan hon själv visste om det. När det skickades anpassad reklam för gravida till hennes hem blev hennes pappa inte glad, säger Stavegren.
Relaterat:
"Akademin har sovit vid ratten"
Cathy O'Neil föreslår en "data bill of rights", en internationell överenskommelse om hur AI ska användas. Hon vill också att vi ska få tillgång till de bedömningar som görs om oss via en app, och efterfrågar mer forskning på området.
O'Neil anklagar akademin för att ha "sovit vid ratten". Men forskare vid Columbia University har utvecklat en metod för att "stresstesta" neurala nätverk och på den vägen få ledtrådar om hur så kallade svarta lådor fungerar. En annan metod har utvecklats av professor Naftali Tishby vid Hebrew University i Jerusalem. Tekniska verktyg är också under utveckling. New Knowledge har exempelvis tagit fram ett verktyg för att upptäcka fake news och annan desinformation i sociala medier.
Vid MIT föreslår professorerna Nicholas Diakopoulos och Sorelle Friedler en uppsättning principer för AI-utvecklare:
- Det måste finnas en person med befogenhet att hantera problem som uppstår, kommunicera med allmänheten och att vidta åtgärder.
- De som berörs av automatiserade beslut ska kunna förstå hur de fattats. Det räcker inte med tekniska beskrivningar – den som berörs av en riskbedömning ska kunna invända mot beslut baserade på bristfällig data.
- Systemets precision bör identifieras, loggas och testas.
- Algoritmer ska kunna granskas av allmänheten eller av ”revisorer”.
- Algoritmer som fattar beslut som rör enskilda bör granskas för att upptäcka diskriminering på grund av bias i den data de matats med.
I Sverige kartlägger regeringen möjligheterna och riskerna med tekniken. Ett nordiskt etikråd kring artificiell intelligens uppges vara under utveckling. Nybildade policyinitiativet AddAI diskuterar också de här frågorna och har bjudit in till ett öppet roundtable den 4 april.
Yttrandefrihet för robotar?
Diskussionerna om möjligheten att betrakta artificiella intelligenser som elektroniska individer, med rättigheter och skyldigheter kan på sikt ge ytterligare en dimension till problematiken.
I USA har John Frank Weaver, jurist och författare till Robots Are People Too, argumenterat för att det första tillägget omfattar robotars yttranden och att det därmed kan vara oförenligt med USA:s konstitution att tvinga en programmerare att stänga av en robot. Juridikprofessorerna Toni M. Massaro och Helen L. Norton har nu skrivit en artikel om möjligheten att utsträcka yttrandefriheten till att omfatta artificiellt intelligenta datorer:
"Computers with communicative artificial intelligence (AI) are pushing First Amendment theory and doctrine in profound and novel ways. They are becoming increasingly self-directed and corporal in ways that may one day make it difficult to call the communication "ours" versus "theirs." This, in turn, invites questions about whether the First Amendment ever will (or ever should) protect AI speech or speakers even absent a locatable and accountable human creator."
 |  |
Fredrik Svärd
[email protected]
Läs också
New dissertation outlines AI and big data privacy risks
Sci-fi för jurister
Bör robotar erkännas som elektroniska personer?
Hur straffar man en robot?
Skyddas digitala assistenters svar av yttrandefriheten?
The dark secret at the heart of AI - MIT Technology Review
