Algoritmerna, ansvaret och arbetsplatserna

Algoritmer av olika slag används till allt fler saker i dagens arbetsliv. Till användningsområdena hör att göra urval vid rekryteringar, att organisera arbete och vid beslutsfattande, inklusive vid myndighetsutövning.

Det är lätt att se fördelarna med att låta avancerade datorprogram hjälpa till med att sålla bland kandidater till ett jobb, optimera bemanning, minska transaktionskostnaderna när utbud och efterfrågan på arbetsmarknaden ska mötas eller bidra till att bättre (och billigare) beslut. Samtidigt finns det frågor som behöver finna bra och framförallt praktiskt användbara svar.

Vissa frågor är egentligen relativt enkla. Dit hör frågan om vem som är ansvarig för det som algoritmen gör. Det beskrivs ibland som en svår fråga, särskilt i situationer där algoritmen kombineras med maskininlärning och de svar den ger därför utvecklas över tid. Det ofta missbrukade begreppet artificiell intelligens (AI) kan ibland ställa till det lite extra genom att ge ettorna och nollorna ett sken av att besitta mänskliga kvaliteter.

Jag brukar säga att ny teknik och gammal juridik ofta passar väldigt bra ihop. Det gäller även i detta fall. Vi har redan idag på många områden lagstiftning som reglerar såväl tillverkares ansvar för produkter som ansvaret för de som använder dem.

Det är idag allmänt känt att användningen av algoritmer vid rekrytering kan leda till diskriminering. Tvärtemot föreställningen att maskinerna är fria från människors fördomar så kan de vara fulla av dem – eftersom den data de tränats på avspeglar existerande fördomar i samhället. En arbetsgivare som vid rekrytering använder en algoritm som leder till ett utfall som diskriminerar kan enligt Diskrimineringslagen aldrig skylla ifrån sig på någon annan. Inte på algoritmen, inte på tillverkaren, inte på något rekryteringsföretag som använt algoritmen på arbetsgivarens uppdrag.  

Samma sak gäller i en situation där en algoritm som används för att organisera arbete, till exempel för att fördela arbetstillfällen eller arbetsuppgifter, leder till en dålig arbetsmiljö i form av till exempel stress. Arbetsmiljöansvaret ligger hos arbetsgivaren. I detta sammanhang bör man komma ihåg att även algoritmer med andra syften än arbetsledning, till exempel beslutsstöd, kan påverka arbetsmiljön.

När algoritmer används i samband med myndighetsutövning är såväl ansvarsfrågan som vikten av att algoritmen håller hög kvalitet extra viktig.

Ett exempel som har fått mest uppmärksamhet är socialtjänsten i Trelleborgs kommun, som använder ett automatiserat beslutsfattande vid bedömning av om personer har rätt till försörjningsstöd.  Arbetsvärlden beskriver i ett reportage dels en del av de juridiska frågor detta har väckt, liksom Akademikerförbundet SSR:s JO-anmälan mot kommunen för att få ut koden till algoritmen och ”en förklaring av vad programmet gör som är begriplig för en lekman”.

Det sistnämnda är särskilt intressant. För även om frågan om vem som är ansvarig framstår som relativt enkel, så är frågan om hur man ska kunna bedöma om detta ansvar har tagits eller inte betydligt mer komplicerad.

I en artikel i Harvard Journal of Law & Technology, “Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR”, skriver Sandra Wachter, Brent Mittelstadt och Chris Russel

Att få ut själva koden till algoritmen är enligt författarna inte bara svårt, då dessa som regel innehåller företagshemligheter som varken tillverkare eller användare vill avslöja, utan dessutom inte till särskilt stor hjälp. Istället bör vi söka efter metoder som kan ge förklaringar till algoritmernas resultat. Sådana förklaringar kan fylla tre olika syften: 1) att hjälpa den som berörs av ett automatiserat beslut att förstå varför ett visst beslut fattades, 2) att utgöra grund för att ifrågasätta, ompröva eller överklaga beslutet samt 3) att förstå vad som behöver ändras för att få ett annat resultat i framtiden. Inget av detta, menar Wachter, Mittelstads och Russel, kräver att vi ger oss in i det automatiska beslutssystemets interna konstruktion. Den metod de föreslår är att använda kontrafaktiska förklaringar.

Ett enkelt exempel på en kontrafaktisk förklaring är att en person som nekats ett banklån får reda på att det beror på att hen har en för låg årsinkomst (t ex 300 000 kr) samt en uppgift om hur hög den hade behövt vara (t ex 450 000 kr) för att lånet skulle ha beviljats. Det ger den presumtiva låntagaren informationen att det t ex inte var hens kredithistorik som var problemet och dessutom en uppfattning om vad som behöver förändras för att ett lån ska beviljas.

Ofta är det ju dock mer komplicerat än så och många olika variabler inblandade. Wachter et al menar att utgångspunkten bör vara att hitta de omständigheter som om de varit lite annorlunda hade lett till ett annat beslut - de närmaste av alternativa världar. Man testar alltså alternativa hypoteser för att hitta den variabel eller kombination av variabler som om de hade varit minst annorlunda hade gett ett annat utfall.

Istället för att försöka beskriva hur algoritmen gör för att komma fram till sitt beslut fokuserar kontrafaktiska förklaringar på att identifiera de externa faktorer som avgjorde utfallet i det individuella fallet.

Överfört till en socialtjänst handläggning av biståndsbeslut, eller profilering inom den aktiva arbetsmarknadspolitiken, skulle detta, som jag förstår det, innebära att man inte nöjer sig med beskrivningen att algoritmen tar hänsyn till x, y och z (vilket dessutom kan vara svårt att definiera i fall av mer avancerad maskininlärning) utan även kräver svar på om det var individens inkomsthistorik, utbildningsnivå, tidigare arbetslöshet, kön, bostadsort eller annat som hade störst betydelse för utfallet.

Det är en typ av information som ofta är betydligt mer begriplig för en lekman, men som ändå gör det möjligt att kontrollera och föra en diskussion om det lagliga och lämpliga i det automatiserade beslutet.

Vad gäller att avslöja diskriminering i algoritmerna så menar Wachter et al att det bästa sättet är statistisk analys av en mängd beslut, inte förklaringar av ett enskilt beslut, men att kontrafaktiska förklaringar av enskilda beslut kan vara det som ger bevis för att en algoritms beslut påverkas av en variabel som utgör en diskrimineringsgrund och att den därför kan vara diskriminerande. Till detta kan läggas att man även bör analysera variabler som har ett starkt samband med en diskrimineringsgrund för att på så vis försöka blottlägga indirekt diskriminering.

Även om jag tycker att det finns mycket i Wachters, Mittelstad och Russels idéer som är intressanta så är min poäng inte att kontraktfaktiska förklaringar är den modell som man nödvändigtvis ska använda för att skapa transparens när algoritmer används i beslutsstöd eller för automatiserade beslut.

Min poäng är istället att vi behöver hitta metoder som hjälper oss att förstå konsekvenserna av en viss algoritm som är användbara i vardagen. Betydelsen av detta i anslutning till myndighetsutövning har jag beskrivit ovan, men det gäller även i förhållandet mellan arbetsgivare och arbetstagare.

Även om man aldrig får tillåta att en arbetsgivare gömmer sig bakom en algoritm istället för att förklara sina beslut så kommer det att finnas situationer där möjligheten att analysera och diskutera konsekvenserna av en algoritm i ett personaladministrativt system, beslutsstöd eller system för automatiserade beslut kommer att ha stor betydelse. Att hitta praktiskt användbara metoder för detta är därför en viktig facklig fråga.

Texten är skriven av Samuel Engblom, tidigare samhällspolitisk chef på TCO.