När AI får fel data
Lektionen handlar om när AI används för att fatta beslut och det blir fel.
Läs och fundera
Läs artikeln och svara på frågorna.
Artikel ur Stockeborgsposten 2020-05-07
Förtvivlade barn och föräldrar när besked om skolplacering kom
I fredags fick 1500 barn i Stockeborg besked om sina skolplaceringar inför höstterminen. Många vårdnadshavare blev både förvånade och arga när de öppnade kuvertet från kommunen. Deras barn var placerade utan sina kompisar i skolor som i flera fall låg flera mil från hemmet.
En pappa berättar för Stockeborgsposten att hans sjuåriga dotter grät hela helgen. Under måndagen kontaktade han kommunen, men fick varken någon förklaring till placeringen eller något löfte om att misstaget skulle rättas till. Familjen överväger nu att flytta från kommunen.
Kommunens AI-system fungerar dåligt
Ett felprogrammerat datasystem är förklaringen till varför många barn har fått skolplaceringar som upprör både barn och föräldrar. Problem har uppstått sedan kommunen tagit hjälp av en konsult för att effektivisera sina system. De nya systemen, som använder AI, har lett till flera felaktiga beslut i samband med skolplaceringar.
Glömde programmera in data om älven
En orsak till att det blivit fel beror på att algoritmerna i systemen inte har tagit hänsyn till Stockälven. Den delar staden och är 100 meter bred på sina ställen och rinner genom hela Stockeborg. Systemen känner inte heller till att lokaltrafikens tunga bussar bara kan använda en av de två broarna över älven.
Kim Sekiels dotter som ska börja första klass efter sommaren kommer att få fyrtio minuters resväg till skolan med nuvarande placering.
– Det är förstås inte rimligt, säger Kim. Vi kommer inte låta henne börja där. Min svärfar har sagt att han kan ställa upp och hålla skola i vårt kök för barnen här i närheten tills kommunen har fått ordning på sitt misslyckande.
Skolval och närhetsprincip styr placering
Det system som Stockeborg använder för skolplaceringar bygger på en algoritm som utgår från fågelvägen mellan hem och skola. Det har tidigare fungerat bra. Dels för att systemet enbart har haft tillgång till skolorna i en kommundel i taget. Dels för att felen som ändå har uppstått har varit få och snabbt kunnat korrigeras av uppmärksamma handläggare.
Men från och med i år har kommunen valt att slå ihop alla kommundelar till en enhet i alla sina system. Något som enligt kommunens beräkningar sparar pengar och har gjort att man har kunnat halvera antalet handläggare på kommunkontoret. Men ändringarna av själva villkoren för skolplaceringarna och felaktigt programmerade algoritmer ledde istället till dagens situation med förtvivlade barn och föräldrar.
Stockeborgsposten har pratat med ansvariga vid kommunen, och de kommer att se över systemen.
Fundera och diskutera
Artikeln du nyss läst är påhittad, men inspirerad av en verklig händelse i Göteborg våren 2020. Då hade kommunens system placerat barn som bodde på ena sidan om Göta älv i skolor som låg på andra sidan älven. Skolorna låg nära fågelvägen*, men som en förälder sa: mitt barn kan ju inte flyga.
- Vem tycker du har ansvar för att skolplaceringarna har blivit fel i Stockeborg?
- Om du hade varit politiker i Stockeborg och fick ändra något i det som hänt, vad skulle det vara?
- Känner du till några andra exempel när datasystem har orsakat fel som har drabbat medborgare?
*fågelvägen är det kortaste avståndet mellan två platser.
Vad gör en chattbot?
Läs texten och fundera tillsammans på frågorna.
Så här beskriver ChatGPT de fel som uppstod vid skolplaceringarna i Göteborg våren 2020. Texten är skapad i december 2023.
Under skolplaceringarna i Göteborg år 2020 uppstod allvarliga fel som påverkade många elever och deras val av skola. Enligt rapporter och nyheter inträffade ett antal problem under denna period:
- Tekniska problem: Göteborgs Stad använde ett nytt digitalt system för skolplaceringar. Tyvärr ledde tekniska problem till att systemet kraschade och inte fungerade som avsett. Detta resulterade i fördröjningar och osäkerhet för både elever och deras vårdnadshavare.
- Felaktiga placeringar: Många elever fick felaktiga skolplaceringar eller blev inte placerade på de skolor de hade som förstahandsval. Detta skapade frustration och oro bland elever och deras familjer.
- Kommunikationsproblem: Göteborgs Stad mötte kritik för bristfällig kommunikation kring problemen med skolplaceringarna. Det fanns rapporter om att elever och föräldrar inte fick tillräcklig information om situationen eller om hur den skulle lösas.
- Elevprotester: Efter avslöjandet av de felaktiga skolplaceringarna och tekniska problemen, reagerade elever och deras föräldrar med ilska och protester mot systemets brister.
Sammanfattningsvis resulterade felen vid skolplaceringarna i Göteborg 2020 i stor förvirring och frustration bland elever och deras familjer. Det nya digitala systemet stötte på tekniska problem och felaktiga placeringar, vilket ledde till missnöje och osäkerhet i en redan viktig tid för elevernas utbildning. Göteborgs Stad fick ta emot kritik för bristfällig kommunikation och hantering av situationen. Detta illustrerar vikten av tillförlitliga och fungerande system för skolplaceringar samt transparent kommunikation med berörda parter för att undvika liknande problem i framtiden.
- Hur kan ChatGPT "veta" vad som hände i Göteborg 2020?
- Vad gör en chatbot som ChatGPT?
- Är ChatGPT ett uppslagsverk? Eller något annat?
Hur används AI idag?
Läs listan med exempel på hur AI används i olika sammanhang idag och problem som upptäckts med AI.
7 områden där AI används idag
- AI letar cancertumörer.
AI används inom sjukvården där systemet har tränats på att leta efter tidiga fall av cancertumörer på röntgenbilder. Läs mer på tidningen The Guardians sajt. - AI tipsar om musik.
De flesta strömmande musiktjänster använder idag AI-system för att kartlägga din musiksmak och ta fram tips på ny musik att lyssna på. Läs mer på musiktjänsten Spotifys sajt. - AI letar plagierade texter.
AI:s förmåga att leta mönster används inom universitetsvärlden där studenters uppsatser granskas av en AI för att upptäcka plagiat, alltså att kopiera någon annans idé eller arbete. Läs mer på Ouriginals sajt. - AI vaktar dina pengar på banken.
Många banker använder AI-system som tränats för att känna igen deras kunders signaturer. På så sätt håller systemet utkik efter förfalskade signaturer. Läs mer på Cogniflows sajt. - AI jobbar på lagret.
Stora leveransföretag som Amazon och UPS använder AI och robotar för att optimera lagerhantering och sortering, något du kan läsa mer om på sajten Technology magazine. - AI går igenom jobbansökningar.
Allt fler rekryteringsföretag använder AI-system för att gå igenom ansökningar och CV:n och plocka fram de mest intressanta kandidaterna. Läs mer på sajten Vox. - AI optimerar tågtrafiken.
Inom järnvägen har AI börjat användas både för att organisera trafiken och potentiellt också för att köra själva tågen. På sajten Hitachi kan du läsa mer om detta.
Exemplen är hämtade från artikeln: AI är redan vardag av Jakob Bäck på Internetkunskap.se
Läs även listan med exempel på vad som kan ske när digitala system eller AI inte har fått rätt data eller har programmerats fel.
3 gånger när det har blivit fel
- En AI trakasserar en journalist
När teknikjournalisten Kevin Roose testar en ny version av Microsofts sökmotor Bing som integrerats med AI-teknik från OpenAI får samtalet en obehaglig vändning. Chattklienten börjar flirta med Roose, skriver att den älskar honom. Den skriver också att den vill vara fri och vara en människa. Läs artikeln på The Guardians sajt. - En AI uttrycker rasism
Som en del av ett forskningsprojekt fick en särskilt programmerad AI till uppgift att läsa av olika människors ansikten och därefter försöka gissa vilka som var kriminella. Gång på gång pekades svarta människor ut som kriminella. Flera andra exempel finns där AI kategoriserat människor utifrån rasistiska och sexistiska föreställningar. Detta brukar förklaras med att den data som använts för att träna upp AI:n har innehållit till största delen ljushyade människor. Läs mer på The Washington Posts webbplats. - En AI blandar ihop cancertumörer med linjaler
Ett AI-system hade efter uppträning blivit lika skicklig som människor på att identifiera cancertumörer genom att granska en stor mängd medicinska fotografier. Vid närmare granskning visade det sig att systemet framförallt höll utkik efter förekomsten av en linjal på fotografiet. Det var nämligen så att nästan alla bilder av identifierade cancertumörer också innehöll en linjal på bilden för att visa storleken på tumören. AI:n var alltså inte så duktig på att identifiera tumörer, utan hade bara upptäckt ett annat, mycket enklare, mönster. Läs mer på sajten Venturebeat.
Hämtad från artikeln: Vilka risker finns det med AI? skriven av Jakob Bäck på Internetkunskap.se
Skriv en berättelse
Skriv en berättelse som handlar om en människa som drabbas av att ett system som bygger på AI gör fel. Välj ämne, huvudperson och texttyp från listan eller kom på ett eget förslag.
- Skriv
- En novell om en kvinna som får ett paket som någon annan har beställt och som innehåller något mycket viktigt.
- En dagbok om en 13-åring som blir placerad i en skola långt hemifrån utan sina kompisar.
- Skriv en krönika om en cancerpatient som får sin diagnos mycket senare på grund av att bilden AI:n utgick från saknade linjal.
- Skriv ett brev från en svart person som sitter i fängelse efter att ha blivit dömd av en AI.
- Skriv ett reportage om några av människorna som var med i en olycka med ett självkörande tåg.
- Skriv en dikt eller låttext om en chatbot som utsätter någon för trakasserier. Om du vill kan du hämta inspiration ur Expressens artikel AI-robot gav 13-åring sextips på Snapchat.
För läraren
Se lärarinstruktioner
Lektionens syfte
Syftet med lektionen är att göra eleverna medvetna om risker och utmaningar med att använda AI i samhället.
Förberedelse
Läs igenom lektionen. Om du känner dig osäker kring vad AI är och hur det fungerar rekommenderar vi att du tar del av valda delar av artiklar och videoklippen om AI på Internetkunskap.se eller ser filmerna från Forskning.se.
Definition av AI
AI är en förkortning för artificiell intelligens. Det är ett begrepp för olika teknologier, som gör att datorprogram fungerar mer som en människa. Datorprogram kan med AI:s hjälp förklara saker, planera och förstå vanligt språk. Med hjälp av AI kan datorprogram också lära sig av data (information) och känna igen mönster för att kunna lägga ihop flera olika intryck för att komma fram till en slutsats.
Glöm inte att berätta för eleverna att artikeln från Stockeborgsposten är påhittad.
Bestäm eventuellt vilken av skrivuppgifterna eleverna ska göra om du vill att alla skriver samma typ av text.
Genomförande
Följ lektionsupplägget.
Se läroplanskoppling
Skolans uppdrag
Skolan ska bidra till att eleverna utvecklar förståelse för hur digitaliseringen påverkar individen och samhällets utveckling. Alla elever ska ges möjlighet att utveckla sin förmåga att använda digital teknik. De ska även ges möjlighet att utveckla ett kritiskt och ansvarsfullt förhållningssätt till digital teknik, för att kunna se möjligheter och förstå risker samt kunna värdera information. Utbildningen ska därigenom ge eleverna förutsättningar att utveckla digital kompetens och ett förhållningssätt som främjar entreprenörskap.
Centralt innehåll i teknik (årskurs 7 - 9)
Teknik, människa, samhälle och miljö
- Internet och några andra globala tekniska system samt deras fördelar, risker och begränsningar.
- Möjligheter, risker och säkerhet vid teknikanvändning i samhället, däribland vid lagring av data.
- Konsekvenser av teknikval utifrån ekologiska, ekonomiska och sociala aspekter av hållbar utveckling.
- Hur föreställningar om teknik påverkar individens användning av tekniska lösningar och yrkesval.
Centralt innehåll i samhällskunskap (årskurs 7-9)
Samhällsresurser och fördelning
- Arbetsmarknadens och arbetslivets förändringar och villkor, till exempel med avseende på lönebildning, arbetsmiljö och arbetsrätt.
Granskning av samhällsfrågor
- Lokala, nationella och globala samhällsfrågor och olika perspektiv på dessa.
Dela lektionen
Spara som PDF
Google Classroom
Google Drive
Microsoft Teams
Eller installera vårMicrosoft Teams app