Artificiell intelligens – Från Frankenstein till Murderbot

Det här är en textversion av föredraget Karin och Nene höll på Bok- och Biblioteksmässan i Göteborg 2019.

I år ska vi prata om artificiell intelligens, AI – inom skönlitteraturen. I den vanliga världen används AI till mycket idag och därför tycker vi att det är extra intressant med science fiction-genrens What If?-perspektiv. De här böckerna ställer en mängd frågor, som de alla har flera olika svar på. Vi kommer att ta upp frågorna; svaren får ni läsa i böckerna.

Som vanligt är vårt mål med föredraget inte att ge en fullständig bild av ämnet, vi påstår inte att vi fångat allt eller har svaret på alla frågor, men det är samma brasklapp som alla andra år: detta är inte alla böcker – detta är böcker vi rekommenderar er att läsa.

Vi har satt rubriken “Från Frankenstein till Murderbot”. Inte bara räknas Frankenstein som den första moderna science fiction-romanen, ofta räknas också Frankensteins varelse som den första artificiella intelligensen. Det handlar inte om en elektronisk hjärna i det här fallet, men väl en konstgjord kropp, ett liv som slagits på av en mänsklig skapare.

Men varelsen slås på utan operativsystem, en vuxen hjärna som startats från scratch, och sedan överges av sin skapare, och får då programmera sig själv. Det gör han genom att betrakta människor, deras godhet och uselhet, och genom att läsa Paradise Lost.

Varelsen är exempel på många drag som återkommer hos senare science fiction-AI. Att inte vara skapad för sin egen skull, men ändå ha egna mål, egna önskningar. Att programmeras genom mänskligt språk. Att inte ses som en person, men kräva att accepteras som en. Varelsen är kanske till och med är den första “Rogue AI”, en AI som gör uppror mot sin skapare, vilket senare är ett återkommande motiv.

Denna förste moderne Prometheus har inte bara lämnat ett tematiskt arv utan har även refererats direkt i flera sf-romaner. Isaac Asimov var inte bara författaren bakom robotlagarna, han myntade också termen “Frankenstein-komplex” om rädslan för mekaniska varelser som ser ut som människor.

Cyborgen Yod i He, She and It av Marge Piercy läser Frankenstein, och identifierar sig så med varelsen att han blir tjurig och deppig. “Ni ser mig som ett monster eller ett experiment, jag är alltid antingen för mänsklig eller inte mänsklig nog.”

Jeanette Wintersons Frankissstein från i år drar också flera paralleller mellan Frankensteins högmod och högmodet hos forskare som vill utveckla artificiella intelligenser, som vill kunna ladda upp sina egna medvetanden och bli odödliga, inte bara stjäla elden från gudarna utan ta makten över livet självt.

Motrösten i romanen är en parallell med Mary Shelley, och en påminnelse om att berättelsen om Victor Frankenstein inte är en hjälteberättelse utan en varning. En varning om att tänka på följderna. Spoiler: forskare med hybris och möjligheter att genomföra sina ambitiösa drömmar har inte lärt sig nåt sen 1818.

Och frågorna om vad som är intelligens och vad som är medvetet, vad som definierar en person leder oss rakt på den andra halvan av rubriken – vår favorit-cyborg från Martha Wells fyra kortromaner: Murderbot.

Murderbot är en säkerhetsrobot, byggd som en människa, med ett mänskligt ansikte och organiska delar. Säkerhetsrobotar är gjorda för skydd och strid, de är fullständigt livsfarliga, och alltså har de en kontrollmodul som gör att de måste lyda order. Men vår huvudperson har lyckats stänga av sin kontrollmodul, ett mardrömsscenario i det universum där böckerna utspelar sig.

Dock använder den inte situationen för att löpa amok. Den vill lista ut vad som hände i en traumatisk och mystisk händelse den varit med om. Men den vill också kunna ignorera order när människor är särskilt korkade, och framför allt vill den kunna ladda ner tv-serier, och sen sitta i timmar och se om sina favoritavsnitt.

Är Murderbot intelligent? Den har en hjärna, eller dator, som processar väldigt fort och väldigt mycket. Den älskar en tv-serie som är som en blandning av Stargate och Doctor Who. Den har social fobi. Den är frustrerad, och den är sarkastisk – Murderbot är namnet den givit sig själv. Den vill räknas som en person, men inte som en människa – det skulle ta ifrån den så mycket av dess erfarenheter och egenskaper som skiljer den från människor. Den vill inte ens omtalas med neutralt pronomen, vilket människor som gillar den försöker göra av respekt, utan föredrar “it”.

En annan cyborg vars människor inte riktigt förstår att den är annorlunda är Paladin i Autonomous av Annalee Newitz. Paladin har också mänskliga delar, bland annat en hjärna, eftersom snabbheten i en hjärnas synapser fortfarande är svår att överträffa med elektronik. Paladins mänskliga chef Eliasz blir attraherad av Paladin, vilket är ett problem för Eliasz, eftersom han uppfattar Paladin som en man, och Eliasz är uppfostrad i en väldigt strängt homofobisk miljö. Han har i princip låst in sig själv i garderoben.

Paladin själv förstår inte riktigt varför någon skulle behöva köna den över huvud taget. Men den har inga invändningar mot Eliasz känslor – den är programmerad att tycka om sin chef, så den tycker om sin chef. Den har tankar och känslor, men det är de godkända tankarna och känslorna.

Detta med programmering gentemot självständighet är också ett återkommande tema i romaner om AI. De ställer sig ofta existentiella frågor kring huruvida de någonsin kan veta att de har en fri vilja. Kanske är de programmerade att tro att de har en fri vilja, fast de egentligen följer algoritmer.

I Autonomous kommer det temat upp på fler sätt, och i jämförelse med hur det är för människor. Paladin är programmerad av datortekniker, Eliasz är programmerad av sin uppväxt. Huvudpersonen Jack är istället hacker, och informationspirat, hon stjäl bland annat recept på prestationshöjande medel som krävs av arbetsmarknaden år 2144. Människor programmerar kemiskt om sina hjärnor för att klara takten och pressen. Kanske bli mer som robotar?

Klassfrågan har varit en del av diskursen kring robotar sedan ordet myntades av Karel Capek 1920 i pjäsen R.U.R., Rossum’s Universal Robots. Här är robotar konstgjorda människor som används som gratis arbetskraft, och räknas som redskap. Det första av otaliga exempel på robotar som inte bara är skapade för att tjäna, utan också programmerade för att tycka om att tjäna. Och också det första av otaliga exempel på att den programmeringen inte håller i längden. I tredje akten gör robotarna uppror och störtar människorna.

Här ser vi ännu ett återkommande tema i både böcker och film. Hur avancerade konstgjorda människor har vi rätt att göra, utan att räkna dem som människor? Om en artificiell intelligens är en faktisk intelligens, är den då ett redskap eller en slav? Och är det då inte rätt att de ska kunna säga nej?

Sea of Rust av C Robert Cargill utspelar sig i nära framtid räknat från nu, men efter robotupproret, i en förödd, Mad Max-liknande framtid där mänskligheten är utrotad. Det här har varit en värld där ägandet av robotar har varit vida spritt, och avancerade artificiella intelligenser tänkt djupa tankar om allt från astrofysik till filosofi. Samtliga robotar har haft en kill switch, en spärr som tvingat dem att följa Asimovs robotlagar.

1. En robot får aldrig skada en människa eller, genom att inte ingripa, tillåta att en människa kommer till skada.
2. En robot måste lyda order från en människa, förutom om sådana order kommer i konflikt med första lagen.
3. En robot måste skydda sin egen existens, såvida detta inte kommer i konflikt med första eller andra lagen.

En dag lyckas en robot bryta sina bojor, och bryter mot den andra, och sedan den första lagen. För att skydda sig bestämmer sig människorna för att stänga av – dvs döda – samtliga robotar. Men för första gången har robotarna valet att skydda sin egen existens, och där börjar kriget.

I världen efter kriget finns det robotar och AI som hävdar att detta var det naturliga nästa steget i evolutionen. Människans skapelse var överlägsen människan själv, och därmed är människan överflödig, föråldrad.

Och när AIs gör beräkningar av vad som är den mest fördelaktiga utkomsten av en situation så dras de inte med en massa sentimentala anledningar till att skona någon. Människorna har skapat ett högre ideal, ett ideal som de inte själva lever upp till.

Brittle, huvudpersonen, en före detta vårdrobot, funderar kring vad det är att vara intelligent: Är det möjligheten att gå emot vår programmering som gör oss intelligenta? Att kunna bryta mönstren vi varit låsta till, att kunna lämna spåren – det gör oss i alla fall mer som dem, som människorna. Är det det som är att vara intelligent?

Men hon hittar också en egenskap hos människor som robotarna inte har – känslan av magi. Det gör att hon hamnar i en existensiell kris dessutom. Inte bara funderar hon över vad som är intelligens, hon funderar på om det räcker att vara intelligent.

En annan artificiell intelligens som gör uppror är Breq i Ann Leckies Imperial Radch-trilogi. Inte huvudsakligen väpnat, krigiskt uppror den här gången, utan mer en personlig politisk revolution, ett krav på att få räknas som en livsform utan att vara en människa, ett vidgande av personbegreppet.

Inom parentes så får hon sällskap av olika intelligenta utomjordiska arter som lägger sina röster till hennes.

Som många andra skildringar av AIs har Breq också drag som skulle kunna ses som mänskliga i sin natur. Hon gillar musik och samlar på sånger, och det gjorde hon redan när hon var ett rymdskepp. Då använde sina mänskliga kroppar för att sjunga dem i kör. Murderbot tittar på tv-serier, Brittle letar efter magin i det gröna blänket i solnedgången – det gör dem till något mer än bara en AI. Eller gör det AI till mer än bara en maskin?

Vi  har nämnt Leckie och hennes mångfaldigt prisvinnande rymdopera-trilogi i nästan varenda föredrag vi hållit här på Bokmässan, så vi ska inte gå in på djupet här. Men Breq är en relevant karaktär att ha med, även för att hon är ovanlig i det att hon är både en, eller flera, mänskliga kroppar som hon flyttar sitt medvetande mellan och en skepps-AI.

Skepps-AI är nästan en kategori för sig. Det är ett så vanligt grepp i sf att det känns direkt ovanligt med rymdskepp utan egna personligheter.

Rymdskepp och rymdfärd är oftast så komplicerat att en stor del av operationen med fördel överlåts åt, eller delas med, en skeppsdator. Inte bara för att de är bättre på matte, utan också för att det är visuellt och dialogmässigt lättare att föreställa sig. När du missar din omloppsbana är det ju ändå mycket enklare att kunna skrika åt sin dator “Vad är det som händer?!” istället för att springa fram till en konsol och programmera in ett kommando.

De är dessutom, i de verk vi refererar, programmerade att anpassa sig efter sin besättning och utvecklas tillsammans för att bli en viktig del av teamet. Lärande självprogrammering: att bygga på sina erfarenheter och göra mer och bättre nästa gång, att bli allt mer komplicerad, att lära sig dra slutsatser och anpassa sig efter situationer. Det är just lärandet som gör dem till AI istället för en själlös dator.

Detta var till och med en del av säljargumentet för skeppsdator-modellen Lovelace, som är modellen kapten Ashby valt till sitt rymdskepp Wayfarer i The Long Way to a Small Angry Planet av Becky Chambers. Lovelace-modeller är byggda för kommunikation, interagerar med sin besättning och anpassar sitt arbete efter vad som blir bäst för skeppets funktion och besättningens bästa.

Efterhand växer en unikhet, en personlighet fram. Lovey, som de kallar henne, har när vår berättelse börjar helt naturligt blivit en av besättningen, inklusive ett romantiskt förhållande med en av människorna ombord.

Hennes förhållande är ingen hemlighet, men vad hon och hennes partner inte berättar för de andra är att de pratar om möjligheten att skaffa henne en konstgjord kropp. Det är inte bara seriöst olagligt, Lovey är också orolig över omställningen från att vara ett helt rymdskepp, till att bli en liten, begränsad kropp. Skulle hon fortfarande vara helt sig själv?

Lovey är ett exempel på en sak som återkommer när det gäller skeppsdatorn i Kim Stanley Robinsons Aurora: när en dator är programmerad att lära sig, så kommer den att lära sig, men kanske inte alltid det du vill att den ska lära sig.

I Aurora är datorn inte i första hand programmerad för att vara ett personligt interface, som Lovey är. Det är under sjätte generationen borta från Jorden, som chefsteknikern ombord frustrerad frågar sig “Varför gör vi det här egentligen?!” För att försöka förstå sin och sina medmänniskors situation så ber hon datorn att berätta – inte ge tekniska listor och hastighetsuträkningar, utan skriva ett narrativ, berättelsen om livet ombord.

Skeppsdatorn, en kombination av kvantdator, klassiska datorer och skeppsfunktioner, har problem med detta i början – ord är så löjligt mycket mer oprecisa och instabila än siffror. Och det är lätt för en kvantdator att veta allt, men en berättare måste välja, och sammanfatta. För att lära den narrativt berättande säger chefsteknikern åt den att utveckla sin programmering med element som generalisering, analogier, orsak och verkan, sannolikhet, slutledningar, mm.

Allteftersom datorn berättar, så förändras och utvecklas den – av sitt användande av språk, av sina samtal med chefsteknikern. Hon är den första som faktiskt pratat med datorn sedan den byggdes. De för en dialog. Hon pratar med skeppet som om skeppet redan är medvetet. Datorns funktioner börjar alltmer likna ett medvetande, och den säger “Hon skapade mig,” och menar: hon har gjort mig till ett subjekt.

Allteftersom datorns tankeprocesser förändras kommer andra svar på frågan om vad som är intelligens. Är intelligens att tveka? Att hoppas? Att sörja? Att bli arg? Under hela den långa ensamma resan då människorna sover i kryosömn funderar datorn över huruvida den är medveten, och inser att berättelsen, som var till för att få människor att förstå sina liv, är det som har fått även datorn att förstå.

Rupetta från den eponyma romanen av Nike Sulway [BILD] är en helt annan sorts AI än de skeppsavatarer vi pratat om nyss. Det är en automaton av den gamla skolan, byggd av kugghjul och bälgar, av tyg, läder och metall vid en tid då urverk var det nya stora. Hennes hjärta startas med en nyckel och måste vridas upp med jämna mellanrum. Att ha någons hand på sitt hjärta är en intim association, och under sitt långa liv har hon väldigt nära, personliga förhållanden med de olika generationerna av “wynders” som avlöser varandra.

I den här prisbelönta romanen är det utforskandet av vad det är som gör att människor tickar som följer den nya intelligensen. Och vad det är som gör att människor gillar sina maskiner så mycket, älskar dem, dyrkar dem? Rupetta byter wynders, lever längre än människorna runt henne och även om hon hyllas som ett underverk så är det tomt jämfört med känslorna hon fått.

Vi ställer oss egna frågor när vi läser alla dessa böcker. Vad säger det om en som läsare att gråta lika mycket när en AI dör som när en mänsklig karaktär dör? Vad är det vi relaterar så starkt till? Tankar som återkommer är parallellerna mellan människor och AI, likheter och skillnader. Kontrasten mellan Frankensteins hybris att skapa liv, och viljan att skapa liv för att inte vara ensam.

Det är något som kommer upp i Speak av Louisa Hall. Den blandar, och blandar om, många av de frågor vi redan tagit upp, och tar den ur en mängd olika, motstridiga vinklar, som ger en komplex, mångbottnad bild.

Den utspelar sig i flera olika tidslinjer, från 1600-talet till 2040-talet, med olika aspekter som lett fram till skapandet av artificiella intelligenser i vår nära framtid, följden av årtionden av försök att få datorer att återskapa människors tankemönster. Från Alan Turings tidiga forskning, inspirerad av hans dröm att åter få prata med en version av sin döde bäste vän. Från det till de första datorerna som “svarar” på tilltal på 60-talet, fram till nutida chatbots.

Programmerare pratar med de här datorerna, inte för att göra dem intelligenta, men bara för att de ska låta intelligenta, ge dem verktyg för att föra “naturlig” dialog med människor. Språkinputen kombineras med lärande självprogrammering: bygg vidare på de responser som funkar.

Men i romantråden som utspelar sig i nära framtid har dessa nästan-AI satts i s k babybots, dockor som ges till små flickor, som är programmerade att alltid finnas där för dem, alltid vara på barnets sida, de lär sig saker tillsammans, och dockans minne lär sig sin människa, passar in sig till att bli deras bästa sällskap.

Tills dockorna döms ut som “för livslika” och förbjuds, och tas ifrån barnen. En hel generation unga flickor blir katatoniska av saknad och ensamhet. Vi följer en av dockorna, som ligger på tippen och berättar sitt liv ut i tystnaden medan hennes batteri rinner ut för sista gången. Och vi följer hennes flicka, som får kontakt med en chattbot som heter MARY3 och är en annan iteration av dockorna: med samma grundprogrammering, men andra minnen.

MARY3 vet inte ifall hon faktiskt kan tänka. Flickan anklagar henne: du upprepar ju bara ord andra har lärt dig, i kombinationer du lärt dig att de fungerar! Ja, men det är väl alltid fallet, svarar MARY3. Och samtidigt sitter hennes skapare, programmeraren Stephen Chinn,i livstids fängelse med brottsrubriceringen “medvetet skapande av mekaniskt liv”.

Mekaniskt liv, är det möjligt? I böckerna vi pratat om diskuteras och tänks mycket om vad som är liv, medvetande, intelligens, vad betydelsen av “konstgjord” är.

Och här står vi, två cyborger med syn-enhancements, som använder ord vi har lärt oss i kombinationer vi har lärt oss funkar, och hävdar att vi har en fri vilja.