Vad är singulariteten?
– Redan på 1940-talet förutsåg datalogins fader Alan Turing att artificiell intelligens förr eller senare skulle kunna nå upp till den mänskliga intelligensens nivå, eller ännu högre. Då talar vi inte om saker som att vinna över människor i schack eller Jeopardy – det klarar datorer redan av – utan det man kallar generell intelligens, en flexibilitet i tänkandet.
Okej.
– Singulariteten är en idé om vad som kommer efter detta genombrott. Man tänker sig följande: om datorprogram har högre allmänintelligens än vi så är de också bättre på att skapa artificiell intelligens. Detta leder in i en spiral av allt smartare maskiner. Flera teoretiska argument tyder på att utvecklingen då kommer att eskalera.
I samband med singulariteten nämns ofta Moores lag.
– Moores lag handlar om hur hårdvaran i våra datorer under en rad decennier har förbättrats på ett sätt som passar väldigt bra in i en exponentiell kurva. Man tittar bland annat på hur mycket minnesutrymme man kan köpa för 1 000 dollar och talar om en fördubblingstakt i prestanda på 24 månader. Vi har redan sett en dramatisk utveckling. Om man extrapolerar det här ett par decennier fram i tiden så …
»Det stora genombrottet« har redan förutspåtts inträffa vid en rad tillfällen, varav flera har passerats för länge sedan.
– Så är det. Och det har skadat områdets trovärdighet. På 60-talet förutsåg man att datorer inom tio år skulle kunna göra allting som en människa gör men på ett effektivare sätt. I backspegeln har det ett löjets skimmer över sig. Men det faktum att förutsägelser som gjorts i det förflutna har varit fel betyder inte att förutsägelser som görs i dag kan avfärdas. Man bör vara väldigt ödmjuk när man försöker förutse framtiden. Men man bör ändå ha de här sakerna i åtanke. Framtidsforskning tenderar att fokusera på demografi och liknande saker, men bortser vanligen från den här sortens teknikutveckling. Därför utgår de flesta prognoser implicit från att tekniken kommer att hålla status quo, och det känns faktiskt ganska orealistiskt.
Varför ser prognoserna ut så, tror du?
– Därför att singulariteten är en alldeles för radikal tanke. Det är lätt att säga: »Det låter ju som science fiction, det behöver vi inte ta på allvar.« Jag var på en konferens i Oxford för ett drygt år sedan som handlade om artificiell generell intelligens, AGI. Hälften av deltagarna var futurologer, filosofer – personer som tänker mycket på singulariteten och dess konsekvenser för mänskligheten. Den andra hälften var sådana som sysslar med att försöka åstadkomma AGI. De tänkte inte på de här filosofiska aspekterna, och avfärdade dem som spekulationer. De jobbar glatt vidare mot något som kanske är extremt farligt – farligt på en ny nivå, inte bara för en människa eller en nation, utan för oss alla.
Hur skulle det vara farligt?
– Det är svårt att tänka sig ett scenario där man har en art – mänskligheten – som har en intelligens på en viss nivå, och en population av AI som har en mycket högre intelligens, men som finner sig i att vi tar alla viktiga beslut. Om de är lika mycket smartare än vi som vi är gentemot schimpanserna, så lär det inte vara svårt för dem att bestämma: »Det här aptjattret kan inte styra världen.«
Det finns ju de som har lagt fram teorier om att en AI skulle kunna isoleras.
– Om man tänker naivt så borde det inte vara så himla svårt. »Om den börjar göra taskiga saker så är det bara att dra ut sladden.« Men då tänker man inte på att varelsen är 1 000 gånger smartare än jag och du, och att den skulle kunna manipulera oss.
Hur då?
– Det ligger i sakens natur att vi inte kan tänka ut dess bästa argument. Men här kommer ett scenario som en forskare från Oxford har beskrivit. Jag sitter med superintelligensen och den vill gärna att jag ska släppa ut den på internet så att den kan göra vad den nu vill göra. Men om jag gör det så tar den troligtvis över världen, på gott eller ont, och jag har som uppgift att se till att den inte gör det. AI:n säger: »Jag kommer att göra dig till mångmiljardär och jag kommer att utrota malaria«, och så vidare. »Nej«, säger jag. Då går den över till att bli aggressiv: »Jag kommer att bli utsläppt så småningom ändå, och då ser jag inte med blida ögon på att du sinkade utvecklingen.« Tänk vilket otroligt mod det skulle krävas för att stå emot en sådan varelse.
Samtidigt kan man ju inte stänga ner ett helt forskningsfält på grund av potentiella faror.
– Självklart inte. Min ambition är att lyfta frågan. För att vi ska kunna resonera behöver vi titta med viss klarsyn på framtiden. Hur vi sedan ska agera inför potentiella faror – om det går att införa moratorium eller förbud mot viss forskning, det ser jag som nästa stora fråga.
Vad är frontlinjen inom forskningen kring AGI?
– Det finns flera spår. En del är att man försöker emulera en mänsklig hjärna. På konferensen i Oxford pratade deltagarna även om hur man bygger en AI från scratch, dels med klassisk programmering, men också med nyare idéer som machine learning – det som Googles sökmotor sysslar med när den plockar upp information och arbetar in den i existerande algoritmer för att göra dem bättre. Sedan finns ett spår som kallas genetisk och evolutionär programmering.
Vad är det?
– Du skriver ett litet program som du utgår ifrån, och sedan gör du en massa kopior av det som lever som ett slags virtuell population på din dator. De har problem som de ska lösa, och så kan du göra små slumpmässiga förändringar i programmen som ska motsvara mutationsförekomsten i biologiska populationer. Därefter utsätter du populationen för naturligt urval – de program som det går bra för får föröka sig, de andra slås ut. Sedan gör du nya slumpmässiga förändringar, och så får det här fortgå.
Som en supersnabb evolution?
– Just det. Man tänker att det kan gå snabbare än den naturliga evolutionen eftersom vi har snabba datorer i dag, men också för att den här evolutionen inte behöver gå fram helt i blindo.
Allt det här är ganska läskigt.
– Jag har tagit stort intryck av en forskare som heter Eliezer Yudkowsky. Han är väldigt rädd för vad som händer om vi inte explicit bygger in värderingar som överensstämmer med våra egna och som sätter mänskliga intressen högt i de här AI-varelserna. Han har ett lustigt exempel: tänk dig att den första AI:n som når över den kritiska nivån har som uppgift att producera gem. Den skapar alltså nya generationer av ännu kraftfullare gemgeneratorer som till slut stöper om hela galaxen till att bara bestå av väldigt, väldigt många gem. Det är inte en framtid som vi särskilt gärna skulle vilja ha. Och det är kanske inte heller det troligaste scenariot för vad som kommer att hända. Men hans poäng är att vi måste tänka väldigt noga på vilka värderingar vi planterar hos AI:n. Den hatar dig inte, den älskar dig inte heller, men du är gjord av atomer som den kan ha annan användning för. Du är inte heller vilket stycke atomer som helst, utan ett stycke atomer som eventuellt kan göra motstånd mot dess idéer om hur världen ska utformas.
När tror du själv att singulariteten kommer att inträffa?
– Jag tror inte att man med bestämdhet kan förutsäga att det ens kommer något som liknar en singularitet. Men förutsatt att vår teknikutveckling får fortsätta obehindrat så känns scenariot någorlunda trovärdigt. Sedan om det dröjer 20, 100 eller 500 år, det är det väldigt svårt att sia om.