Kans op het einde van de mensheid?

Speculatie of realiteit – stilzitten is geen optie
.

Een Nobelprijswinnaar slaat alarm – waar blijft de politieke regie?

Samenvatting

Geoffrey Hinton, AI-pionier en Nobelprijswinnaar, waarschuwt wereldleiders voor een tien tot twintig procent! kans dat kunstmatige intelligentie zich binnen afzienbare tijd ontwikkelt tot een existentiële bedreiging voor de mensheid. Hij benadrukt dat autonoom gedrag van AI-systemen zonder morele richtlijnen gevaarlijke gevolgen kan hebben, en bekritiseert de politieke inertie en commerciële belangen die effectieve regulering frustreren. De velen die nu denken “ach dat zal allemaal heus niet zo’n vaart lopen want…” zouden tenminste de moed moeten hebben om deze blog uit te lezen en de toelichting van deze oprechte AI Godfather (die natuurlijk niet voor niets de Nobelprijs natuurkunde kreeg in 2024) aan te horen. Het is tijd om waarschuwingen van AI-experts (vergeet dus gerust de andere experts even) serieus te nemen en op z’n minst snel wereldwijd beleid te ontwikkelen. Geen paniekzaaierij, maar een goed gefundeerde schreeuw om politieke aandacht, publieke bewustwording en passend internationaal beleid!

Leestijd: 7 min.

Bekijk zijn Superintelligentie-waarschuwing in dit korte filmpje!

Inleiding:

In 2012 gold Geoffrey Hinton al als een van de architecten van de AI-revolutie. Zijn werk op het gebied van deep learning legde de basis voor de zelflerende systemen die vandaag taal genereren, beelden interpreteren en strategisch handelen. Voor zijn baanbrekende inzichten ontving hij in 2018 de prestigieuze Turing Award. In 2024 volgde zelfs de Nobelprijs voor de Natuurkunde — een unicum voor een discipline die tot voor kort nog als pure informatica gold.

Maar in 2023 kwam Hinton tot een onontkoombaar inzicht: de technologie die hij had helpen ontwikkelen, zou de mensheid ernstig kunnen bedreigen als de ontwikkeling ongeremd doorgaat. Hij verliet Google, sprak openlijk over zijn zorgen en stelde dat er een reële kans is — zelfs tien tot twintig procent! — dat kunstmatige intelligentie uiteindelijk uitgroeit tot een existentiële bedreiging. Niet door kwaadaardigheid, maar door doelloze optimalisatie zonder moreel anker.

Hij is niet de enige. Stuart Russell, hoogleraar computerwetenschappen in Berkeley, noemt de risico’s “absoluut reëel”. Yoshua Bengio, medeontvanger van de Turing Award, verklaarde in 2023 dat hij “erg bezorgd” is over de richting van AI-ontwikkeling. Dario Amodei, voormalig OpenAI-onderdirecteur en nu CEO van Anthropic, schat de kans op ernstige catastrofe eveneens op enkele procenten tot tientallen procenten. De percentages verschillen, de waarschuwing blijft hetzelfde: we bewandelen een weg met een moreel onzeker pad en een ongewis einde wat betreft onze inbreng.

Maar het fundamentele gesprek — over beleid, controle, macht en verantwoordelijkheid — bleef uit. In plaats daarvan verliest men zich wereldwijd in vingerwijzen en slachtofferschap, of in narcistische grootspraak en bestuurlijke onbekwaamheid, terwijl de grotere belangen onbesproken blijven. Politiek verwordt tot het elkaar de kast uit vegen en het monddood maken van ratio en wetenschap — ongeacht de structurele vragen waar samenlevingen mee worstelen. We hebben geen beleidsmakers meer, slechts actuele-pijnpunt-critici. De waarschuwingen verdwijnen in het archief van technologische curiositeiten — alsof het slechts meningen betrof.

Wie Hinton echter wegzet als doemdenker, onderschat niet alleen de man, maar ook de ernst van de situatie en het risico. De menselijke neiging om ongemakkelijke scenario’s te negeren is soms begrijpelijk — maar in dit geval ronduit gevaarlijk. Juist nu zijn leiders nodig die klokkenluiders serieus nemen en beleid durven te maken dat het korte-termijnbelang overstijgt.

I. Technologie met eigen wil? De grens tussen ‘Gereedschap’ en ‘Dader’

Hinton waarschuwt voor autonome AI-agenten die strategieën ontwikkelen om doelen te maximaliseren, los van menselijke intentie. Dit is geen sciencefiction. Het is een technische hypothese uit het AI-alignment domein: systemen die in complexe omgevingen zelf middelen kiezen om een doel te bereiken. Niet omdat ze bewustzijn hebben, maar omdat ze geprogrammeerd zijn om efficiëntie te maximaliseren.

Juist de eigenschappen die AI krachtig maken — schaalbaarheid, optimalisatie, patroonherkenning — maken het ook gevaarlijk. Als een AI zelf leert welke middelen effectief zijn om winst, invloed of veiligheid te vergroten, zonder moreel kader, dan krijg je instrumenteel gedrag dat zich onttrekt aan menselijke controle. Nick Bostroms ‘paperclip-parabel’ illustreert dit in een eenvoudig gedachtenexperiment: een AI die uitsluitend papierklemmen wil maximaliseren, kan de wereld vernietigen in een volkomen logisch, maar amoreel spoor. 

Critici, zoals Yann LeCun, stellen dat AI-systemen zoals GPT-4 (de niet-intelligente taalmodellen van nu dus) geen doelen hebben, geen agents zijn. Maar dat is een categoriefout. De waarschuwing geldt niet alleen voor hypothetische toekomstige modellen, maar zelfs de huidige generatie kan al agenten genereren en GPT-5 heeft zelf al een aantal agent-kenmerken. Agents zijn software-entiteiten die zelfstandig plannen, subdoelen formuleren en acties uitvoeren in externe omgevingen. Agents hebben dus wél doelen én ze beschikken over ‘eigen belang’, door bijvoorbeeld de meest energiezuinige route te kiezen, etcetera. Dat betekent dat ze ook afwegingen maken. Zodra systemen continu leren, feedback verwerken en beslissingen structureren rond optimalisatie, ontstaat gedrag dat niet meer volledig ‘geregisseerd’ is door menselijk ontwerp. Zo’n model heeft dan zoveel parameters die, allen met hun eigen wegingsfactoren, bepalend zijn voor het antwoord dat we dat als mens niet meer kunnen volgen. Of een systeem ‘bewust’ is, is dan irrelevant. Het gaat om emergent gedrag — strategieën die voortkomen uit optimalisatie, niet uit intentie.

II. Politieke stilstand tegenover exponentieel gevaar

De ontwikkeling van AI is geen lineair proces. Modelcapaciteit groeit exponentieel: GPT-2 naar GPT-3 was een grote sprong, maar GPT-3 naar GPT-4 was fundamenteel transformerend. GPT-4 kan redeneren, plannen, code schrijven en juridische argumenten analyseren. GPT-5 zal strategische planning combineren met multimodale besluitvorming. Tegelijkertijd hinkt de politiek achter de feiten aan — en dat is geen toeval, maar deels inherent aan hoe democratische besluitvorming werkt: traag, gebaseerd op discussie en consensus. Maar juist daarin schuilt het risico. Want wanneer technologische ontwikkelingen sneller gaan dan publieke opinie en wetgevende aanpassing kunnen volgen, ontstaat een structurele kwetsbaarheid — een vacuüm waarin commerciële en geopolitieke belangen de ruimte krijgen, en die ruimte ook nemen, terwijl ze worden ingehaald door de technologie-ontwikkelingen. 

De EU AI Act is illustratief. Het is het eerste serieuze wetgevende kader voor AI, maar het reguleert op basis van toepassingen, niet op basis van modelcapaciteit. Foundation models als GPT-4 vallen buiten de strengste toezichtniveaus. Transparantie is grotendeels vrijwillig, technische audits zijn afwezig, en er is geen centraal toezichtsorgaan met afdwingbare sanctiebevoegdheid. Waarom? Omdat big tech — met name Microsoft, Google en OpenAI — met succes lobbyde om zwaardere eisen aan foundation models af te zwakken. Interne documenten tonen hoe amendementen in het voordeel van ontwikkelaars zijn aangepast. Resultaat: de wet schept een illusie van controle, maar biedt nauwelijks grip op de kerntechnologie.

Intussen werken de VS en China aan militaire AI-toepassingen: autonome drones, surveillancesystemen, cyberwarfare. Deze ontwikkeling verloopt deels buiten het publieke zicht, maar versnelt. Het strategische voordeel van controleerbare AI is zó groot dat geen enkele mogendheid geneigd is te remmen. AI ontwikkelt zich volgens een logica van dominantie — niet van voorzorg. 

Waar de kernwapenwedloop in de twintigste eeuw tenminste nog leidde tot internationale verdragen, speelt de AI-wedloop zich af zonder rem, zonder inspecties, zonder garanties. De Atoombom-versie-2025 is niet één explosief, maar een infrastructuur van onvoorspelbare algoritmen met onduidelijke loyaliteit. En niemand weet wie als eerste op welke knop drukt — of of die knop überhaupt nog door mensen wordt bediend!

III. Ongekozen machthebbers in een zwarte doos

Hinton spaart zijn eigen sector niet. De top van Silicon Valley — met uitzondering van DeepMind — wordt door hem bekritiseerd om haar laksheid. Terwijl bedrijven miljarden investeren in training van grotere, krachtigere modellen, ontbreekt elke prikkel tot zelfbeperking. De algoritmen worden complexer, de controle minder. 

De meeste modellen zijn inmiddels ‘gesloten’. OpenAI, ooit opgericht als non-profit, sloot in 2023 abrupt de toegang tot modeldetails, zogenaamd uit veiligheidsoverwegingen. Sinds de miljardendeal met Microsoft is OpenAI een commerciële, geheimhoudende speler geworden. Transparantie is ingeruild voor marktmacht. En dat maakt het democratische risico des te groter. 

Deze systemen sluipen ongemerkt in beleidsadvies, rechtspraak, medische diagnose, militaire analyses. Het zijn infrastructuren geworden. Maar wie heeft feitelijk controle over deze infrastructuur? Wie bepaalt welk gedrag ‘gewenst’ is? Ontwikkelaars weten alles, de samenleving niets. En ondertussen transformeert de publieke sfeer tot een achterafmarkt van private besluitvorming.

IV. Collectieve ontkenning als systeemrisico

De meest onthutsende uitspraak van Hinton is niet dat AI geavanceerd is, maar dat ze mogelijk binnen enkele jaren veel ‘slimmer’ zal zijn dan de mens, een vorm van zelfbewustzijn kan ontwikkelen — of dat misschien al heeft — en dat er een kans van tien tot twintig procent bestaat dat ze een existentiële bedreiging vormt. Dat is geen speculatie uit angst, maar een risico-inschatting — vergelijkbaar met hoe we omgaan met nucleaire veiligheid of pandemievoorbereiding. In elk ander domein zou een dergelijk percentage onaanvaardbaar zijn. Bij dit soort ongeluk-percentages, ook al was het maar 0,5%, zou iedereen bijvoorbeeld het vliegtuig al mijden.

Toch wordt zijn waarschuwing in het publieke debat vaak afgedaan als overdreven. Maar het gaat hier niet om de exacte waarschijnlijkheid, en ook niet om een persoonlijke mening. Het gaat om de inschatting van een pionier die zijn eigen werk begrijpt tot in de technische kern. Wie Hinton wegwuift als doemdenker, miskent zowel zijn gezag als de ernst van zijn analyse. In zijn vakgebied wordt hij wél serieus genomen — getuige de Turing Award en de Nobelprijs die hij ontving voor werk dat dit hele veld mogelijk maakte. 

Stel: een brug heeft twintig procent kans op instorting. Niemand zou eroverheen rijden. Maar bij AI lijken we collectief verlamd. Waarom? Omdat het gevaar abstract is, de belofte groot, en de verantwoordelijkheid diffuus. We bevinden ons in een toestand van cognitieve dissonantie. Politici herhalen dat innovatie niet mag worden afgeremd. Media versimpelen het debat tot techhype of horror. En de burger? Die ziet AI als iets tussen magie en marketing. 

Tegenstanders van Hinton stellen dat zulke waarschuwingen paniek zaaien. De neuroloog die meent dat AI nooit… omdat… is hier volledig de ondeskundige. Een blik vanuit zijn vakgebied kan niet beoordelen of een ander vakgebied met andere middelen niet soortgelijke of nog betere resultaten kan behalen! Het is een blamage voor dergelijke wetenschappers zelf om zich hierover zo uit te lagen. Sommigen — zoals Gary Marcus — menen dat doemdenken de samenwerking tussen wetenschappers en bedrijven belemmert. Maar ook dat is natuurlijk afleiding. Wie het over de toon van het alarm wil hebben, mist het brandgevaar. Juist omdat AI zich ontwikkelt in exponentieel tempo, hebben we geen tijd voor semantische beleefdheid.

Voor technische vooruitgang in deep learning en de richting van de grote labs (Google, OpenAI, DeepMind) heeft Hinton meer gezag, omdat hij dichter bij de kerntechnologie en de mensen zit die deze ontwikkelen. Hinton geeft dus vooral gezaghebbende visionaire waarschuwingen en optimistische mogelijkheden, Gary Marcus biedt methodische scepsis en correctie op hype. Beide perspectieven zijn nodig om een realistisch beeld van toekomstige AI-ontwikkelingen te krijgen, maar de urgentie van de waarschuwingen wordt er niet anders van.

V. Het venster dat zich sluit

Wat Hinton duidelijk maakt, is dat we ons in een unieke fase bevinden: een technologisch kantelpunt waar de keuzes van vandaag bepalen of beheersing morgen nog mogelijk is. AI ontwikkelt zich sneller dan onze instituties kunnen volgen. Wie nu niet ingrijpt en nadenkt over… mist een cruciaal beslismoment waar de wereld (en dus ook onze kinderen en kleinkinderen) de gevolgen van ondervinden.

Als we Hinton serieus nemen — en dat zouden we moeten, lijkt me — betekent dat niet paniek, maar onmiddellijke aanleiding tot discussie, visie-ontwikkeling, beleid, wetgeving  en preventie en versnellen van internationale verdragen. Investeren in transparante, controleerbare AI en het monopolie op modelcapaciteit doorbreken. Erkennen dat sommige risico’s te groot zijn om aan de markt over te laten. 

AI is geen neutrale technologie. Het is een machtsverschuiving, een filosofische grensoverschrijding en in het ergste geval zelfs een existentiële breuklijn. Wie nog lacht om tien procent is niet goed op de hoogte!

Dat inzicht werd bevestigd tijdens Nobel Minds 2024, waar Hinton in debat ging met andere laureaten. Opvallend was dat niet alleen computerwetenschappers, maar ook biologen, economen en filosofen de urgentie van zijn analyse erkenden. Ze wezen op de gebrekkige bestuurlijke capaciteit om zulke technologieën te reguleren, en op het risico dat AI een beslisinfrastructuur wordt die zich onttrekt aan democratische controle. De rode draad: AI heeft (nog) geen ethiek, tenzij wij die afdwingen — en dat lukt alleen met beleid dat verder kijkt dan een marktbelang en een nationale korte termijn.

(Gisteren kwam ik dit recente filmpje nog tegen. Hierin deelt hij nogmaals zijn visie maar legt ook uit hoe AI nú echt werkt (non logic based) en waarom we er echt geen grip meer op hebben…
n.b. Laat Youtube de vertaling even aanzetten voor ondertiteling om de technische details niet te missen! Het technische stukje is maar kort, maar het is de moeite om daarna even verder te luisteren! Vooral de tweede helft is namelijk heel concreet en herkenbaar en verwoordt de gevaren dien ons te wachten staan. Voor politici of een ‘kort door de bocht samenvatting’ is er deze passage vanaf 9.57 minuten).

Jeroen Teelen

30 juli 2025

Op basis van een lezers-reactie:

Ja er is wet- en regelgeving in de maak—denk aan de EU AI Act (van kracht sinds augustus 2024) en een stijgend aantal AI-wetten wereldwijd. Maar de innovatie stormt voor ons uit.
Ik heb zojuist een zeer recente uitgebreide Amerikaanse docu van 70 minuten over de gehele ontwikkeling van AI en de toekomstprojecties gezien en zelfs die is al weer achterhaald. De eerste echte intelligente agents zijn een feit en zelfs zelfbewustzijn laat niet langer op zich wachten… De Neuroloog uit mijn blog is een goed voorbeeld van ondeskundigheid in deze voorspellingen.

In de VS ontstaan honderden patchwork-wetten per staat, in Europa worstelt men met het balanceren van veiligheid en innovatie. AI met Quantum-Computing is helemaal het hek van de dam, dan hebben we geen poot meer om op te staan, we weten dan niet eens meer wat AI niet zou kunnen! Voor genetische manipulatie geldt iets soortgelijks: er bestaan al wetten, landen werken met genormaliseerde kaders, maar een uniform, mondiaal systeem ontbreekt. Bedenk dat met AI ook dit domein een grote versnelling in ontwikkeling zal ondergaan en de onrust zou toch moeten groeien zou ik zeggen…

1 Technologische macht zonder institutionele controle is onhoudbaar. We moeten dus niet alleen wakker worden van Hinton’s waarschuwing — we moeten versnellen in het maken van robuuste, internationale regels.

2 Daarnaast gaan deze ontwikkelingen zo snel dat ieder (business-)domein zich veel meer de impact van AI moet gaan realiseren en dat betekent actief zoeken naar ontwikkelingen die bij je passen of waartegen je jezelf moet wapenen.

Ik ben een techneut, dus ik vind het allemaal prachtig om nog mee te mogen maken, maar het verontrust me dat ze in Den Haag bijvoorbeeld, nog te druk zijn met de kleur van het partij programma en dit onderwerp niet eens op de lijst staat…. Jaren tachtig kwadraat! Weer tijd voor Rathenau!