Kan AI nu ook wetenschappelijk onderzoek uitvoeren? (Niet echt.)
Kan AI nu ook wetenschappelijk onderzoek uitvoeren? (Niet echt.)
Editie #16 van De hype is real, een nieuwsbrief over misinformatie, mediahypes en morele paniek.
Beste lezer,
Ze eten je hond op!
Tja — het was weer eens wat anders dan het aloude: ze pikken je baan in.
Ik heb het over Donald Trumps uitspraken tijdens het debat tussen hem en Kamala Harris, gisternacht. Trump zei dat immigranten in de stad Springfield honden en katten uit de tuinen van hun buren plukken en verorberen. Ten overvloede: daar is geen enkel bewijs voor.
Bij misinformatie komen vaak dezelfde onderwerpen terug. In dit geval het stereotype dat immigranten er barbaarse culinaire gewoontes op nahouden (denk ook aan het idee dat Chinezen honden en katten eten).
Positief is dat Trump live gefactcheckt werd door de debatleider:
Amerikaanse media hebben wat dat betreft geleerd van het verleden.
Verder in deze nieuwsbrief:
🧑🔬 Kan AI nu ook al wetenschappelijk onderzoek uitvoeren?
⏱️ Kortjes over o.a. het seksleven van Nederlanders en mandarijntjes
📚 Lees-, kijk- en luistertips
Kan AI nu ook al wetenschappelijk onderzoek uitvoeren?
3 minuten leestijd
Het Japanse bedrijf Sakana AI presenteerde afgelopen maand trots zijn AI Scientist, een kunstmatig intelligente ‘wetenschapper’. Het gaat om een zogeheten large language model (LLM), zoals ook de bekende chatbot ChatGPT dat is.
De bedenkers van de AI Scientist waren zelf nogal enthousiast:
“Deze benadering markeert het begin van een nieuw tijdperk in wetenschappelijke ontdekkingen (…), ons dichter bij een wereld brengend waar eindeloze betaalbare creativiteit en innovatie kunnen worden losgelaten op de meest ingewikkelde problemen.”
Wie met zulke grote woorden komt, kan natuurlijk op interesse van de media rekenen.
Enkele citaten:
“Revolutionair en buiten elke verwachting” - Hoogleraar wetenschapsfilosofie Mieke Boon bij Met het Oog op Morgen (Radio 1)
“Sakana AI lanceert ’s werelds eerste autonome AI-wetenschapper (…) Van klimaatverandering tot het vinden van nieuwe medicijnen - de mogelijkheden lijken eindeloos. (…) De race om de eerste Nobelprijs voor een AI is begonnen.” - AI Report op Substack
Is al dat enthousiasme terecht?
Mankement
Eens kijken wat die AI Scientist kan. Kort gezegd verwerkt het model literatuur over een bepaald onderwerp, komt het vervolgens met een nieuwe hypothese en schrijft het op basis daarvan zelf een paper, die het zelf ook reviewt. (Voor meer details, zie dit artikel in Nature.)
Een knap staaltje LLM’en, maar tot baanbrekende wetenschap leidde het niet. De makers erkennen dat de papers die AI Scientist produceert, hooguit “incrementele” verbeteringen bieden ten opzichte van de bestaande literatuur (met andere woorden: ze voegen weinig toe).
En dat is niet de enige kanttekening:
AI Scientist heeft een voorkeur voor papers die vaak geciteerd zijn, maar dat zijn niet per se de beste.
Hoewel de AI Scientist “een aantal verrassend creatieve ideeën” had, vielen die in het niet bij het aantal slechte ideeën, aldus een van de ontwikkelaars.
Verder past de AI Scientist die ideeën incorrect toe en maakt het model onderzoeksfouten die leiden tot misleidende uitkomsten. Ook bij het schrijven en evalueren vinden “kritieke fouten” plaats.
Het model is alleen nog getest op papers over machine learning. Het is dus nog onduidelijk of de AI Scientist ook papers kan schrijven over klimaatverandering, medicijnen of het nestelgedrag van de Zuid-Oezbeekse kuifhoen.
Zeker nog geen Einstein dus. Bovendien is wetenschap natuurlijk meer dan papers lezen. Bestaande kennis tot je nemen leidt ook bij mensen niet als vanzelf tot briljante nieuwe inzichten. Zoals een wetenschapper in het Nature-stuk zegt:
“Een gesprek van vijf minuten met een collega kan waardevoller zijn dan vijf uur literatuur lezen.”
De beste ideeën komen dan ook op onverwachte momenten — en opvallend vaak onder de douche.
Conclusie
Strikt genomen kun je zeggen dat de AI Scientist “autonoom” wetenschappelijk onderzoek uitvoert, maar dat is wel een vrij betekenisloos statement. Wat je daaraan hebt, valt of staat immers met de resultaten die er uitrollen. Als die waardeloos zijn, kun je net zo goed een aapje achter een computer zetten. Ook heel autonoom.
Daarnaast gaat het om een specifieke vorm van wetenschappelijk onderzoek. Er komt geen labtest of empirisch onderzoek aan te pas.
Daarmee wil ik niet zeggen dat dit project nutteloos is. AI die systematisch gerelateerde literatuur bij elkaar zoekt en doorvlooit, kan heel nuttig zijn.
Maar op stapels papers die weinig toevoegen en nieuwe valkuilen met zich meebrengen, zit niemand te wachten. Academici spreken zich juist uit tegen de overdaad aan publicaties en de bijbehorende publicatiedruk.
Sakana AI erkent dan ook dat de AI Scientist de menselijke wetenschapper niet snel zal vervangen. Ook AI Report benoemde de beperkingen netjes. Op Radio 1 kwamen ze niet voorbij.
Maar door hoe gloedvol de AI Scientist door Sakana en in de media is gepresenteerd, is de boodschap die — alleen al door die naam — blijft hangen: Wow, AI kan nu ook al wetenschap bedrijven!
En dat is niet zo. Al was het maar omdat AI niet kan douchen.
⏱️ Kortjes
1. Gezichten van Europese influencers zijn gebruikt voor nep-accounts van zogenaamde Trump-stemmers. Ook van twee Nederlandse vrouwen werden foto’s misbruikt.
2. Het aantal Nederlanders dat tevreden is over hun seksleven is hard gekelderd, meldden o.a. NOS en NU.nl. NRC stelde de logische vraag: hoe kan zoiets in korte tijd zó drastisch veranderen? De krant belde de onderzoekers, en jawel: men had zich vergist. Te vaak lezen journalisten niet het hele rapport, maar alleen de samenvatting of het persbericht.
3. Op X waren mensen boos dat de NOS niet schreef dat gijzelaars door Hamas vermoord waren, maar dat ze waren ‘omgebracht’. Die boosheid is onterecht.
4. En híerom zitten mandarijntjes altijd in een rood netje.
📚 Lees-, kijk- en luistertips
Podcast
Eind 2011 krijgt een meisje in het Amerikaanse plaatsje LeRoy plotseling hevige tics. En daarna nog een meisje. En nog een. Ze schreeuwen, schelden, blaffen, miauwen en maken allerlei bewegingen. Wat was hier aan de hand? In de enorm boeiende podcast Hysterical wordt het verhaal minutieus gereconstrueerd. Te vinden in alle podcast-apps.
Tentoonstelling
Zaterdag bezocht ik de tentoonstelling Christendom en Slavernij in Utrecht, over hoe de Bijbel misbruikt werd om slavernij te rechtvaardigen. Bijvoorbeeld via het verhaal van Cham, een zoon van Noach wiens nakomelingen door zijn vader vervloekt werden. Christenen hebben daar bij bedacht dat Chams nakomelingen zwart waren. En dus in slavernij gebracht mochten worden. Dat verhaal leeft nog altijd voort in kinderbijbels. De expositie is nog anderhalve week te zien, dus wees snel.
Artikel
Wanneer het kabinet het over migratie heeft, stijgt een mist van misleiding op. De Groene Amsterdammer zette tien voorbeelden op een rijtje.
Radiogesprek
Bij De Taalstaat op Radio 1 vertelde ik over misinterpretaties van Tolkien, de onwerkbaarheid van het woord nepnieuws en ChatGPT. En dat in minder dan 6 minuten. 😰 Leuk om daar te zijn, maar je gaat er de ruimte die Substack biedt ook weer meer van waarderen…
Podcast (2)
…Of die van een podcast! Toen ik afgelopen week bij seriepodcast Skip Intro aanschoof, kon ik lekker losgaan over The Rings of Power. Met vaste Skip Intro-makers Thijs Schrik en Danielle Kliwon had ik het over de eerste drie afleveringen van het nieuwe seizoen.
Vraag/tip/foutje gezien/samenwerken? Ik hoor het graag!