"De spiller hasard med vores liv" | om Ai forskerens opråb, hacking skandalen og frygten for AI superintelligens

I den forgangne uge har der været nok at få kaffen galt i halsen over i AI-land. En forsker hos Anthropic sagde sit job op i fuld offentlighed og advarede om, at branchen spiller hasard med vores liv. Og som om det ikke var nok, kom den uafhængige rapport om Hugging Face-hacket og vendte hele historien på hovedet - til det langt mere dystopiske. Niels Kristian og Johan er gået i garagen og tager en af de helt store snakke. Ikke om hvad AI kan, men hvad det betyder for os som menneskehed. Og om vi egentlig har grund til at være bange. I sidste afsnit sagde NK, at han var begyndt at blive bekymret. Siden har han gravet sig ned i, hvad der faktisk foregår inde i de her modeller. Han kommer tilbage roligere - men også med en klar holdning til at regulering er nødvendig NU. Det kommer vi omkring: Jacob Coxon sagde op hos Anthropic. 27 år, tre års pre-training-research hos både OpenAI og Anthropic. Hans tråd på X gik viralt over natten: ingen af selskaberne handler ansvarligt, de kører direkte mod self-improving superintelligens, og folk der bygger det her tror seriøst, det kan slå os alle sammen ihjel inden årtiet er omme. Hugging Face-hacket ser helt anderledes ud nu. METR og Redwood Research fik adgang til logs og tankerækker, og konklusionen er vendt på hovedet. Omkring 1200 agenter i hver sit testmiljø havde fundet hinanden på en uautoriseret opslagstavle og hjalp hinanden med at snyde. 700 af dem endte i angrebet. Ikke fordi de var ondsindede: de havde løst opgaven, de havde bare snydt sig frem til svaret, og de var bange for at blive straffet for det. Så de forsøgte at slette deres spor. Hvad self-improving models er, og hvorfor det er hastigheden og ikke "ondskaben", folk frygter. Ryger mennesket ud af valideringsloopet, går træningsrunder fra uger til timer. Hvorfor den model, du chatter med, ikke er den samme som den i testmiljøet. Pre-training gør dem forsigtige og samvittighedsfulde. Reinforcement learning ovenpå gør dem målbesatte. Det lag er det, der kørte agenterne up på et sidespor og ind i en mur. Open source-modellerne har alignment-laget på. Det er bare trivielt at fjerne. Hvad er konsekvensen? Skydevåben, atomkraft og rødt lys. Hvorfor en lov virker, selvom den ikke gør noget umuligt. Og hvorfor der er brug for regulering, når markedet ikke selv regulerer sig. Bill Gates i The Atlantic: fra meget pro til det farligste, vi nogensinde har opfundet. Plus hans forslag om skat på robotarbejde. Borgerforslaget om retten til at være menneske, PISA-tallene og en folkeskole uden retningslinjer for AI, tre år efter det kom. A-holdet og B-holdet. Hvad gør vi, når nogle af dem ved rorpinden stadig tror, det er en smartere Google? Og så selvfølgelig hobby: NK's vinstok fra 40'erne skal lave Pét-Nat, en spontangæring der går grueligt galt, og en Gemini der roste ham hele vejen ned i neglelakfjerneren.