Podcasts · Risorse Artificiali AI Engineering in italiano
99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra
· 1 h 13 min · Episode 70
Episode 99,9% nel benchmark, 61 nell'indice: il caso GPT-6 Astra
GPT-6 Astra fa 99,9% su ARC-AGI-3 ma l'indice di intelligenza gli dà 61: il caso del benchmark maxato, spiegato da chi i benchmark li usa tutti i giorni.
OpenAI ha rilasciato GPT-6 Astra con numeri da record su tutta la linea: incrementi a doppia cifra su ogni benchmark e un 99,9% su ARC-AGI-3 che nessun altro modello sfiora. Ma un benchmark maxato, cioè mostrato al modello in addestramento, vale ancora qualcosa? E perché l'indice di intelligenza di Artificial Analysis gli dà 61, lo stesso punteggio di GLM 5.3 Max?
In puntata Stefano, Paolo e Alessio prendono il rilascio e lo girano al contrario: i costi per intelligent task (Fable 5.1 a 3,69 dollari contro 1,67 di Astra, 8.500 dollari per una test suite completa), i pesi che compongono l'indice, il tasso di allucinazioni che nessuno cita. E tutta la parte che i benchmark non raccontano: Qwen 3.8 Flash Next con l'architettura che arriverà su Qwen 4, l'inferenza locale di Waymo scesa da 250 mila a 50 mila dollari grazie a una TPU di Google, Nvidia che compra Hugging Face per 12,9 miliardi in contanti, GLM che serve 100 mila chip Huawei Ascent e le licenze open weight che non sono più MIT puro.
00:00 GPT-6 Astra e il 99,9% su ARC-AGI 06:18 Overfitting: quando il benchmark è maxato 13:21 Fable 5.1: costi da record e cache 23:10 Il nostro benchmark alla pellicano 25:33 L'indice di Artificial Analysis non torna 33:40 Coding: conta la sensazione d'uso 38:04 Formula 1 o auto per la scuola? 43:18 Qwen 3.8 Flash Next: l'ingegnerizzazione dei modelli 48:34 Waymo in Europa: inferenza locale su TPU 53:46 Nvidia compra Hugging Face, GLM su Huawei 1:00:52 Le licenze open weight cambiano 1:04:07 Hermes in Gen Z, Q&A e OmniRouter
Ascolta l'audio anche su Spotify: https://open.spotify.com/episode/50oM4N7LLJLU3szU2Sh2x7?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop
Sito, show notes e trascrizione completa: https://risorseartificiali.com/?utm_source=youtube&utm_medium=description&utm_campaign=ep70_drop
Iscriviti al canale: AI engineering in italiano, senza hype, ogni sabato.
#70
Links in the notes 2
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.