Podcasts · La TERTULia de la Inteligencia Artificial
Las leyes de escala de Amodei
· 49 min · S4 E13
Episode Las leyes de escala de Amodei
Las leyes de escala mostraron que los modelos de lenguaje Transformer mejoran de forma predecible al aumentar parámetros, datos y cómputo, siempre que estos escalen juntos. Su importancia histórica fue demostrar que entrenar modelos cada vez más grandes podía producir mejoras continuas, aunque principalmente en dominios de texto parecidos al entrenamiento. Los modelos grandes aprenden más porque sufren menos interferencia entre tareas y pueden retener señales raras o complejas, mientras que los pequeños solo compiten bien si se especializan.
Participan en la tertulia: Paco Zamora, Iñigo Olcoz, Josu Gorostegui y Guillermo Barbadillo.
Recuerda que puedes enviarnos dudas, comentarios y sugerencias en: https://x.com/TERTUL_ia
Más info en: https://ironbar.github.io/tertulia_inteligencia_artificial/
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.