IA: Comprendre les SLM (Small Model Language)
· 1 h 18 min · S1 E9
Episode IA: Comprendre les SLM (Small Model Language)
Peut-on battre les modèles de Google ou Meta avec seulement 4 GPU et une disquette Zip ? C’est le pari fou de notre invité.e qui nous explique comment le "Data Design" est en train de ringardiser le scraping massif du web.
🥖 L'IA qui tient sur une disquette : La fin du gigantisme ?
Dans cet épisode, on plonge dans le coeur de l'IA souveraine : pourquoi la qualité des données (tokens) prime sur la quantité, et comment les Small Language Models (SLM) vont permettre de décentraliser l'intelligence.
🚀 Ce que vous allez apprendre :
- Baguette-o-tron : Le modèle de 320M de paramètres qui raisonne mieux que des géants.
- Data Design vs Scraping : Pourquoi "nettoyer" la donnée ne suffit plus, il faut la concevoir.
- Le secret des données synthétiques : Comment éviter le "Model Collapse" (l'appauvrissement de l'IA).
- Souveraineté : L'enjeu des bibliothèques nationales et de l'Open Data face au pillage des "Shadow Libraries".
⏳ Timestamps pour naviguer :
00:00 - Intro : Le format Pionnier/Pionnière de la tech
04:20 - Indice 4 points : Qui est la chercheuse secrète ?
11:50 - Pourquoi le "Common Crawl" est pollué (cookies, copyright)
18:30 - Le crash des données : Le cas New York Times vs OpenAI
27:15 - Baguette-o-tron : Une IA performante sur disque Zip !
35:40 - Données synthétiques : Ancrer l'IA dans le réel (Code & Math)
45:10 - L'IA comme "Primitive" : Pourquoi le local est l'avenir
52:00 - Les modèles hiérarchiques (HRM) et le système de pensée 1 & 2
🔗 Liens et ressources :
Playas : https://playas.fr
Modèles & Datasets : Retrouvez "Common Corpus" sur Hugging Face.
Vous préférez une IA géante dans le Cloud ou une IA agile sur votre téléphone ? On attend votre avis en commentaire ! 👇
#IntelligenceArtificielle #SLM #OpenSource #TechFrançaise #ALaFrench #MachineLearning #SouverainetéNumérique
Crédits
Productrice- Fatima Idhammou
Production exécutive : BKE
Réalisateur : Nicolas Jalu
Cadreurs : Florian Kuenemann, Fairooze Shariff
Ingénieur du son : Quentin Gomez
Chef monteur : Victor Bourdon
Générique (images assistées par IA)
Production : Aurevoircharlie
Produit par : Anne-Lise Langlais
Réalisateur / DA image : Olivier Lelardoux
Musique originale : Keryan Serrain
Conseillers éditoriaux : Ronan Letoqueux, NES Production
Réseaux sociaux : Samir Akacha
Remerciements : l’équipe de Néon Noir, Camille Hamez, Natacha Holtzhausser, , Elie Séonnet, Abdel-Hafid Cherrab, Paguy Shako
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.
Links in the notes 1
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.