Podcasts · c’t uplink - der IT-Podcast aus Nerdistan
KI lokal nutzen: Günstig, sicher & datenschutzfreundlich | c’t uplink
· 56 min · Episode 661
Episode KI lokal nutzen: Günstig, sicher & datenschutzfreundlich | c’t uplink
Mit dabei: Jan Mahn, Jan-Keno Janssen und Liane M. Dubowy
Bei lokalen KI-Modellen muss man nicht jedes Token auf die Goldwaage legen. Statt teurer Abos für KI-Dienste, fallen leichter zu überblickende Hardware- und Stromkosten an. Wir sprechen darüber, was mit einem lokalen KI-Server für privat oder kleine Teams möglich ist, welche Hardware man dafür braucht und welche coolen Dinge man damit tun kann.
► c’t-3003-Video zu Hermes Agent und lokaler KI: https://www.youtube.com/watch?v=Ne2UH682x9I
► Artikel zum Aufbau eines lokalen KI-Servers für ein kleines Team: https://heise.de/-11333185
Kapitel:
00:00 Intro: Warum KI lokal betreiben?
16:02 Quantisierung & Hardware-Anforderungen erklärt
25:48 Server-Setup mit Open Web UI und Ollama
37:05 Agentische Systeme: KI bedient den Computer selbst
50:40 Einsteiger-Tipps zum Ausprobieren
Hinweis: Dieser Podcast wird von einem Sponsor unterstützt. Alle Infos zu unseren Werbepartnern findet ihr hier. heise Podcasts | Wonderlink
Links in the notes 3
Transcript
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.