Podcasts · Building The Future - AI Portugal Podcast

Avaliação de LLMs

· 56 min · S2 E28

Episode Avaliação de LLMs

0:00 55:36

Hoje vamos explorar um tema essencial na atualidade da inteligência artificial: como avaliar e medir o desempenho dos grandes modelos de linguagem, os chamados Large Language Models (LLMs). Com o crescimento exponencial de ferramentas como o ChatGPT, GPT-4 ou Bard, surge a questão fundamental: Como sabemos se um modelo realmente compreende o que diz, ou se está apenas a reproduzir padrões previamente decorados? Para responder a isto, vamos analisar a importância dos benchmarks—testes padronizados que avaliam diferentes capacidades dos modelos, desde conhecimentos gerais até ao raciocínio lógico, passando pela capacidade de tomar decisões autónomas e executar tarefas práticas.

Ao longo do episódio, vamos ainda descobrir as métricas-chave que determinam a qualidade destes modelos, perceber porque é que algumas das ferramentas mais avançadas falham quando confrontadas com problemas ligeiramente diferentes dos habituais, e examinar estudos recentes—como o da Apple, que questiona seriamente se osmodelos realmente “pensam” ou se apenas simulam essa capacidade. Vamos também discutir as forças e limitações dos atuais métodos de avaliação, abordando as diferenças entre modelos de código aberto e fechado, e apresentar sugestões para melhorar a forma como medimos o verdadeiro potencial da IA.

AI News:

• https://www.news-medical.net/news/20250713/Novel-AI-application-diagnoses-endocrine-cancers-with-speed-and-accuracy.aspx • https://www.bbc.com/news/articles/c1e02vx55wpo • Microsoft’sAI Is Better Than Doctors at Diagnosing Disease | TIME • https://time.com/7299314/microsoft-ai-better-than-doctors-diagnosis/

Email us at podcast@buildingthefuture.pt

Produção:

Beatriz Herrera González - https://www.linkedin.com/in/beahgonzalez/

Hosts:

Marco António Silva: https://www.linkedin.com/in/marconsilva/

José António Silva: https://www.linkedin.com/in/canoas/

Vitor Santos: https://www.linkedin.com/in/vitor-santos-ab87662/

Links in the notes 7

The episode on the publisher’s site

Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.