Tokens e embeddings

3 min
Público
10–15 anos
Duração
30 a 40 min
Aventura
6/8
Distintivo alvo
Cartógrafa dos tokens

Missão de hoje

Tokenizar uma frase fictícia, associar vetores e mostrar por que proximidade não significa sinonímia perfeita.

Prova de sucesso: explique "Tokens e embeddings", realize "O dicionário vetorial" e cite o limite da analogia.

A história

No jornal imaginário do clube, a frase "Os vaga-lumes iluminam o jardim" precisa virar números. Maëlle descobre que um tokenizer pode separar pontuação, palavras ou fragmentos de palavras. Cada token recebe um identificador, e depois uma tabela de embeddings transforma esse identificador em vetor. Os vetores são ajustados durante o aprendizado: usos parecidos podem aproximar certas direções, mas a geometria depende do corpus e do objetivo.

Pré-visualização — o resto da lição está reservado aos inscritos.

Já se inscreveu com um código?

O seu acesso está ligado à sua conta, não a esta ligação. Inicie sessão com o mesmo e-mail usado na aula: o seu curso está à espera, não precisa de introduzir o código de novo.

Iniciar sessãoAinda não tem conta? Criar uma
Esta lição faz parte do módulo «A linguagem»

Os primeiros módulos do curso são de acesso livre. Para o resto há três possibilidades: comprar este curso de uma vez por todas, subscrever, ou introduzir o código entregue na aula.

Subscrever — 19 $ US/mêsVoltar ao plano
É estudante do curso?

O código fica ligado à sua conta: inicie sessão ou crie uma conta e ele será aplicado automaticamente ao regressar.

Ainda não tem conta? Criar uma