Montar um bloco Transformer e aplicar uma máscara causal que impeça um token de ver o futuro.
Prova de sucesso: explique "Transformer, posições e máscara do futuro", realize "O triângulo de visibilidade" e cite o limite da analogia.
Para completar uma história carta após carta, Imran constrói um modelo que processa várias posições juntas. Sem informação de posição, a atenção não recebe nenhuma pista distinguindo o primeiro lugar do quarto; Imran adiciona então essa pista. Em um modelo generativo causal, a carta número 3 deve consultar apenas 1, 2 e 3. Uma máscara torna as posições futuras inacessíveis. Depois da atenção vêm conexão residual, normalização e rede feed-forward.
Pré-visualização — o resto da lição está reservado aos inscritos.
O seu acesso está ligado à sua conta, não a esta ligação. Inicie sessão com o mesmo e-mail usado na aula: o seu curso está à espera, não precisa de introduzir o código de novo.
Iniciar sessãoAinda não tem conta? Criar umaOs primeiros módulos do curso são de acesso livre. Para o resto há três possibilidades: comprar este curso de uma vez por todas, subscrever, ou introduzir o código entregue na aula.