Calcular uma atenção em miniatura com consulta, chaves, pesos normalizados e soma de valores.
Prova de sucesso: explique "Atenção: consultas, chaves e valores", realize "A mistura ponderada" e cite o limite da analogia.
Em "O robô guarda a xícara porque ela está vazia", Amine procura a que "ela" se refere. Para o token atual, o modelo constrói uma consulta; cada token fornece uma chave comparada a essa consulta e um valor contendo a informação a misturar. As similaridades viram pesos por Softmax. A saída é uma soma ponderada dos valores. Uma grande atenção sinaliza uma forte influência nesse cálculo, não uma explicação completa da decisão.
Pré-visualização — o resto da lição está reservado aos inscritos.
O seu acesso está ligado à sua conta, não a esta ligação. Inicie sessão com o mesmo e-mail usado na aula: o seu curso está à espera, não precisa de introduzir o código de novo.
Iniciar sessãoAinda não tem conta? Criar umaOs primeiros módulos do curso são de acesso livre. Para o resto há três possibilidades: comprar este curso de uma vez por todas, subscrever, ou introduzir o código entregue na aula.