Respostas. 1. Dos próprios dados. 2. As invariâncias a aprender. 3. Dois exemplos semanticamente próximos tratados como opostos. 4. Para medir a separabilidade da representação congelada. 5. Um codificador aleatório no mesmo orçamento downstream.
Objetivo: aprender representações sem anotação humana exaustiva.
A auto-supervisão constrói um alvo a partir dos próprios dados: prever um token mascarado, a próxima porção de um sinal, uma transformação ou a relação entre duas vistas. Ela não significa « sem supervisão » no sentido matemático: o sinal alvo é criado automaticamente.
Pré-visualização — o resto da lição está reservado aos inscritos.
O seu acesso está ligado à sua conta, não a esta ligação. Inicie sessão com o mesmo e-mail usado na aula: o seu curso está à espera, não precisa de introduzir o código de novo.
Iniciar sessãoAinda não tem conta? Criar umaOs primeiros módulos do curso são de acesso livre. Para o resto há três possibilidades: comprar este curso de uma vez por todas, subscrever, ou introduzir o código entregue na aula.