Objetivo: manter ativações e gradientes em uma zona explorável.
Nem todos os pesos devem ser inicializados em zero: os neurônios de uma mesma camada permaneceriam simétricos e aprenderiam a mesma coisa. A inicialização aleatória quebra essa simetria, mas sua escala deve preservar o sinal.
tanh.O PyTorch já inicializa as camadas usuais de maneira razoável. Uma inicialização manual deve ter uma justificativa e ser registrada.
BatchNorm normaliza as ativações com estatísticas do mini-batch, e depois aprende uma
escala e um deslocamento. Em validação, ela usa médias móveis aprendidas. É por isso
que o esquecimento de model.eval() muda os resultados.
Pré-visualização — o resto da lição está reservado aos inscritos.
O seu acesso está ligado à sua conta, não a esta ligação. Inicie sessão com o mesmo e-mail usado na aula: o seu curso está à espera, não precisa de introduzir o código de novo.
Iniciar sessãoAinda não tem conta? Criar umaOs primeiros módulos do curso são de acesso livre. Para o resto há três possibilidades: comprar este curso de uma vez por todas, subscrever, ou introduzir o código entregue na aula.