التضمينات والتقسيم الرمزي ومعالجة اللغة الطبيعية

الهدف: تحويل الرموز المتقطعة إلى تمثيلات قابلة للتعلم.

التضمين (Embedding) يربط كل مُعرِّف متقطّع بمتجه كثيف. جدول مفردات بحجم V وبُعد d يحتوي على V×d معاملاً.

python

from torch import nn

embedding = nn.Embedding(num_embeddings=30_000, embedding_dim=256,
                         padding_idx=0)

قد يكون لمتجهَين متقاربَين استخدامان متقاربان، لكن الهندسة تعتمد على المهمة والمُدوَّنة (Corpus). كما قد تُرمِّز التحيّزات الموجودة في البيانات.

التقسيم الرمزي (Tokenization)

يُقطِّع Tokenization النصَّ إلى وحدات ويُحوِّلها إلى مُعرِّفات. تُقلّل طرق الوحدات الفرعية (Subword) الكلمات المجهولة عبر تركيب شذرات. Tokenizer ومفرداته وتطبيعه ورموزه الخاصة أجزاء لا تتجزّأ من النموذج.