الشبكات العصبية التكرارية

المعادلات

في كل خطوة زمنية \(t\):

$$\mathbf{h}_t = \tanh\left(W_{xh}\mathbf{x}_t + W_{hh}\mathbf{h}_{t-1} + \mathbf{b}_h\right), \qquad \mathbf{y}_t = W_{hy}\mathbf{h}_t + \mathbf{b}_y$$

الأوزان \(W_{xh}, W_{hh}, W_{hy}\) نفسها في كل خطوة.

أنماط المسائل

النمط	مثال
متعدد ← واحد	تصنيف مشاعر جملة
واحد ← متعدد	توليد نص من بداية
متعدد ← متعدد (متزامن)	وسم أجزاء الكلام
متعدد ← متعدد (مشفر-مفكك)	الترجمة الآلية

مثال في PyTorch

import torch, torch.nn as nn

class SeqClassifier(nn.Module):
    def __init__(self, vocab=5000, emb=64, hidden=128, n_classes=2):
        super().__init__()
        self.emb = nn.Embedding(vocab, emb)
        self.rnn = nn.RNN(emb, hidden, batch_first=True)
        self.fc = nn.Linear(hidden, n_classes)
    def forward(self, tokens):                # (batch, seq_len)
        out, h_n = self.rnn(self.emb(tokens)) # h_n: (1, batch, hidden)
        return self.fc(h_n[-1])

print(SeqClassifier()(torch.randint(0, 5000, (8, 20))).shape)   # (8, 2)

مشكلة الذاكرة القصيرة

في BPTT يتضمن تدرج الخطوات البعيدة حاصل ضرب متكرر يشمل \(W_{hh}\). إذا كانت قيمه الذاتية أصغر من 1 يتلاشى التدرج، وإذا كانت أكبر ينفجر (Bengio et al., 1994). الحلول:

• قص التدرج للانفجار.
• معماريات ببوابات مثل LSTM وGRU للتلاشي.
• آلية الانتباه والمحوّلات التي تصل مباشرة إلى أي موقع في التسلسل.