البيرسبترون

النموذج

$$\hat{y} = \begin{cases} 1 & \text{if } \mathbf{w}^\top \mathbf{x} + b > 0 \\ 0 & \text{otherwise} \end{cases}$$

قاعدة التعلم

لكل مثال \((\mathbf{x}, y)\):

$$\mathbf{w} \leftarrow \mathbf{w} + \eta\,(y – \hat{y})\,\mathbf{x}, \qquad b \leftarrow b + \eta\,(y – \hat{y})$$

إذا كان التنبؤ صحيحاً فلا تغيير، وإذا كان خاطئاً تُدفع الأوزان نحو التصنيف الصحيح.

تطبيق من الصفر

import numpy as np

def train_perceptron(X, y, lr=0.1, epochs=20):
    w = np.zeros(X.shape[1]); b = 0.0
    for _ in range(epochs):
        errors = 0
        for xi, yi in zip(X, y):
            pred = int(xi @ w + b > 0)
            update = lr * (yi - pred)
            w += update * xi; b += update
            errors += int(update != 0)
        if errors == 0:
            break
    return w, b

X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
w, b = train_perceptron(X, np.array([0, 0, 0, 1]))   # AND
print([int(x @ w + b > 0) for x in X])               # [0, 0, 0, 1]

جرّب التسميات [0, 1, 1, 0] (XOR) ولاحظ أن الأخطاء لا تختفي.

مشكلة XOR والحل

النقاط \((0,1)\) و\((1,0)\) في فئة، و\((0,0)\) و\((1,1)\) في الأخرى؛ لا يوجد خط واحد يفصلها. الحل إضافة طبقة مخفية بدالة تنشيط غير خطية، وهذا هو جوهر الشبكة متعددة الطبقات. تدريب هذه الشبكات احتاج إلى الانتشار الخلفي الذي انتشر استخدامه بعد عمل Rumelhart وزملائه عام 1986.