كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة
تجربةمتقدمالتعلم الآلي الكمي

مقارنة المحسّنات: GD وAdam وSPSA

Comparing Optimizers: GD, Adam and SPSA

يدرّب المختبر المصنّف نفسه من نقطة البداية نفسها بثلاثة محسّنات ويقارن الخسارة وعدد تقييمات الدالة؛ SPSA يحتاج تقييمين فقط لكل خطوة مهما كان عدد المعاملات.

The same classifier from the same start is trained with three optimizers, comparing loss and number of function evaluations; SPSA needs only two evaluations per step regardless of parameter count.

الهدف

مقارنة سلوك المحسّنات وتكلفتها في عدد التقييمات.

المدة التقريبية: 8 دقائق

الخطوات

  1. اختر blobs وطبقتين و40 خطوة.
  2. شغّل المقارنة.
  3. قارن منحنيات الخسارة.
  4. قارن عدد التقييمات لكل محسّن.
جارٍ تحميل المحاكي…
ما تتنبأ به النظرية

تتوقع النظرية أن يحتاج تدرج GD وAdam إلى $2p=16$ تقييماً لكل خطوة ($p=8$ معاملات)، وSPSA إلى تقييمين فقط؛ ومع تقييم إضافي لتسجيل الخسارة في كل خطوة يكون العداد بعد 40 خطوة 681 تقييماً لكل من GD وAdam مقابل 121 لـ SPSA. ويُتوقع أن يكون منحنى SPSA أكثر تذبذباً؛ الترتيب النهائي للخسائر يعتمد على البذرة ومعدل التعلم.

الانحدار التدرجي (GD) وAdam يستخدمان التدرج الكامل؛ بقاعدة إزاحة المعامل يكلّف كل تدرج $2p$ تقييماً للدائرة لـ $p$ معامل. أما SPSA (Spall 1992) فيقدّر التدرج من تقييمين فقط باتجاه عشوائي، وهو مناسب للأجهزة الصاخبة لكن مساره أكثر تذبذباً.

على العتاد يُقاس كل تقييم بعدد محدود من اللقطات، فتكلفة التقييمات هي المورد الحقيقي. في الدوائر العميقة العشوائية قد تتلاشى التدرجات أُسّياً (Barren Plateaus)، ولا يحل تغيير المحسّن هذه المشكلة بحد ذاته.

اختبر فهمك

يحتاج الاختبار إلى JavaScript.

موضوعات مرتبطة

المراجع

  1. J. C. Spall (1992). Multivariate stochastic approximation using a simultaneous perturbation gradient approximation. IEEE Trans. Automatic Control 37(3):332–341 doi:10.1109/9.119632
  2. Diederik P. Kingma; Jimmy Ba (2014). Adam: A Method for Stochastic Optimization. arXiv:1412.6980 doi:10.48550/arXiv.1412.6980
  3. Jarrod R. McClean; Sergio Boixo; Vadim N. Smelyanskiy; Ryan Babbush; Hartmut Neven (2018). Barren plateaus in quantum neural network training landscapes. Nature Communications 9:4812 doi:10.1038/s41467-018-07090-4
  4. M. Cerezo et al. (2021). Variational quantum algorithms. Nature Reviews Physics 3:625–644 doi:10.1038/s42254-021-00348-9