مقارنة المحسّنات: GD وAdam وSPSA
Comparing Optimizers: GD, Adam and SPSA
يدرّب المختبر المصنّف نفسه من نقطة البداية نفسها بثلاثة محسّنات ويقارن الخسارة وعدد تقييمات الدالة؛ SPSA يحتاج تقييمين فقط لكل خطوة مهما كان عدد المعاملات.
The same classifier from the same start is trained with three optimizers, comparing loss and number of function evaluations; SPSA needs only two evaluations per step regardless of parameter count.
الهدف
مقارنة سلوك المحسّنات وتكلفتها في عدد التقييمات.
المدة التقريبية: 8 دقائق
الخطوات
- اختر blobs وطبقتين و40 خطوة.
- شغّل المقارنة.
- قارن منحنيات الخسارة.
- قارن عدد التقييمات لكل محسّن.
تتوقع النظرية أن يحتاج تدرج GD وAdam إلى $2p=16$ تقييماً لكل خطوة ($p=8$ معاملات)، وSPSA إلى تقييمين فقط؛ ومع تقييم إضافي لتسجيل الخسارة في كل خطوة يكون العداد بعد 40 خطوة 681 تقييماً لكل من GD وAdam مقابل 121 لـ SPSA. ويُتوقع أن يكون منحنى SPSA أكثر تذبذباً؛ الترتيب النهائي للخسائر يعتمد على البذرة ومعدل التعلم.
الانحدار التدرجي (GD) وAdam يستخدمان التدرج الكامل؛ بقاعدة إزاحة المعامل يكلّف كل تدرج $2p$ تقييماً للدائرة لـ $p$ معامل. أما SPSA (Spall 1992) فيقدّر التدرج من تقييمين فقط باتجاه عشوائي، وهو مناسب للأجهزة الصاخبة لكن مساره أكثر تذبذباً.
على العتاد يُقاس كل تقييم بعدد محدود من اللقطات، فتكلفة التقييمات هي المورد الحقيقي. في الدوائر العميقة العشوائية قد تتلاشى التدرجات أُسّياً (Barren Plateaus)، ولا يحل تغيير المحسّن هذه المشكلة بحد ذاته.
اختبر فهمك
يحتاج الاختبار إلى JavaScript.
موضوعات مرتبطة
المراجع
- J. C. Spall (1992). Multivariate stochastic approximation using a simultaneous perturbation gradient approximation. IEEE Trans. Automatic Control 37(3):332–341 doi:10.1109/9.119632
- Diederik P. Kingma; Jimmy Ba (2014). Adam: A Method for Stochastic Optimization. arXiv:1412.6980 doi:10.48550/arXiv.1412.6980
- Jarrod R. McClean; Sergio Boixo; Vadim N. Smelyanskiy; Ryan Babbush; Hartmut Neven (2018). Barren plateaus in quantum neural network training landscapes. Nature Communications 9:4812 doi:10.1038/s41467-018-07090-4
- M. Cerezo et al. (2021). Variational quantum algorithms. Nature Reviews Physics 3:625–644 doi:10.1038/s42254-021-00348-9
