ما هوSwish ؟

دالة Swish هي دالة تنشيط غير خطية طُوّرت من قبل باحثين في جوجل، وتتميز بأنها أكثر سلاسة من ReLU. تعمل على تمرير القيم الموجبة بشكل قريب من الخط المستقيم، بينما تسمح بتمرير جزء من القيم السالبة بدلًا من تجاهلها تمامًا، مما يساعد الشبكة على التعلم بعمق أكبر وتحقيق أداء أفضل في بعض المهام. تُستخدم غالبًا في الشبكات العصبية العميقة لأنها تُحسن من سرعة ودقة التدريب مقارنةً بـ ReLU.