نشر نماذج الذكاء الاصطناعي
تحسين النماذج وضغطها
Model Optimization and Compression
تكميم الأوزان إلى int8، والتقليم بالمقدار، وضغط الطبقات بالإسقاط، وقياس الحجم والدقة وزمن الاستجابة قبل الضغط وبعده.
ستتعلم في هذا الدرس
- تكميم مصفوفة أوزان وحساب خطأ التكميم
- تقليم الأوزان الأصغر وقياس الأثر
- معرفة أدوات Deep Learning Toolbox Model Compression Library
- وضع معيار قبول للنموذج المضغوط
التكميم إلى int8
W = [0.82 -0.31 0.05; -1.27 0.44 0.009; 0.6 -0.95 0.33];
s = max(abs(W(:))) / 127; % مقياس متماثل
q = int8(round(W / s));
Wd = double(q) * s; % إزالة التكميم
fprintf('scale = %.6f\n', s);
fprintf('int8 weights = %s\n', mat2str(q));
fprintf('max abs error = %.6f\n', max(abs(W(:) - Wd(:))));
x = [1; -2; 0.5];
fprintf('output float = %s\n', mat2str((W * x)', 5));
fprintf('output int8 = %s\n', mat2str((Wd * x)', 5));
fprintf('size: %d bytes (single) -> %d bytes (int8)\n', numel(W) * 4, numel(W));scale = 0.010000 int8 weights = [82 -31 5;-127 44 1;60 -95 33] max abs error = 0.001000 output float = [1.465 -2.1455 2.665] output int8 = [1.465 -2.145 2.665] size: 36 bytes (single) -> 9 bytes (int8)
التقليم بالمقدار
W = [0.82 -0.31 0.05; -1.27 0.44 0.009; 0.6 -0.95 0.33];
x = [1; -2; 0.5];
v = sort(abs(W(:)));
for nZero = [0 2 5] % عدد الأوزان المحذوفة
if nZero == 0, t = -inf; else, t = v(nZero); end
Wp = W .* (abs(W) > t);
fprintf('pruned %d/9 (%.0f%%): output error %.4f\n', sum(Wp(:) == 0), 100*mean(Wp(:) == 0), norm(W*x - Wp*x));
endpruned 0/9 (0%): output error 0.0000 pruned 2/9 (22%): output error 0.0254 pruned 5/9 (56%): output error 1.0999
حذف أصغر وزنين لا يكاد يغير الخرج، أما حذف خمسة أوزان فيغيره بوضوح لأن وزناً مثل −0.31 يُضرب في مدخل كبير (−2): الأهمية تعتمد على المدخلات أيضاً لا على مقدار الوزن وحده. في الشبكات الحقيقية يُقلّم بالتدريج مع ضبط دقيق بين المراحل.
أدوات MATLAB
% تكميم شبكة (Deep Learning Toolbox Model Quantization Library)
quantObj = dlquantizer(net, 'ExecutionEnvironment', 'MATLAB');
calibrate(quantObj, calibrationData);
qNet = quantize(quantObj);
info = estimateNetworkMetrics(net, qNet); % الحجم والمعاملات
% تقليم بمعيار تايلور (حلقة مخصصة مع ضبط دقيق)
prunableNet = taylorPrunableNetwork(net);
% ضغط بالإسقاط (R2022b+)
npca = neuronPCA(net, mbqTrain);
netProjected = compressNetworkUsingProjection(net, npca, 'ExplainedVarianceGoal', 0.95);يتطلب هذا الكود: Deep Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
يتطلب Deep Learning Toolbox وحزمة Deep Learning Toolbox Model Compression Library (Add-On). calibrationData وmbqTrain من بياناتك. تحقق من توافر estimateNetworkMetrics وneuronPCA في إصدارك.
| التقنية | تقليل الحجم | خطر الدقة | يحتاج إعادة تدريب؟ |
|---|---|---|---|
| تكميم int8 بعد التدريب | ~4× | منخفض غالباً | لا (معايرة فقط) |
| تقليم غير منظم | حسب النسبة | متوسط | يُفضّل |
| تقليم منظم (قنوات) | حجم وسرعة فعلية | متوسط | نعم |
| إسقاط/تحليل منخفض الرتبة | متوسط | منخفض إلى متوسط | ضبط دقيق قصير |
| تقطير المعرفة | نموذج أصغر كلياً | حسب الطالب | نعم |
خلاصة الدرس
- التكميم المتماثل: q = round(w/s) حيث s = max|w|/127، ثم ŵ = q·s.
- int8 يقلل الحجم 4 مرات مقارنة بـ single.
- التقليم بالمقدار يحذف الأوزان القريبة من الصفر؛ يحتاج غالباً ضبطاً دقيقاً بعده.
- dlquantizer وtaylorPrunableNetwork وcompressNetworkUsingProjection في مكتبة ضغط النماذج.
- قِس الدقة على بيانات التحقق بعد كل خطوة ضغط.
شُغّلت quantize.m وprune.m في GNU Octave 8.4. أمثلة dlquantizer تحتاج Toolboxes ولم تُشغّل.
المتطلبات البرمجية
- MATLAB
- Deep Learning Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
