نشر نماذج الذكاء الاصطناعي
تسريع الحوسبة بوحدة GPU
GPU Acceleration
متى يفيد GPU، وتقدير الحمل الحسابي وحجم الذاكرة، واستخدام gpuArray وExecutionEnvironment في التدريب، وتوازي المعالجة بـ parfor.
ستتعلم في هذا الدرس
- تقدير عدد العمليات والذاكرة لعملية مصفوفية وشبكة
- نقل البيانات إلى GPU والعودة منه
- تشغيل التدريب على GPU أو عدة GPU
- معرفة متى لا يفيد GPU
تقدير الحمل
% ضرب مصفوفتين n x n يحتاج ~2n^3 عملية
for n = [100 1000 4000]
flops = 2 * n^3;
memMB = 3 * n^2 * 8 / 2^20; % ثلاث مصفوفات double
fprintf('n = %4d: %.2e FLOPs, %.1f MB (double)\n', n, flops, memMB);
end
% طبقة التفاف: H*W*Cout*(K*K*Cin) عملية ضرب-جمع لكل صورة
H = 56; W = 56; K = 3; Cin = 64; Cout = 64;
macs = H * W * Cout * K * K * Cin;
fprintf('conv layer MACs per image: %.3e\n', macs);
fprintf('activations memory (single, batch 32): %.1f MB\n', 32 * H * W * Cout * 4 / 2^20);n = 100: 2.00e+06 FLOPs, 0.2 MB (double) n = 1000: 2.00e+09 FLOPs, 22.9 MB (double) n = 4000: 1.28e+11 FLOPs, 366.2 MB (double) conv layer MACs per image: 1.156e+08 activations memory (single, batch 32): 24.5 MB
gpuArray
if canUseGPU
A = rand(4000, 'single', 'gpuArray'); % يُنشأ مباشرة على GPU
B = rand(4000, 'single', 'gpuArray');
tic; C = A * B; wait(gpuDevice); tGPU = toc;
Ac = gather(A); Bc = gather(B);
tic; Cc = Ac * Bc; tCPU = toc;
fprintf('CPU %.3f s, GPU %.3f s\n', tCPU, tGPU);
result = gather(C(1:5, 1)); % أعد إلى الذاكرة الرئيسية
end
options = trainingOptions('adam', 'ExecutionEnvironment', 'gpu'); % أو 'multi-gpu' / 'parallel'يتطلب هذا الكود: Parallel Computing Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
يحتاج Parallel Computing Toolbox وبطاقة NVIDIA مدعومة. الأزمنة تعتمد على جهازك؛ wait(gpuDevice) ضروري لقياس عادل لأن عمليات GPU غير متزامنة.
التوازي على المعالج
parpool('Processes', 4);
results = zeros(1, 20);
parfor k = 1:20
results(k) = trainAndScore(k); % دالتك: تدريب نموذج بمعاملات k
end
delete(gcp('nocreate'));يتطلب هذا الكود: Parallel Computing Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
خلاصة الدرس
- GPU يفيد في العمليات الكبيرة المتوازية (ضرب مصفوفات، التفاف) لا في الحلقات الصغيرة.
- نقل البيانات بين الذاكرتين مكلف؛ أبقِ البيانات على GPU.
- gpuArray وgather في Parallel Computing Toolbox، والتدريب يستخدم GPU تلقائياً إن وُجد.
- single أسرع من double على معظم بطاقات المستهلك.
- canUseGPU يفحص التوفر دون أخطاء.
شُغّل workload.m في GNU Octave 8.4. أمثلة gpuArray وparfor تحتاج Parallel Computing Toolbox ولم تُشغّل.
المتطلبات البرمجية
- MATLAB
- Parallel Computing Toolbox
- Deep Learning Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
