في الأسبوع الماضي، أعلنت شركة DeepSeek أنها ستفتح المصدر لخمسة مشاريع في الأسبوع المقبل:
وقال مستخدمو الإنترنت: "هذه المرة، OpenAI موجودة بالفعل".
منذ قليل، جاء أول مشروع مفتوح المصدر، يتعلق بتسريع الاستدلال، FlashMLA:
عنوان المشروع مفتوح المصدر:
لقد تم فتح المصدر منذ ساعتين، وحصل موقع Github بالفعل على أكثر من 2.7 ألف نجمة:
الوظيفة الأساسية للمشروع هي:
"FlashMLA عبارة عن نواة فك تشفير MLA فعالة لوحدات معالجة الرسوميات Hopper، وهي مُحسّنة لخدمة تسلسلات ذات أطوال متغيرة."
ترجمتها هي:
"FlashMLA عبارة عن نواة فك تشفير MLA فعالة ومُحسَّنة لوحدات معالجة الرسومات ذات بنية NVIDIA Hopper، ومُحسَّنة بشكل خاص لسيناريوهات الخدمة التي تعالج تسلسلات ذات أطوال متغيرة."
باختصار:
FlashMLA عبارة عن نواة فك تشفير فعالة صممها DeepInference لوحدات معالجة الرسوميات ذات الهندسة المعمارية Hopper (مثل H800). من خلال تحسين حساب الانتباه المحتمل متعدد الرؤوس للتسلسلات ذات الطول المتغير، فإنه يحقق الأداء النهائي لنطاق ترددي للذاكرة يبلغ 3000 جيجابايت/ثانية وقوة حوسبة تبلغ 580TFLOPS في مرحلة فك التشفير، مما يحسن بشكل كبير من كفاءة التفكير باستخدام السياقات الطويلة للنماذج الكبيرة.
وقال بعض مستخدمي الإنترنت:
بعض الناس يستخدمونه بالفعل، ويقولون عنه: الهندسة البحتة:
ينتمي هذا المشروع إلى تحسين الهندسة و يضغط على أداء الأجهزة إلى الحد الأقصى حد.
المشروع جاهز للاستخدام فور إخراجه من الصندوق.
متطلبات البيئة:
- وحدة معالجة الرسوميات هوبر
- CUDA 12.3 وما فوق
- PyTorch 2.0 وما فوق
وفي نهاية المشروع، أشار المسؤول أيضًا إلى أنه مستوحى من مشاريع FlashAttention 2&3 وNVIDIA CUTLASS.
تتمتع تقنية FlashAttention بالقدرة على تحقيق الانتباه الدقيق السريع والموفر للذاكرة، وتُستخدم في الطرز الكبيرة السائدة. ويمكن لأحدث إصدار من الجيل الثالث زيادة معدل استخدام H100 إلى 75%.
تم زيادة سرعة التدريب بمقدار 1.5-2 مرة، ووصل معدل الإنتاجية الحسابية تحت FP16 إلى 740 TFLOPs/s، ليصل إلى 75% من الحد الأقصى النظري للإنتاجية والاستفادة الكاملة من موارد الحوسبة، والتي كانت في السابق 35% فقط.
فلاشMLA لا يحقق فقط قفزة في الأداء من خلال التحسين على مستوى الأجهزة، بل يوفر أيضًا حلًا جاهزًا لممارسات الهندسة في استدلال الذكاء الاصطناعي، ليصبح اختراقًا تكنولوجيًا رئيسيًا في تسريع استدلال النماذج الكبيرة.
كان هناك كشف كبير في اليوم الأول.
أنا أتطلع إلى الأشياء مفتوحة المصدر في الأيام الأربعة المقبلة!
كما قال أحد مستخدمي الإنترنت:
الحوت يصنع الأمواج!
DeepSeek رائع!
