DeepSeek نے اپنا سورس کوڈ جاری کیا ہے، فلیش ایم ایل اے کی تفصیلی وضاحت

پچھلے ہفتے، DeepSeek نے اعلان کیا کہ وہ اگلے ہفتے پانچ پروجیکٹس کھولے گا:

نیٹیزنز نے کہا، "اس بار، OpenAI واقعی یہاں ہے۔"

ابھی، پہلا اوپن سورس پروجیکٹ آیا، جس کا تعلق انفرنس ایکسلریشن، فلیش ایم ایل اے:

اوپن سورس پروجیکٹ کا پتہ:

DeepSeek فلیش ایم ایل اے

یہ دو گھنٹے سے اوپن سورس ہے، اور گیتھب کے پاس پہلے ہی 2.7k+ ستارے ہیں:

منصوبے کا بنیادی کام یہ ہے:

"FlashMLA Hopper GPUs کے لیے ایک موثر ایم ایل اے ڈی کوڈنگ کرنل ہے، جو متغیر لمبائی کے سلسلے کی خدمت کے لیے موزوں ہے۔"

ترجمہ، یہ ہے:

"FlashMLA ایک موثر ایم ایل اے ڈی کوڈنگ کرنل ہے جسے NVIDIA Hopper آرکیٹیکچر GPUs کے لیے بہتر بنایا گیا ہے، خاص طور پر سروس کے ایسے منظرناموں کے لیے بہتر بنایا گیا ہے جو متغیر لمبائی کے سلسلے پر کارروائی کرتے ہیں۔"

مختصراً:

فلیش ایم ایل اے ایک موثر ڈی کوڈنگ کور ہے جسے ڈیپ انفرنس نے ہاپر آرکیٹیکچر GPUs (جیسے H800) کے لیے ڈیزائن کیا ہے۔ متغیر طوالت کے سلسلے کے ملٹی ہیڈ ممکنہ توجہ کے حساب کو بہتر بنا کر، یہ ڈی کوڈنگ مرحلے میں 3000GB/s میموری بینڈوڈتھ اور 580TFLOPS کمپیوٹنگ پاور کی حتمی کارکردگی کو حاصل کرتا ہے، بڑے ماڈلز کے لیے طویل سیاق و سباق کے ساتھ استدلال کی کارکردگی کو نمایاں طور پر بہتر کرتا ہے۔

کچھ netizens نے کہا:

کچھ لوگ پہلے ہی اسے استعمال کر رہے ہیں، اور وہ کہتے ہیں خالص انجینئرنگ:

یہ منصوبہ انجینئرنگ کی اصلاح سے تعلق رکھتا ہے۔ ہارڈ ویئر کی کارکردگی کو نچوڑ دیتا ہے۔ حد

پروجیکٹ باکس سے باہر استعمال کرنے کے لیے تیار ہے۔

ماحولیاتی تقاضے:

• ہوپر GPU
• CUDA 12.3 اور اس سے اوپر
• PyTorch 2.0 اور اس سے اوپر

پروجیکٹ کے اختتام پر، اہلکار نے یہ بھی بتایا کہ یہ FlashAttention 2 اور 3 اور NVIDIA CUTLASS پروجیکٹس سے متاثر ہے۔

FlashAttention تیز رفتار اور یادداشت کے لحاظ سے درست توجہ حاصل کرنے کے قابل ہے، اور مرکزی دھارے کے بڑے ماڈلز میں استعمال ہوتا ہے۔ تیسری نسل کا تازہ ترین ورژن H100 کے استعمال کی شرح کو 75% تک بڑھا سکتا ہے۔

تربیت کی رفتار میں 1.5-2 گنا اضافہ ہوا ہے، اور FP16 کے تحت کمپیوٹیشنل تھرو پٹ 740 TFLOPs/s تک زیادہ ہے، جو نظریاتی زیادہ سے زیادہ تھرو پٹ کے 75% تک پہنچ جاتا ہے اور کمپیوٹنگ وسائل کا بھرپور استعمال کرتا ہے، جو پہلے صرف 35% تھا۔

فلیش ایم ایل اے نہ صرف ہارڈ ویئر کی سطح کی اصلاح کے ذریعے کارکردگی میں ایک چھلانگ حاصل کرتا ہے، بلکہ AI تخمینہ میں انجینئرنگ کے طریقوں کے لیے ایک آؤٹ آف دی باکس حل بھی فراہم کرتا ہے، جو بڑے ماڈلز کے تخمینے کو تیز کرنے میں ایک اہم تکنیکی پیش رفت بنتا ہے۔

پہلے دن ہی اتنا بڑا انکشاف ہو گیا۔

میں اگلے چار دنوں میں اوپن سورس چیزوں کا منتظر ہوں!

جیسا کہ نیٹیزین نے کہا:

وہیل لہریں بنا رہی ہے!

DeepSeek بہت اچھا ہے!