בשבוע שעבר הודיעה DeepSeek כי תפתח חמישה פרויקטים בקוד פתוח בשבוע הבא:
משתמשים ברשת אמרו, "הפעם, OpenAI באמת כאן."
רק עכשיו הגיע פרויקט הקוד הפתוח הראשון, הקשור להאצת הסקת מסקנות, FlashMLA:
כתובת פרויקט קוד פתוח:
זה היה קוד פתוח במשך שעתיים, ול-Github כבר יש 2.7k+ כוכבים:
תפקיד הליבה של הפרויקט הוא:
"FlashMLA הוא ליבת פענוח MLA יעילה עבור הופר GPUs, מותאמת להגשה של רצפים באורך משתנה."
מתורגם, זה כן:
"FlashMLA הוא ליבת פענוח MLA יעילה המותאמת עבור GPUs בארכיטקטורת NVIDIA Hopper, מותאמת במיוחד עבור תרחישי שירות המעבדים רצפים באורך משתנה."
בְּקִצוּר נִמרָץ:
FlashMLA היא ליבת פענוח יעילה שתוכננה על ידי DeepInference עבור GPUs בארכיטקטורת הופר (כגון H800). על ידי אופטימיזציה של חישוב הקשב הפוטנציאלי הרב-ראשי של רצפים באורך משתנה, הוא משיג את הביצועים האולטימטיביים של רוחב פס זיכרון של 3000GB/s וכוח מחשוב של 580TFLOPS בשלב הפענוח, מה שמשפר משמעותית את היעילות של חשיבה עם הקשרים ארוכים עבור דגמים גדולים.
כמה גולשים ברשת אמרו:
יש אנשים שכבר משתמשים בזה, והם אומרים הנדסה טהורה:
פרויקט זה שייך לאופטימיזציה הנדסית ו סוחט את ביצועי החומרה ל- לְהַגבִּיל.
הפרויקט מוכן לשימוש מחוץ לקופסה.
דרישות איכות הסביבה:
- הופר GPU
- CUDA 12.3 ומעלה
- PyTorch 2.0 ומעלה
בסוף הפרויקט, הפקיד גם הצהיר שהוא נוצר בהשראת הפרויקטים FlashAttention 2&3 ו-NVIDIA CUTLASS.
FlashAttention מסוגלת להשיג תשומת לב מדויקת מהירה וחסכונית בזיכרון, והיא משמשת בדגמים גדולים מהמיינסטרים. גרסת הדור השלישי האחרונה יכולה להגדיל את קצב הניצול של ה-H100 ל-75%.
מהירות האימון מוגברת פי 1.5-2, והתפוקה החישובית תחת FP16 גבוהה עד 740 TFLOPs/s, מגיעה ל-75% מהתפוקה המקסימלית התיאורטית ועושה שימוש מלא יותר במשאבי מחשוב, שבעבר היה רק 35%.
FlashMLA לא רק משיג קפיצת מדרגה בביצועים באמצעות אופטימיזציה ברמת החומרה, אלא גם מספק פתרון מחוץ לקופסה לפרקטיקות הנדסיות בהסקת בינה מלאכותית, מה שהופך לפריצת דרך טכנולוגית מרכזית בהאצת ההסקה של דגמים גדולים.
הייתה חשיפה כל כך גדולה ביום הראשון.
אני מצפה לחומר הקוד הפתוח בארבעת הימים הקרובים!
כפי שאמר המשתמש ברשת:
הלוויתן עושה גלים!
DeepSeek מדהים!
