السر وراء DeepSeek 1 | تفاصيل DeepSeekMath وGRPO

أود اليوم أن أشارككم مقالاً من DeepSeek بعنوان DeepSeekMath: دفع حدود التفكير الرياضي في نماذج اللغة المفتوحة.

تقدم هذه المقالة DeepSeekMath 7B، وهو مدرب مسبقًا على DeepSeek-Coder-Base-v1.5 7B استنادًا إلى مجموعة من 120 مليار رمز مرتبط بالرياضيات واللغة الطبيعية وبيانات الكود.

حقق النموذج درجة مذهلة بلغت 51.7% في معايير MATH التنافسية دون الاعتماد على أدوات خارجية وتقنيات التصويت، وهو ما يقترب من مستوى أداء Gemini-Ultra وGPT-4.

تُعزى قدرة التفكير الرياضي لدى DeepSeekMath 7B إلى عاملين رئيسيين: أولاً، من خلال خط أنابيب اختيار البيانات المصمم بعنايةيتم استخراج البيانات عالية الجودة المتعلقة بالرياضيات بشكل متكرر من بيانات الويب المتاحة للجمهور.

ثانيًا، تحسين السياسة النسبية للمجموعة (GRPO) هو تم تقديم نوع مختلف من تحسين السياسة القريبة (PPO) والذي يمكنه تعزيز القدرة على التفكير الرياضي مع تحسين استخدام الذاكرة لـ PPO.

1. يمكن تلخيص ميزات الطريقة على النحو التالي:مجموعة تدريب مسبقة عالية الجودة في الرياضيات تم إنشاء خط أنابيب مصمم بعناية، وتم استخدام خط أنابيب لاستخراج البيانات الرياضية عالية الجودة من Common Crawl.
2. خوارزمية GRPO تم اقتراح طريقة تقلل من الموارد المطلوبة للتدريب وتحسن قدرة التفكير الرياضي للنموذج. 3) أداء على أحدث طراز كان تم تحقيق ذلك في اختبارات مرجعية متعددة للمنطق الرياضي.

ملخص

عنوان: DeepSeekMath: دفع حدود التفكير الرياضي في نماذج اللغة المفتوحة

الرابط: انقر هنا

المؤلفون: زيهونغ شاو، بيي وانغ، تشيهاو تشو، رونكسين شو، جونشياو سونغ، شياو بي، هاوي تشانغ، مينغتشوان تشانغ، واي كيه لي، واي وو، دايا غو

شفرة: انقر هنا

تحفيز

يشكل التفكير الرياضي تحديًا كبيرًا لنماذج اللغة بسبب التعقيد والطبيعة المنظمة للرياضيات. النماذج الأكثر تقدمًا، مثل GPT-4 وGemini-Ultra، قوية ولكنها غير متاحة للجمهور. لذلك، هناك مجال كبير للتحسين في أداء نماذج مفتوحة المصدر.

التعقيد والبنية: يشكل التفكير الرياضي تحديًا كبيرًا لنماذج اللغة بسبب تعقيد الرياضيات وطبيعتها المنظمة.

إمكانات البيانات العامة: قد تحتوي بيانات الويب المتاحة للعامة على معلومات رياضية غنية لم يتم استخراجها والاستفادة منها بعد.

طُرق

جمع البيانات: تم إنشاء مجموعة DeepSeekMath مكونة من 120B رمزًا من خلال جمع بيانات ويب عالية الجودة ذات صلة بالرياضيات من Common Crawl من خلال خط أنابيب تكراري.

التدريب النموذجي: تم استخدام المجموعة للتدريب المسبق على DeepSeek-Coder-Base-v1.5 7B، وتم تطبيق خوارزمية ضبط التعليمات الرياضية وتحسين السياسة النسبية للمجموعة (GRPO).

خوارزمية GRPO: GRPO هي خوارزمية تعزيز التعلم المحسنة التي تزيل نموذج Critic في PPO وتقدر الأساس من درجة المجموعة، وبالتالي تقلل بشكل كبير من موارد التدريب.

الأساليب والإجراءات التفصيلية:

جمع البيانات ومعالجتها:

بناء مجموعة DeepSeekMath: باستخدام مصنف يعتمد على fastText، استخراج 120 مليار رمز مرتبط بالرياضيات من Common Crawl لبناء مجموعة كبيرة الحجم وعالية الجودة تم تدريبها مسبقًا، وهي DeepSeekMath Corpus.

تصفية البيانات التكرارية: يتم استخدام استراتيجية تكرارية، استخدام OpenWebMath كبيانات أولية لتدريب مصنف أولي، ثم استخدام هذا المصنف لاستخراج المزيد من الأمثلة الإيجابية من Common Crawl، والتي يتم التعليق عليها يدويًا لتحسين أداء المصنف بشكل مستمر.

ميزات متعددة اللغات: يحتوي DeepSeekMath Corpus على البيانات متعددة اللغات، مما يحسن أداء النموذج على معايير الرياضيات الصينية.

معالجة إزالة التلوث: د-يتم إجراء معالجة التلوث على بيانات التدريب لتجنب التداخل مع معيار الاختبار.

التدريب المسبق:

تهيئة النموذج القائم على الكود: التهيئة باستخدام DeepSeek-Coder-Base-v1.5 7B لقد وجد أن النموذج أكثر فعالية من التهيئة من برنامج ماجستير في القانون العام.

تكوين بيانات ما قبل التدريب: 56% DeepSeekMath Corpus، 4% AlgebraicStack، 10% arXiv، 20% كود Github، 10% بيانات لغة طبيعية من Common Crawl.

معلمات التدريب المسبق: تم استخدام مُحسِّن AdamW، بمعدل تعلم يبلغ 4.2e-4، وحجم دفعة يبلغ 10 ملايين رمز، وتدريب 500 رمز.

ضبط التعليمات:

إنشاء مجموعة بيانات لضبط التعليمات بدقة: إنشاء مجموعة بيانات ضبط دقيقة للتعليمات الرياضية تحتوي على 776 ألف عينة، والتي تغطي مجموعة متنوعة من المجالات الرياضية ومستويات الصعوبة، بما في ذلك CoT وPoT وتنسيقات الاستدلال المتكاملة مع الأدوات لحل الخطوات.

معايير التدريب: حجم الدفعة 256، معدل التعلم 5e-5، التدرب على 500 خطوة.

التعلم التعزيزي – تحسين السياسة النسبية للمجموعة (GRPO):

اقترح خوارزمية GRPO: اقترح خوارزمية متغير PPO GRPO، والتي تتجنب الحاجة إلى نموذج Critic من خلال استخدام الدرجات على مستوى المجموعة لتقدير خط الأساس، وبالتالي تقليل موارد التدريب.

وظيفة الهدف: يقوم GRPO بتحسين نموذج السياسة من خلال تعظيم وظيفة الهدف التي يأخذ في الاعتبار الميزة النسبية لمخرجات المجموعة ويضيف مباشرة تباعد KL كمصطلح تنظيم.

حساب الميزة: يقوم GRPO بحساب الميزة من خلال المكافآت النسبية داخل المجموعة، وتجنب المقارنات بين المجموعات والتوافق بشكل أفضل مع الطبيعة المقارنة لنموذج المكافأة.

يدعم مراقبة النتائج والعمليات: GRPO يمكن أن يدعم كل من مراقبة النتائج والعمليات، ومراقبة السياسة بشكل أكثر فعالية من خلال تقديم المكافآت في نهاية كل خطوة استدلال.

التعلم التعزيزي التكراري: يستخدم استراتيجية التعلم التعزيزي التكرارية لإنشاء مجموعة تدريب جديدة بناءً على نتائج أخذ العينات من نموذج السياسة، وتدريب نموذج المكافأة القديم بشكل مستمر، واستخدام نموذج المكافأة الجديد لتحديث نموذج السياسة.

بيانات التدريب: يستخدم مشاكل تنسيق CoT المتعلقة بـ GSM8K وMATH في بيانات SFT، حوالي 144K مشكلة.

معايير التدريب: معدل التعلم لنموذج السياسة هو 1e-6، ومعامل KL هو 0.04، ويتم أخذ عينات من 64 مخرجًا لكل مشكلة، والحد الأقصى للطول هو 1024، وحجم دفعة التدريب هو 1024.

الخاتمة

النتيجة 1:يتفوق DeepSeekMath 7B على جميع نماذج المصدر المفتوح في القدرة على التفكير الرياضي. في اختبار معيار الرياضيات التنافسي، حقق DeepSeekMath 7B دقة قدرها 51.7%، وهو قريب من مستوى أداء Gemini-Ultra وGPT-4.

النتيجة 2:تعتبر بيانات التدريب المسبق المصممة جيدًا وخوارزميات GRPO هي المفتاح لنجاح النموذج. إن الجمع بين مجموعة من البيانات الرياضية عالية الجودة وخوارزميات GRPO يمكّن النموذج من تحقيق مكاسب كبيرة في الأداء في مهام التفكير الرياضي.

الاستنتاج 3:يساعد تدريب الكود على تحسين القدرة على التفكير الرياضي. إن إضافة بيانات التعليمات البرمجية إلى مرحلة التدريب المسبق قد يؤدي إلى تحسين قدرة النموذج على حل المشكلات الرياضية، سواء باستخدام الأدوات أو بدونها.

الاستنتاج 4: الفائدة المحدودة لبيانات arXiv: وعلى النقيض من الاعتقادات السابقة، وجد أن بيانات arXiv كانت ذات مساعدة محدودة في تحسين التفكير الرياضي.

الحدود

إن قدرات الهندسة والإثبات ضعيفة نسبيًا: على الرغم من تفوق DeepSeekMath في الاستدلال الكمي، إلا أن قدراته في الهندسة والإثبات لا تزال أدنى من النماذج ذات المصدر المغلق. وقد يكون هذا بسبب اختيار البيانات المتحيز في مراحل ما قبل التدريب والضبط الدقيق.

ضعف في سعة العينة الصغيرة: DeepSeekMath أدنى من GPT-4 من حيث التعلم بالعينة الصغيرة، والذي قد يكون بسبب محدودية حجم النموذج.

هناك حاجة إلى أساليب تعزيز التعلم أكثر كفاءة: على الرغم من أن أساليب التعلم التعزيزي المقترحة في الورقة البحثية فعالة، إلا أنه لا يزال هناك مجال للتحسين، على سبيل المثال، كيفية الاستفادة بشكل أكثر فعالية من ردود الفعل من نموذج المكافأة وكيفية التعامل مع إشارات المكافأة الصاخبة.

تفاصيل

الاستكشاف والتحليل في التعلم المعزز

ملخص:

مقدمة حول تحسين السياسة النسبية للمجموعة (GRPO): تقترح الورقة خوارزمية جديدة للتعلم التعزيزي، GRPO، كمتغير من تحسين السياسة القريبة (PPO). الميزة الرئيسية لـ GRPO هي أنها يتخلى عن نموذج Critic المستخدم عادة في PPO ويقدر خط الأساس من خلال درجات المجموعة، وبالتالي يقلل بشكل كبير من الموارد الحسابية المطلوبة للتدريب.

عرض فعالية GRPO: تثبت الورقة تجريبياً أن GRPO يمكنه تحسين أداء نماذج ضبط الأوامر بشكل فعال، بما في ذلك المهام الرياضية داخل النطاق وخارجه.

الإطار الموحد لأساليب التعلم المعزز: تقترح الورقة إطارًا موحدًا لفهم أساليب التعلم التعزيزي المختلفة، مثل ضبط العينات المرفوضة (RFT)، وتحسين التفضيل المباشر (DPO)، وPPO وGRPOويعامل الإطار هذه الأساليب باعتبارها تقنيات تعزيز التعلم المباشرة أو المبسطة.

الاستكشاف المتعمق لعناصر التعلم المعزز: تستكشف الورقة بعمق العناصر الأساسية للتعلم التعزيزي، مثل التدريب عبر الإنترنت والتدريب دون اتصال بالإنترنت، والإشراف على النتائج والإشراف على العمليات، والتعلم التعزيزي في جولة واحدة والتعلم التعزيزي التكراري، من خلال تجارب مفصلة، ويلخص الاتجاهات المحتملة لتحسين فعالية التعلم المعزز.

خوارزمية GRPO (تحسين السياسة النسبية للمجموعة)

حدود PPO: PPO هي خوارزمية تعزيز التعلم شائعة الاستخدام، ولكنها تتطلب التدريب نموذج نقدي إضافي لتقدير دالة القيمة التي تفرض عبء حسابي وذاكرة إضافيبالإضافة إلى ذلك، في سيناريو LLM، يمكن أن يكون تدريب النموذج النقدي معقدًا لأنه يتطلب التقييم إخراج كل رمز.

الفكرة الأساسية لـ GRPO: الفكرة الأساسية لـ GRPO هي التخلي عن نموذج الناقد واستخدام متوسط النتيجة لمجموعة من المخرجات لنفس المشكلة كخط أساس. يمكن استخدام هذا الخط الأساسي لتقدير دالة الميزة وتحسين السياسةيؤدي هذا النهج إلى تقليل تعقيد التدريب بشكل كبير.

حساب دالة الميزة: يحسب GRPO دالة الميزة من خلال حساب الترتيب النسبي لكل مخرجات في نفس مجموعة المخرجات، بدلاً من الاعتماد على دالة قيمة منفصلة كما هو الحال في PPO.

عقوبة انحراف كوالالمبور: GRPO لا يضيف عقوبة تباعد KL إلى المكافأة مثل PPO، بل يضيف بدلاً من ذلك تباعد KL بين نموذج السياسة ونموذج المرجع مباشرة إلى دالة الخسارة. وهذا يتجنب حساب دالة الميزة المعقدة.

الفكرة الأساسية لـ GRPO

لا يتطلب ناقدًا (دالة القيمة): يتجنب GRPO الحاجة إلى دالة القيمة و يستخدم النتيجة داخل المجموعة لتقدير خط الأساسوبالتالي تقليل موارد التدريب.

الميزة النسبية داخل المجموعة: بالنسبة لكل مشكلة q، يقوم GRPO بأخذ عينات من مجموعة المخرجات {o(1)، o(2)، …، o(G)} من السياسة القديمة π(θold) ثم يقوم بتحسين نموذج السياسة عن طريق تعظيم المعادلة التالية كدالة هدف.

خاصة:

المفتاح هنا هو Â(i,t)، والذي يمثل الميزة ويتم حسابه بواسطة المكافأة النسبية للمخرجات داخل المجموعة، بدلاً من الاعتماد على دالة قيمة منفصلة كما هو الحال في PPO.

وتضيف دالة الهدف أيضًا بشكل مباشر تباعد KL كمصطلح تنظيمي للتحكم في حجم تحديثات السياسة

وتتوافق مع طبيعة المقارنة لنموذج المكافأة: يستخدم GRPO المكافأة النسبية داخل المجموعة لحساب الميزة، وهو ما يتوافق أكثر مع طبيعة نموذج المكافأة، والذي يتم تدريبه عادةً على أساس المقارنة الزوجية.

كيف يمكن تصميم نموذج المكافأة الخاص بـ GRPO (راجع DeepSeek R1)؟

سمات:

تنسيق المكافأة: يفرض جيلًا طويلًا سرير أطفال النتائج، التي يمكن أن تدفع النموذج إلى توليد عمليات الاستدلال وتحسين تأثير الاستدلال للنموذج.

مكافأة الدقة: يمكن للرياضيات استخدام النتيجة النهائية، ويمكن للكود استخدام ملاحظات المترجم.

مزايا GRPO

مساحة ذاكرة أقل: لا يتطلب نموذج Critic، مما يقلل من متطلبات الذاكرة.

تدريب أكثر كفاءة: يؤدي الحساب باستخدام الميزة النسبية داخل المجموعة إلى تبسيط عملية التدريب.

أكثر توافقًا مع طبيعة نماذج المكافأة: تحسين استقرار التدريب وكفاءته.

ملخص النموذج الموحد لـ RL

النموذج الموحد المقترح

يقترح المؤلفون نموذجًا موحدًا لفهم طرق التدريب المختلفة مثل SFT (الضبط الدقيق المشرف)، وRFT (الضبط الدقيق لعينات الرفض)، وDPO (تحسين التفضيل المباشر)، وPPO، وGRPO، وما إلى ذلك. العناصر الرئيسية لـRL: تتضمن العناصر الرئيسية للإطار الموحد ما يلي: مصادر البيانات، ووظائف المكافأة، والخوارزميات.

• مصدر البيانات: يشير هذا إلى البيانات المستخدمة للتدريب، والتي يمكن الحصول عليها من التصنيف اليدوي، أو نماذج SFT، أو نماذج السياسة في الوقت الفعلي.
• وظيفة المكافأة: يشير هذا إلى الوظيفة المستخدمة لتقييم جودة المخرجات، والتي يمكن أن تكون قاعدة أو نموذجًا.
• الخوارزمية: يشير هذا إلى الطريقة المستخدمة لمعالجة البيانات وإشارة المكافأة وتحديث معلمات النموذج.

تحليل الأساليب المختلفة بناءً على نموذج موحد

يوضح الجدول 10 أوجه التشابه والاختلاف بين SFT وRFT وDPO وOnline RFT وPPO وGRPO من حيث مصادر البيانات ووظائف المكافأة ومعاملات التدرج.

طريقة	بيانات التدريب	وظيفة المكافأة	معامل التدرج	طريقة التدريب	المزايا/الميزات	السيناريوهات القابلة للتطبيق
إس إف تي	بيانات SFT المُسمَّاة يدويًا	تم اختياره يدويًا (مكافأة ضمنية)	تم إصلاحه إلى 1	التعلم تحت الإشراف	بسيطة ومستقرة، وتعتمد على بيانات مصنفة عالية الجودة	تدريب النموذج الأساسي، مهمة المحاذاة الأولية
طلب تقديم طلب	مشكلة مجموعة بيانات SFT + عينة مخرجات نموذج SFT	بناءً على صحة الإجابة (حكم القاعدة)	0 (خطأ) أو 1 (صحيح)	تحسين سياسة عدم الاتصال بالإنترنت	حساب فعال، واستخدام مباشر لملاحظات القواعد	مهام رياضية/منطقية ذات قواعد واضحة
مسؤول حماية البيانات	مشكلة مجموعة بيانات SFT + نموذج الإخراج إلى	تصنيف التفضيلات البشرية أو مقارنة القواعد	بناءً على حساب احتمالية التفضيل (على سبيل المثال، نموذج برادلي تيري)	التعلم المقارن	يتجنب نمذجة المكافأة الصريحة، ويحسن التفضيلات بشكل مباشر	مهام محاذاة التفضيلات البشرية (على سبيل المثال، توليد الحوار)
طلب تقديم طلب عبر الإنترنت	أخذ العينات من نموذج السياسة في الوقت الحقيقي أزواج المشكلة والإخراج	بناءً على صحة الإجابة (حكم القاعدة)	0 (خطأ) أو 1 (صحيح)	تحسين السياسات عبر الإنترنت	تحديث السياسات بشكل ديناميكي مع تحسين التعليقات في الوقت الفعلي	السيناريوهات التي تتطلب التفاعل عبر الإنترنت (على سبيل المثال، الذكاء الاصطناعي في اللعبة)
PPO	مشكلة مجموعة بيانات SFT + نتائج أخذ العينات من نموذج السياسة	تم تدريب نموذج المكافأة (RM)	دالة الهيمنة (على أساس تقدير المكافأة)	طريقة تدرج السياسة	فعّال ومستقر، ويدعم التحسين متعدد الخطوات	المهام المعقدة (على سبيل المثال إنشاء النص، والتحكم في الروبوت)
GRPO	مشكلة مجموعة بيانات SFT + مخرجات أخذ العينات من نموذج السياسة	تم تدريب نموذج المكافأة (RM)	المكافأة النسبية داخل المجموعة (مقارنة طبيعية)	تحسين سياسة المجموعة	تقليل تباين المكافأة وتحسين المقارنة داخل المجموعة	المهام ذات التباين العالي (على سبيل المثال إنشاء نص طويل)

ملاحظات حول مصادر البيانات

التدريب عبر الإنترنت مقابل التدريب دون اتصال بالإنترنت: يشير التدريب عبر الإنترنت إلى استخدام مخرجات نموذج السياسة في الوقت الفعلي كبيانات تدريب، بينما يشير التدريب غير المتصل بالإنترنت إلى استخدام مخرجات نموذج ثابت (مثل نموذج SFT) كبيانات تدريب. تظهر النتائج التجريبية أن التدريب عبر الإنترنت أفضل عمومًا من التدريب غير المتصل بالإنترنت.

الإشراف على النتائج مقابل الإشراف على العملية: تشير مراقبة النتائج إلى مكافأة الخطوة الأخيرة فقط من الناتج، بينما تشير مراقبة العملية إلى مكافأة كل خطوة من خطوات عملية التفكير. تظهر النتائج التجريبية أن إن الإشراف على العملية يكون أكثر فعالية في المهام المعقدة.

التعلم التعزيزي بالحلقة الواحدة مقابل التعلم التعزيزي التكراري: يشير التعلم التعزيزي أحادي الحلقة إلى تحسين استراتيجية واحدة، في حين يشير التعلم التعزيزي التكراري إلى التحديث المستمر لنموذج المكافأة بعد تحسينات استراتيجية متعددة. تظهر النتائج التجريبية أن يمكن أن يؤدي التعلم التعزيزي التكراري إلى تحسين الأداء بشكل كبير، وخاصة في التكرار الأول.

ملاحظة معاملات التدرج

القائمة على القواعد مقابل القائمة على النماذج: تشير القاعدة إلى تحديد المكافأة بناءً على صحة الإجابة، ويشير النموذج إلى تدريب نموذج المكافأة على التسجيل.

الفرق في معاملات التدرج: الفرق الرئيسي بين GRPO و تتمثل الميزة الرئيسية لـ Online RFT في أن GRPO يضبط معاملات التدرج الخاصة به استنادًا إلى قيم المكافأة التي يوفرها نموذج المكافأة، في حين أن Online RFT لا يفعل ذلك.

مزايا GRPO: وتظهر التجارب أن يتفوق GRPO على RFT عبر الإنترنت، مما يوضح فعالية تغيير علامة معاملات التدرج. يتفوق GRPO+PS على GRPO+OS، مما يوضح فوائد استخدام معاملات التدرج الدقيقة التي تدرك الخطوات.

فعالية التعلم عن بعد واتجاهات التحسين

لماذا يعتبر التعلم التعزيزي فعالا؟

النتائج التجريبية: يعمل RL على تحسين أداء Maj@K ولكن ليس Pass@K.

توضيح: يعمل RL على تحسين الأداء العام للنموذج من خلال جعل توزيع الناتج أكثر قوة، أي أنه يحسن احتمالية الإجابات الصحيحة في TopK، بدلاً من تعزيز القدرة الأساسية للنموذج.

كيف يمكن تحقيق التعلم التعزيزي بشكل أكثر فعالية؟

استنادًا إلى النموذج الموحد، يقترح المؤلفون اتجاهات مستقبلية لتحسين التعلم المعزز في ثلاثة جوانب: مصادر البيانات، والخوارزميات، ووظائف المكافأة.

• مصادر البيانات:
  • استكشاف القضايا خارج مرحلة SFT.
  • استخدم استراتيجيات أخذ العينات (فك التشفير) الأكثر تقدمًا، مثل أساليب البحث القائمة على الشجرة.
  • استخدام تقنيات الاستدلال الفعالة لتحسين كفاءة الاستكشاف لنموذج السياسة.
• الخوارزمية:
  • استكشف خوارزميات التعلم المعزز التي تتمتع بقدرة أكبر على مقاومة إشارات المكافأة الصاخبة.
  • دراسة طرق محاذاة النوع من الضعيف إلى القوي.
• وظيفة المكافأة:
  • تعزيز قدرة التعميم لنموذج المكافأة للتعامل مع مشاكل خارج التوزيع والمخرجات المتقدمة المفكوكة.
  • عكس عدم اليقين في نموذج المكافأة واستخدامه كجسر لربط نماذج المكافأة الضعيفة وخوارزميات التعلم من الضعيف إلى القوي.
  • إنشاء نماذج مكافأة عملية عالية الجودة بكفاءة لتوفير إشارات تدريب دقيقة لعملية الاستدلال.

الملخص

لقد نجح برنامج DeepSeekMath بشكل كبير في تحسين قدرة نماذج اللغة مفتوحة المصدر في التفكير الرياضي من خلال إنشاء مجموعة كبيرة من النصوص الرياضية واقتراح خوارزمية جديدة للتعلم التعزيزي. ومن أبرز ما جاء في هذه الورقة:

• بناء وتوثيق مجموعة DeepSeekMath، وهي مجموعة رياضية متعددة اللغات، عالية الجودة، وواسعة النطاق.
• تم اقتراح خوارزمية التعلم التعزيزي الفعالة، GRPO، لتقليل استخدام الذاكرة مع تحسين قدرة التفكير الرياضي للنموذج.
• تمت مناقشة تأثير تدريب الكود على القدرة على التفكير الرياضي بعمق، ووجد أن بيانات arXiv لها تأثير محدود. قيمة DeepSeekMath:
• إنه يوفر لمجتمع المصدر المفتوح نموذجًا قويًا للتفكير الرياضي ويعزز تطوير الذكاء الاصطناعي الرياضي.
• ويوفر خبرة وأساليب قيمة لبناء مجموعات الرياضيات وتدريب نماذج التفكير الرياضي.
• توفر خوارزمية GRPO المقترحة أفكارًا جديدة لتدريب التعلم المعزز في مجالات أخرى.