DeepSeek imetoa msimbo wake wa chanzo, maelezo ya kina ya FlashMLA

Wiki iliyopita, DeepSeek ilitangaza kwamba itafungua chanzo cha miradi mitano wiki ijayo:

Wanamtandao walisema, "Wakati huu, OpenAI iko hapa."

Hivi sasa, mradi wa kwanza wa chanzo wazi ulikuja, unaohusiana na kuongeza kasi ya uelekezaji, FlashMLA:

Fungua anwani ya mradi wa chanzo:

DeepSeek FlashMLA

Imekuwa chanzo wazi kwa saa mbili, na Github tayari ina nyota 2.7k+:

Kazi kuu ya mradi ni:

"FlashMLA ni kernel ya utunzi wa MLA ya Hopper GPU, iliyoboreshwa kwa mlolongo wa urefu tofauti unaotumika."

Ikitafsiriwa, ndivyo:

"FlashMLA ni kernel ya utunzi wa MLA iliyoboreshwa kwa GPU za usanifu wa NVIDIA Hopper, iliyoboreshwa haswa kwa hali za huduma ambazo huchakata mlolongo wa urefu tofauti."

Kwa kifupi:

FlashMLA ni msingi bora wa kusimbua iliyoundwa na DeepInference kwa GPU za usanifu wa Hopper (kama vile H800). Kwa kuboresha hesabu ya usikivu yenye uwezo wa vichwa vingi ya mfuatano wa urefu tofauti, inafanikisha utendakazi wa mwisho wa kipimo data cha 3000GB/s na nguvu ya kompyuta ya 580TFLOPS katika hatua ya kusimbua, kuboresha kwa kiasi kikubwa ufanisi wa hoja na miktadha mirefu kwa miundo mikubwa.

Baadhi ya wanamtandao walisema:

Baadhi ya watu tayari wanaitumia, na wanasema Uhandisi Safi:

Mradi huu ni wa uboreshaji wa uhandisi na kubana utendaji wa maunzi kwa kikomo.

Mradi uko tayari kutumika nje ya boksi.

Mahitaji ya mazingira:

• Hopper GPU
• CUDA 12.3 na zaidi
• PyTorch 2.0 na hapo juu

Mwishoni mwa mradi huo, afisa huyo pia alisema kuwa iliongozwa na miradi ya FlashAttention 2&3 na NVIDIA CUTLASS.

FlashAttention ina uwezo wa kufikia umakinifu wa haraka na wa kumbukumbu, na hutumiwa katika miundo mikubwa ya kawaida. Toleo la hivi punde la kizazi cha tatu linaweza kuongeza kiwango cha utumiaji cha H100 hadi 75%.

Kasi ya mafunzo huongezeka kwa mara 1.5-2, na matokeo ya kimahesabu chini ya FP16 ni ya juu hadi 740 TFLOPs/s, kufikia 75% ya upitishaji wa kinadharia na kutumia kikamilifu rasilimali za kompyuta, ambazo hapo awali zilikuwa 35% pekee.

FlashMLA sio tu kufikia kiwango kikubwa cha utendaji kupitia uboreshaji wa kiwango cha maunzi, lakini pia hutoa suluhisho la nje la kisanduku kwa mazoea ya uhandisi katika uelekezaji wa AI, na kuwa mafanikio muhimu ya kiteknolojia katika kuharakisha uelekezaji wa miundo mikubwa.

Kulikuwa na ufunuo mkubwa kama huo siku ya kwanza.

Natarajia mambo ya programu huria katika siku nne zijazo!

Kama mwana mtandao alisema:

Nyangumi anafanya mawimbi!

DeepSeek ni nzuri!