jingyaogong/minimind
MiniMind: 2 Saatte Sıfırdan 64M Parametreli Dil Modeli Eğitin
🧠 Train a 64M-parameter LLM from scratch in just 2h!
Yapay zekâ özeti
MiniMind, yalnızca 2 saatlik eğitim süresi ve yaklaşık 3 TL'lik bir maliyetle sıfırdan 64 milyon parametreli bir dil modeli (LLM) eğitebileceğinizi gösteren açık kaynaklı bir projedir. Proje, LLM'lerin temel mantığını anlamak isteyenler için adım adım bir rehber sunmayı amaçlar ve basit yapısı sayesinde kişisel GPU'larda bile kolayca eğitilip tekrarlanabilir. MiniMind serisi, MoE, veri temizleme, ön eğitim, ince ayar, LoRA, RLHF, RLAIF gibi birçok gelişmiş LLM eğitim sürecini kapsayan kodlar içerir.
Programlama dili: Python