JustVugg/colibri
A hierarchical inference engine for frontier MoE models: hot experts on the GPU (CUDA, Vulkan), warm ones in RAM, cold ones streamed from NVMe. Written in C, runs on the hardware you already own.
Yapay zekâ özeti
Colibri, çok büyük Mixture-of-Experts (MoE) modellerini, donanımınızın elverdiği ölçüde (GPU, RAM veya NVMe'den akıtarak) çalıştırmanıza olanak tanıyan saf C dilinde yazılmış bir çıkarım motorudur. Proje, özellikle mevcut donanımlarla en büyük yapay zeka modellerini erişilebilir kılmayı hedefler.
Programlama dili: C