ashhart/TensorFold
TensorFold: Zig ile Metal, CUDA ve Vulkan üzerinde LLM çıkarımı
LLM Inference Engine for Metal, CUDA and Vulkan.
Yapay zekâ özeti
TensorFold, Zig programlama dilinde yazılmış, Apple Silicon ve NVIDIA GPU'lar üzerinde LLM (Büyük Dil Modeli) çalıştırmak için optimize edilmiş bir çıkarım motorudur. Python veya MLX gibi ek kurulumlara ihtiyaç duymadan doğrudan Metal, CUDA ve Vulkan API'lerini kullanarak model çalıştırmayı hedefler. Bu, geliştiricilerin LLM'leri daha verimli ve düşük bağımlılıkla kendi uygulamalarına entegre etmelerini sağlar.
Programlama dili: Zig