# ashhart/TensorFold

TensorFold: Zig ile Metal, CUDA ve Vulkan üzerinde LLM çıkarımı

- HackerByte sayfası: <https://hackerbyte.net/tr/projects/tensorfold-zig-ile-metal-cuda-ve-vulkan-uzerinde-llm-cikarimi-1274723381>
- GitHub: <https://github.com/ashhart/TensorFold>
- Programlama dili: Zig

LLM Inference Engine for Metal, CUDA and Vulkan.

## Yapay zekâ özeti

TensorFold, Zig programlama dilinde yazılmış, Apple Silicon ve NVIDIA GPU'lar üzerinde LLM \(Büyük Dil Modeli\) çalıştırmak için optimize edilmiş bir çıkarım motorudur. Python veya MLX gibi ek kurulumlara ihtiyaç duymadan doğrudan Metal, CUDA ve Vulkan API'lerini kullanarak model çalıştırmayı hedefler. Bu, geliştiricilerin LLM'leri daha verimli ve düşük bağımlılıkla kendi uygulamalarına entegre etmelerini sağlar.

## Önemli noktalar

- Zig ile yazılmış, yüksek performanslı LLM çıkarım motoru.
- Metal \(Apple Silicon\), CUDA \(NVIDIA\) ve Vulkan desteği sunar.
- Python veya MLX gibi harici bağımlılıklara gerek duymaz.
- Çeşitli modeller ve kuantizasyon formatları \(4\-bit, 6\-bit, 8\-bit\) için geniş destek.
- Yerel web arayüzü \(TensorFold Web\) ve masaüstü uygulaması \(TensorFold desktop workspace\) ile kullanım kolaylığı.