ggml-org/llama.cpp
llama.cpp: C/C++ ile LLM Çıkarımı
LLM inference in C/C++
Yapay zekâ özeti
llama.cpp, büyük dil modellerinin (LLM) ve görsel dil modellerinin (VLM) çıkarımını C/C++ ile hızlı ve verimli bir şekilde gerçekleştirmek için tasarlanmış açık kaynaklı bir projedir. Farklı donanımlarda minimal kurulumla çalışabilirlik sunar ve çeşitli donanım hızlandırma tekniklerini destekler.
Programlama dili: C++