# ggml\-org/llama.cpp

llama.cpp: C/C\+\+ ile LLM Çıkarımı

- HackerByte sayfası: <https://hackerbyte.net/tr/projects/llama-cpp-c-c-ile-llm-cikarimi-612354784>
- GitHub: <https://github.com/ggml-org/llama.cpp>
- Programlama dili: C\+\+

LLM inference in C/C\+\+

## Yapay zekâ özeti

llama.cpp, büyük dil modellerinin \(LLM\) ve görsel dil modellerinin \(VLM\) çıkarımını C/C\+\+ ile hızlı ve verimli bir şekilde gerçekleştirmek için tasarlanmış açık kaynaklı bir projedir. Farklı donanımlarda minimal kurulumla çalışabilirlik sunar ve çeşitli donanım hızlandırma tekniklerini destekler.

## Önemli noktalar

- C/C\+\+ ile bağımlılık olmadan saf LLM çıkarımı.
- Apple Silicon, x86 \(AVX/AVX2/AVX512\) ve RISC\-V mimarileri için optimize edilmiştir.
- Düşük bellek kullanımı ve hızlı çıkarım için 1.5 ila 8\-bit arası tamsayı niceleme \(quantization\) desteği.
- NVIDIA, AMD, Intel ve Moore Threads GPU'lar için özel arka uçlar \(backend\) sunar.
- OpenAI uyumlu API sunucusu ve yerleşik web arayüzü ile kolay kullanım sağlar.