LLM'leri küçük ve eski cihazlarda çalıştırıyorum
Düşük donanım gereksinimli LLM çalıştırma teknikleri.
Yapay zekâ özeti
smolmaxxing projesi, eski TV kutuları, tabletler ve tek kartlı bilgisayarlar gibi düşük donanımlı cihazlarda Büyük Dil Modellerini (LLM) çalıştırmayı amaçlıyor. Özel çekirdekler, optimize edilmiş bellek kullanımı ve depolama biriminden akıtma teknikleri kullanarak, mevcut kaynakları en üst düzeye çıkarıyor. Proje, 1 GB RAM'e sahip cihazlarda bile 16 milyar parametreli modelleri çalıştırabiliyor.
Hacker News paylaşan: mrashad74
Hacker News paylaşım tarihi: