vLLM ile iki Nvidia DGX istasyonunda 607.8 tok/s hızında GLM-5.3 sunma
Büyük dil modelini (GLM-5.3) optimize edilmiş bir kütüphane (vLLM) ve özel donanımla yüksek hızda sunma performansı.
Hacker News paylaşan: wondersky
Hacker News paylaşım tarihi:
Büyük dil modelini (GLM-5.3) optimize edilmiş bir kütüphane (vLLM) ve özel donanımla yüksek hızda sunma performansı.
Hacker News paylaşan: wondersky
Hacker News paylaşım tarihi: