llama.cpp

用 C/C++ 在普通电脑甚至手机上量化运行 Llama 系列模型的轻量推理框架。

#LLM#CPU 推理#C/C++

0 0 0

0.0

0 人评分

给项目打分：

llama.cpp

用 C/C++ 在普通电脑甚至手机上量化运行 Llama 系列模型的轻量推理框架。

开源地址：https://github.com/ggml-org/llama.cpp