#CPU 推理

llama.cpp

用 C/C++ 在普通电脑甚至手机上量化运行 Llama 系列模型的轻量推理框架。