llama.cpp

一个C/C++编写的LLM推理库，可在消费级硬件上本地高效运行大语言模型，实现私有化部署。