KoboldCpp

基于llama.cpp的AI推理工具，集成了KoboldAI的UI与API，可免安装运行GGUF大模型。