大模型相关源码 · 共 2 篇

llama.cpp 本地大模型推理引擎：纯 C++ 零依赖，低内存跑量化模型

llama.cpp 本地大模型推理引擎：纯 C++ 零依赖，低内存跑量化模型 llama.cpp 是纯 C++ 轻量级本地大模型推理引擎，零依赖运行 GGUF 模型。版本 v0.7.0-dev（b11913），MIT 许可。双平台实测：解压即用，服务就绪仅 480~557 毫秒，4-bit 量化模型推理 31~42 tok/s，跨平台一致。附双平台预编译整合包。

AI应用 # 大模型 # AI应用 # C++# llama.cpp # 推理引擎

源码湾 1小时前

0 2 0

Ollama 本地大模型运行框架：单命令开跑，自带标准接口与双平台支持

Ollama 本地大模型运行框架：单命令开跑，自带标准接口与双平台支持 Ollama 是一套轻量化、可扩展的本地大模型运行框架，双平台零门槛开跑。自带标准兼容 API，一行命令拉取量化权重，本地开箱即用。全套接口均通过，附 4.67GB 预装整合包。

AI应用 # AI # Go # 大模型 # Ollama

源码湾 2小时前

0 3 0