LLM 本地化部署6:安装 Ollama 模型推理引擎
安装并配置 Ollama 推理引擎,通过 systemd 实现自启动,并导入 GGUF 格式模型。
安装并配置 Ollama 推理引擎,通过 systemd 实现自启动,并导入 GGUF 格式模型。
安装 xinference 模型推理平台,统一管理与查询 vLLM、GGUF 等多种推理引擎及参数组合。
将 Transformers 模型导出为 GGUF 格式并完成量化,在推理精度与显存占用之间取得平衡。
安装 Transformers 推理引擎(Conda / uv 虚拟环境),并验证 CUDA 与 CPU 下的模型加载可用性。
使用 Conda 搭建 Python 虚拟环境,解决依赖隔离与 libstdcxx 版本兼容问题,为后续工具链打好基础。
在 Ubuntu 上安装 CUDA Toolkit 与对应 PyTorch 版本,为本地大模型推理准备好 GPU 计算环境。