LLM 本地化部署6：安装 Ollama 模型推理引擎
安装并配置 Ollama 推理引擎，通过 systemd 实现自启动，并导入 GGUF 格式模型。
大模型本地化部署指南
LLM 本地化部署5：安装 xinference 模型推理平台
安装 xinference 模型推理平台，统一管理与查询 vLLM、GGUF 等多种推理引擎及参数组合。
LLM 本地化部署4：Transformers 模型量化
将 Transformers 模型导出为 GGUF 格式并完成量化，在推理精度与显存占用之间取得平衡。
LLM 本地化部署3：安装本地模型推理引擎
安装 Transformers 推理引擎（Conda / uv 虚拟环境），并验证 CUDA 与 CPU 下的模型加载可用性。
LLM 本地化部署2：安装 Python 环境
使用 Conda 搭建 Python 虚拟环境，解决依赖隔离与 libstdcxx 版本兼容问题，为后续工具链打好基础。
LLM 本地化部署1：安装 CUDA 环境
在 Ubuntu 上安装 CUDA Toolkit 与对应 PyTorch 版本，为本地大模型推理准备好 GPU 计算环境。