LLM 本地化部署2：安装 Python 环境

1. 使用 Conda 虚拟环境

1.1. 安装 Anaconda

https://docs.anaconda.com/anaconda/install/

        
        
        
        
        bash
    
# 安装
curl -O https://repo.anaconda.com/archive/Anaconda3-2025.06-0-Linux-x86_64.sh
bash ~/Anaconda3-2025.06-0-Linux-x86_64.sh

# 设置默认是否进入base环境
conda config --set auto_activate_base True
conda config --set auto_activate_base False

# 手动初始化
source <PATH_TO_CONDA>/bin/activate
conda init --all

# 更新Conda环境
conda update --all

1.2. 解决 GLIBCXX not found 问题

        
        
        
        
        bash
    
# 查看系统 libstdcxx 版本
strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX

# 查询 conda libstdcxx 版本
cd ~/anaconda3/envs/xinference/lib/
strings libstdc++.so.6| grep GLIBCXX

# 升级 conda libstdcxx 版本
conda install conda-forge::libstdcxx-ng --update-deps
conda install conda-forge::libgcc-ng --update-deps

# 或者做软链接
rm libstdc++.so.6
ln -s /usr/lib/x86_64-linux-gnu/libstdc++.so.6 libstdc++.so.6

1.3. 常用 conda 命令

conda 会检查当前环境安装的 Python 版本，并仅安装与该 Python 版本兼容的包。

        
        
        
        
        bash
    
# 查看
conda env list

# 搜索
conda search <PACKAGE>
conda search <CHANNEL>::<PACKAGE>
conda search python

# 新建
conda create --name <ENVIRONMENT> python=<VERSION>
conda create --name python311 python=3.11
conda create --name pytorch251_cu126 --clone python311
conda create --name xinference --clone pytorch251_cu126

# 激活、退出、删除
conda activate xinference
conda deactivate
conda env remove --name xinference

# 导出、导入
conda env export --name pytorch251 > pytorch251.yml
conda env create -f pytorch251.yml

1.4. conda 和 pip 区别

conda 可以管理非python包，pip只能管理python包。
conda 可以用来创建虚拟环境，pip不能，需要依赖virtualenv之类的包。
conda 安装的包是编译好的二进制文件，pip安装的包是wheel或源码，需要解禁依赖问题。
conda 安装的包会统一下载到当前虚拟环境对应的目录下，下载一次多次安装，pip是直接下载到对应环境中。

1.5. 通过 conda 安装

https://docs.anaconda.com/working-with-conda/packages/install-packages/

        
        
        
        
        bash
    
# 全局代理
vim ~/.condarc

proxy_servers:
    http: http://127.0.0.1:7890
    https: http://127.0.0.1:7890

# 安装包
conda install <PACKAGE>
conda install <PACKAGE> --name <ENVIRONMENT>
conda install <PACKAGE_PATH/PACKAGE>.conda
conda install conda-forge::transformers

1.6. 通过 pip 安装包

https://docs.anaconda.com/working-with-conda/packages/pip-install/

        
        bash
    
# 全局代理
pip config set global.proxy http://127.0.0.1:7890

# 安装包
pip install <PACKAGE>

2. 使用 uv 虚拟环境

2.1. 安装 uv

https://docs.astral.sh/uv/getting-started/installation/

        
        bash
    
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.local/bin/env

# Shell 自动补全
echo 'eval "$(uv generate-shell-completion bash)"' >> ~/.bashrc

# 安装 python
uv python list
uv python install 3.13

2.2. 镜像设置

https://docs.astral.sh/uv/reference/settings

vim ~/.config/uv/uv.toml

        
        bash
    
[[index]]
url = "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple"
default = true

2.3. 常用命令

默认缓存目录：$HOME/.cache/uv

安装包： https://docs.astral.sh/uv/pip/packages

        
        bash
    
# 设置代理
export HTTPS_PROXY=http://192.168.60.181:7890
export HTTP_PROXY=http://192.168.60.181:7890
export UV_HTTP_TIMEOUT=300

# 新建
uv venv pytorch --python 3.12 --seed
source pytorch/bin/activate

# 退出
deactivate