百度的深度学习平台PaddlePaddle

PaddlePaddle是百度开源的深度学习平台,具有易用,高效,灵活和可伸缩等特点,已为百度内部多项产品提供深度学习算法支持,在深度学习框架方面,覆盖了搜索、图像识别、语音语义识别理解、情感分析、机器翻译、用户画像推荐等多领域的业务和技术, 如外卖的预估出餐时间、预判网盘故障时间点、精准推荐用户所需信息、海量图像识别分类、字符识别(OCR)、病毒和垃圾信息检测、机器翻译和自动驾驶等领域。

特性:

*易用性是PaddlePaddle的设计核心之一,它为用户提供了直观且灵活的数据接口和模型定义接口。

*PaddlePaddle支持多种神经网络结构和优化算法。简单书写配置文件即可实现复杂模型,如带注意力机制或复杂记忆连接的神经机器翻译模型。

*为充分发挥多种计算资源的效力,PaddlePaddle在计算、存储、架构、通信等多方面都做了细致优化,性能优异。

*PaddlePaddle全面支持多核、多GPU、多机环境,优化的通信实现使高吞吐与高性能成为可能,轻松应对大规模数据训练需求。

官网:http://www.paddlepaddle.org.cn

-------------------------------------------------

  • 执行以下命令安装:
python -m pip install paddlepaddle-gpu==2.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
from

https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html

--------------------------------------------------------

Linux下,从源码编译

环境准备

  • Linux 版本 (64 bit)

    • CentOS 6 (不推荐,不提供编译出现问题时的官方支持)

    • CentOS 7 (GPU 版本支持 CUDA 10.1/10.2/11.1/11.2/11.6/11.7)

    • Ubuntu 14.04 (不推荐,不提供编译出现问题时的官方支持)

    • Ubuntu 16.04 (GPU 版本支持 CUDA 10.1/10.2/11.1/11.2/11.6/11.7)

    • Ubuntu 18.04 (GPU 版本支持 CUDA 10.1/10.2/11.1/11.2/11.6/11.7)

  • Python 版本 3.6/3.7/3.8/3.9/3.10 (64 bit)

选择 CPU/GPU

  • 如果您的计算机没有 NVIDIA® GPU,请安装 CPU 版本的 PaddlePaddle

  • 如果您的计算机有 NVIDIA® GPU,请确保满足以下条件以编译 GPU 版 PaddlePaddle

    • CUDA 工具包 10.1 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高;不支持使用 TensorRT)

    • CUDA 工具包 10.2 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT7.0.0.11)

    • CUDA 工具包 11.1 配合 cuDNN v8.1.1(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT7.2.3.4)

    • CUDA 工具包 11.2 配合 cuDNN v8.1.1(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT8.0.3.4)

    • CUDA 工具包 11.6 配合 cuDNN v8.4.0(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT8.4.0.6)

    • CUDA 工具包 11.7 配合 cuDNN v8.4.1(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT8.4.2.4)

    • GPU 运算能力超过 3.5 的硬件设备

      您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见CUDAcuDNNTensorRT

安装步骤

在 Linux系统下的编译

本机编译

1. 检查您的计算机和操作系统是否符合我们支持的编译标准:

uname -m && cat /etc/*release

2. 更新系统源

  • Centos 环境

    更新yum的源:

    yum update
    

    并添加必要的 yum 源:

    yum install -y epel-release
    
  • Ubuntu 环境

    更新apt的源:

    apt update
    

3. 安装 NCCL(可选)

  • 如果您需要使用 GPU 多卡,请确保您已经正确安装 nccl2,或者按照以下指令安装 nccl2(这里提供的是 CUDA10.2,cuDNN7 下 nccl2 的安装指令,更多版本的安装信息请参考 NVIDIA官方网站):

    • Centos 系统可以参考以下命令

      wget http://developer.download.nvidia.com/compute/machine-learning/repos/rhel7/x86_64/nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
      
      rpm -i nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
      
      yum update -y
      
      yum install -y libnccl-2.7.8-1+cuda10.2 libnccl-devel-2.7.8-1+cuda10.2 libnccl-static-2.7.8-1+cuda10.2
      
    • Ubuntu 系统可以参考以下命令

      wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
      
      dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
      
      sudo apt install -y libnccl2=2.7.8-1+cuda10.2 libnccl-dev=2.7.8-1+cuda10.2
      

4. 安装必要的工具

  • Centos 环境

    bzip2以及make

    yum install -y bzip2
    
    yum install -y make
    

    cmake 需要 3.15 以上,建议使用 3.16.0:

    wget -q https://cmake.org/files/v3.16/cmake-3.16.0-Linux-x86_64.tar.gz
    
    tar -zxvf cmake-3.16.0-Linux-x86_64.tar.gz
    
    rm cmake-3.16.0-Linux-x86_64.tar.gz
    
    PATH=/home/cmake-3.16.0-Linux-x86_64/bin:$PATH
    

    gcc 需要 5.4 以上,建议使用 8.2.0:

    wget -q https://paddle-docker-tar.bj.bcebos.com/home/users/tianshuo/bce-python-sdk-0.8.27/gcc-8.2.0.tar.xz && \
    tar -xvf gcc-8.2.0.tar.xz && \
    cd gcc-8.2.0 && \
    sed -i 's#ftp://gcc.gnu.org/pub/gcc/infrastructure/#https://paddle-ci.gz.bcebos.com/#g' ./contrib/download_prerequisites && \
    unset LIBRARY_PATH CPATH C_INCLUDE_PATH PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE && \
    ./contrib/download_prerequisites && \
    cd .. && mkdir temp_gcc82 && cd temp_gcc82 && \
    ../gcc-8.2.0/configure --prefix=/usr/local/gcc-8.2 --enable-threads=posix --disable-checking --disable-multilib && \
    make -j8 && make install
    
  • Ubuntu 环境

    bzip2以及make

    apt install -y bzip2
    
    apt install -y make
    

    cmake 需要 3.15 以上,建议使用 3.16.0:

    wget -q https://cmake.org/files/v3.16/cmake-3.16.0-Linux-x86_64.tar.gz
    
    tar -zxvf cmake-3.16.0-Linux-x86_64.tar.gz
    
    rm cmake-3.16.0-Linux-x86_64.tar.gz
    
    PATH=/home/cmake-3.16.0-Linux-x86_64/bin:$PATH
    

    gcc 需要 5.4 以上,建议使用 8.2.0:

    wget -q https://paddle-docker-tar.bj.bcebos.com/home/users/tianshuo/bce-python-sdk-0.8.27/gcc-8.2.0.tar.xz && \
    tar -xvf gcc-8.2.0.tar.xz && \
    cd gcc-8.2.0 && \
    sed -i 's#ftp://gcc.gnu.org/pub/gcc/infrastructure/#https://paddle-ci.gz.bcebos.com/#g' ./contrib/download_prerequisites && \
    unset LIBRARY_PATH CPATH C_INCLUDE_PATH PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE && \
    ./contrib/download_prerequisites && \
    cd .. && mkdir temp_gcc82 && cd temp_gcc82 && \
    ../gcc-8.2.0/configure --prefix=/usr/local/gcc-8.2 --enable-threads=posix --disable-checking --disable-multilib && \
    make -j8 && make install
    

5. 我们支持使用 virtualenv 进行编译安装,首先请使用以下命令创建一个名为paddle-venv的虚环境:

  • a. 安装 Python-dev:

    (请参照 Python 官方流程安装)

  • b. 安装 pip:

    (请参照 Python 官方流程安装, 并保证拥有 20.2.2 及以上的 pip3 版本,请注意,python3.6 及以上版本环境下,pip3 并不一定对应 python 版本,如 python3.7 下默认只有 pip3.7)

  • c.(Only For Python3)设置 Python3 相关的环境变量,这里以 python3.7 版本示例,请替换成您使用的版本(3.6、3.8、3.9、3.10):

    1. 首先使用

      find `dirname $(dirname $(which python3))` -name "libpython3.so"
      

      找到 Python lib 的路径,如果是 3.6、3.7、3.8、3.9、3.10,请将python3改成python3.6python3.7python3.8python3.9python3.10,然后将下面[python-lib-path]替换为找到文件路径

    2. 设置 PYTHON_LIBRARIES:

      export PYTHON_LIBRARY=[python-lib-path]
      
    3. 其次使用

      find `dirname $(dirname $(which python3))`/include -name "python3.7m"
      

      找到 Python Include 的路径,请注意 python 版本,然后将下面[python-include-path]替换为找到文件路径

    4. 设置 PYTHON_INCLUDE_DIR:

      export PYTHON_INCLUDE_DIRS=[python-include-path]
      
    5. 设置系统环境变量路径:

      export PATH=[python-lib-path]:$PATH
      

      (这里将[python-lib-path]的最后两级目录替换为/bin/)

  • d. 安装虚环境virtualenv以及virtualenvwrapper并创建名为paddle-venv的虚环境:(请注意对应 python 版本的 pip3 的命令,如 pip3.6、pip3.7、pip3.8、pip3.9、pip3.10)

    1. 安装virtualenv

      pip install virtualenv
      

      pip3 install virtualenv
      
    2. 安装virtualenvwrapper

      pip install virtualenvwrapper
      

      pip3 install virtualenvwrapper
      
    3. 找到virtualenvwrapper.sh

      find / -name virtualenvwrapper.sh
      

      (请找到对应 Python 版本的virtualenvwrapper.sh

    4. 查看virtualenvwrapper.sh中的安装方法:

      cat vitualenvwrapper.sh
      

      该 shell 文件中描述了步骤及命令

    5. 按照virtualenvwrapper.sh中的描述,安装virtualwrapper

    6. 设置 VIRTUALENVWRAPPER_PYTHON:

      export VIRTUALENVWRAPPER_PYTHON=[python-lib-path]:$PATH
      

      (这里将[python-lib-path]的最后两级目录替换为/bin/)

    7. 创建名为paddle-venv的虚环境:

      mkvirtualenv paddle-venv
      

6. 进入虚环境:

workon paddle-venv

7. 执行编译前请您确认在虚环境中安装有编译依赖表中提到的相关依赖:

  • 这里特别提供patchELF的安装方法,其他的依赖可以使用yum install或者pip install/pip3 install 后跟依赖名称和版本安装:

    yum install patchelf
    

    不能使用 yum 安装的用户请参见 patchElF github官方文档

8. 将 PaddlePaddle 的源码 clone 在当下目录下的 Paddle 的文件夹中,并进入 Padde 目录下:

git clone https://github.com/PaddlePaddle/Paddle
cd Paddle

9. 切换到较稳定 release 分支下进行编译:

git checkout [分支名]

例如:

git checkout release/2.4

10. 并且请创建并进入一个叫 build 的目录下:

mkdir build && cd build

11. 执行 cmake:

具体编译选项含义请参见编译选项表

  • 对于需要编译CPU 版本 PaddlePaddle的用户:

    cmake .. -DPY_VERSION=3.7 -DPYTHON_INCLUDE_DIR=${PYTHON_INCLUDE_DIRS} \
    -DPYTHON_LIBRARY=${PYTHON_LIBRARY} -DWITH_GPU=OFF
    

    如果遇到Could NOT find PROTOBUF (missing:  PROTOBUF_LIBRARY PROTOBUF_INCLUDE_DIR)可以重新执行一次 cmake 指令。 请注意 PY_VERSION 参数更换为您需要的 python 版本

  • 对于需要编译GPU 版本 PaddlePaddle的用户:(仅支持 CentOS7(CUDA11.7/CUDA11.6/CUDA11.2/CUDA11.1/CUDA10.2/CUDA10.1))

    1. 请确保您已经正确安装 nccl2,或者按照以下指令安装 nccl2(这里提供的是 CUDA10.2,cuDNN7 下 nccl2 的安装指令,更多版本的安装信息请参考 NVIDIA官方网站):

    • Centos 系统可以参考以下命令

      wget http://developer.download.nvidia.com/compute/machine-learning/repos/rhel7/x86_64/nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
      
      rpm -i nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
      
      yum install -y libnccl-2.7.8-1+cuda10.2 libnccl-devel-2.7.8-1+cuda10.2 libnccl-static-2.7.8-1+cuda10.2
      
    • Ubuntu 系统可以参考以下命令

      wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
      
      dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
      
      sudo apt install -y libnccl2=2.7.8-1+cuda10.2 libnccl-dev=2.7.8-1+cuda10.2
      
    1. 如果您已经正确安装了nccl2,就可以开始 cmake 了:(For Python3: 请给 PY_VERSION 参数配置正确的 python 版本)

      cmake .. -DPYTHON_EXECUTABLE:FILEPATH=[您可执行的 Python3 的路径] -DPYTHON_INCLUDE_DIR:PATH=[之前的 PYTHON_INCLUDE_DIRS] -DPYTHON_LIBRARY:FILEPATH=[之前的 PYTHON_LIBRARY] -DWITH_GPU=ON
      

注意:以上涉及 Python3 的命令,用 Python3.7 来举例,如您的 Python 版本为 3.6/3.8/3.9/3.10,请将上述命令中的 Python3.7 改成 Python3.6/Python3.8/Python3.9/Python3.10

12. 使用以下命令来编译:

make -j$(nproc)

使用多核编译

如果编译过程中显示“Too many open files”错误时,请使用指令 ulimit -n 8192 来增大当前进程允许打开的文件数,一般来说 8192 可以保证编译完成。

13. 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包:

cd /paddle/build/python/dist

14. 在当前机器或目标机器安装编译好的.whl包:

pip install -U(whl 包的名字)

pip3 install -U(whl 包的名字)

恭喜,至此您已完成 PaddlePaddle 的编译安装

验证安装

安装完成后您可以使用 pythonpython3 进入 python 解释器,输入

import paddle

再输入

paddle.utils.run_check()

如果出现PaddlePaddle is installed successfully!,说明您已成功安装

如何卸载

请使用以下命令卸载 PaddlePaddle: