首頁 > 軟體

Ubuntu 16.04下安裝CUDA8.0+Caffe+TensorFlow-GPU+Pycharm過程（Simple）

2020-06-16 17:01:58

寫在前面

在設定了多次之後，為了加深印象，進行此次總結。事實表明硬體環境越好設定起來越順利。第一次設定是在獨顯是GT610M的筆電上進行設定，問題非常多。

- ０、對系統進行更新

sudo apt-get update
sudo apt-get upgrade

- 1、安裝NVIDIA驅動

方法一（很簡潔，但很有用）：
直接在Ubuntu系統設定，軟體和更新裡面，選擇中國的伺服器源重新整理之後，點選附加驅動選項，在Nvidia Corporation選擇專有驅動，然後點選應用更改，下載安裝完之後重新啟動。
方法二（很麻煩，且很容易出問題）：
第一種方法可能會因為顯示卡太老，導致檢查出來的驅動版本不支援CUDA。會在後續出現
CUDA driver version is insufficient for CUDA runtime version 的錯誤。這時候需要對顯示卡強制進行更新.
1、去官方下載好驅動的run檔案，選擇對應顯示卡型號下載。
2、終端下sudo gedit /etc/modprobe.d/blacklist.conf
3、輸入密碼，後在最後一行編輯上 blacklist nouveau
4、Ctrl +C儲存後終端輸入sudo update-initramfs -u
5、重新啟動之後在介面按Ctrl+Alt+F2，輸入root以及密碼，然後 linux service lightdm stop
6、sh 你自己的驅動檔案的完整路徑，預設選項就可以安裝了，安裝後重新啟動
方法三（未實踐）：
設定過幾次環境之後，在後面安裝CUDA驅動的時候，也會出現是否安裝NVIDIA驅動的選項。但是許多教學都是選擇了否。（並且驅動版本很新，完全滿足CUDA的要求）因此考慮是否可以跳過安裝驅動的步驟，直接安裝ＣＵＤＡ時候一起進行安裝。待今後有機會再進行實踐。
測試
nvidia-smi（注意沒空格）會輸出支援cuda的GPU裝置列表

- 2、安裝Cuda

在https://developer.nvidia.com/cuda-downloads，根據自己的系統下載對應的runfile檔案。
下載後執行sudo ./cuda_8.0.61_375.26_linux.run --tmpdir=/tmp
1、執行後，首先是協定。按空格到底後，輸入accept

Do you accept the previously read EULA?
accept/decline/quit: accept

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
(y)es/(n)o/(q)uit: n

Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y

Enter Toolkit Location
[ default is /usr/local/cuda-8.0 ]:

Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y

Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: y

2、宣告環境變數，並將其寫入到 ~/.bashrc 的尾部

export CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$CUDA_HOME/bin
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

儲存退出，執行source ~/.bashrc 或者source /etc/profile

3、新增lib庫路徑
在 /etc/ld.so.conf.d中加入

#include /usr/local/cuda-8.0/lib64

然後執行

sudo ldconfig #立即生效（source /etc/profile）

4、測試
測試前可以先把samples備份下

cd /usr/local/cuda/samples/1_Utilities/deviceQuery 
sudo make
./deviceQuery

測試結果如下即可

- 3、安裝Cudnn

官網下載cudnn-8.0-linux-x64-v5.1.tgz下載後進行解壓
解壓後把相應的檔案拷貝到對應的CUDA目錄下即可

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

- 4、安裝Caffe

caffe的安裝步驟比較繁瑣，需要Opencv等軟體，所需依賴庫比較多。本著寧多勿少的原則，我們首先進行依賴庫的安裝。

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

主要分為 個步驟：
1、安裝Python
可以選擇使用系統自帶的Python2.7
2、安裝Opencv
從官網(http://opencv.org/downloads.html)下載Opencv
解壓到要安裝的位置，假設解壓的地址是/home/opencv
執行命令： `
cd ~/opencv
mkdir build
cd build
設定編譯檔案：cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..

在編譯中可能會出現 ippicv 下載不成功的問題，可以通過手動設定來解決這類問題，當然也可以直接設定之後再編譯。在進行設定之前，首先前往GitHub下載相應的庫https://github.com/opencv/opencv_3rdparty/branches/all 下載後，拷貝到

opencv-x.x.x/3rdparty/ippicv/downloads/linux-808b791a6eac9ed78d32a7666804320e

目錄下，然後再執行編譯。

編譯成功後，執行sudo make install進行安裝

安裝時候會出現錯誤：‘NppiGraphcutState’ has not been declared

這是因為opecv3.0與cuda8.0不相容。 修改～/opencv/modules/cudalegacy/src/graphcuts.cpp檔案
在檔案開頭位置：

把#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)
修改為
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION>=8000)

3、測試Opencv
a. 建立工作目錄

mkdir ~/opencv-lena
cd ~/opencv-lena
gedit DisplayImage.cpp

b.編輯程式碼

#include <stdio.h>
#include <opencv2/opencv.hpp>
using namespace cv;
int main(int argc, char** argv )
{
    if ( argc != 2 )
    {
        printf("usage: DisplayImage.out <Image_Path>n");
        return -1;
    }
    Mat image;
    image = imread( argv[1], 1 );
    if ( !image.data )
    {
        printf("No image data n");
        return -1;
    }
    namedWindow("Display Image", WINDOW_AUTOSIZE );
    imshow("Display Image", image);
    waitKey(0);
    return 0;
}

c.建立CMake編譯檔案

gedit CMakeLists.txt

寫入內容

cmake_minimum_required(VERSION 2.8)
project( DisplayImage )
find_package( OpenCV REQUIRED )
add_executable( DisplayImage DisplayImage.cpp )
target_link_libraries( DisplayImage ${OpenCV_LIBS} )

d.編譯

cd ~/opencv-lena
cmake .
make

e.執行
此時opencv-lena資料夾中已經產生了可執行檔案DisplayImage，下載lena.jpg放在opencv-lena下，執行

./DisplayImage lena.jpg

4、安裝Matlab
如果在Matlab中使用的話，需要安裝Matlab,需要在後續中進行Matlab介面的編譯。需要記住自己的安裝路徑，在後面設定介面的時候要用到。如果不用Matlab 的話就不用安裝了。

5、Caffe安裝
其實設定沒什麼技術含量，只是依賴庫比較多。需要設定的地方比較多，設定一定要耐心。
1、從https://github.com/BVLC/caffe.git下載caffe到本地
2、解壓後，在caffe-master中複製組態檔sudo cp Makefile.config.example Makefile.config
3、修改組態檔sudo gedit Makefile.config根據個人情況進行修改

a.若使用cudnn，則將
#USE_CUDNN := 1
修改成： 
USE_CUDNN := 1

b.若使用的opencv版本是3的，則將
#OPENCV_VERSION := 3 
修改為： 
OPENCV_VERSION := 3

c.若要使用python來編寫layer，則將
#WITH_PYTHON_LAYER := 1 
修改為 
WITH_PYTHON_LAYER := 1

d.重要的一項 :
將# Whatever else you find you need goes here.下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改為： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial     
這是因為ubuntu16.04的檔案包含位置發生了變化，尤其是需要用到的hdf5的位置，所以需要更改這一路徑.

e.還要更改
USE_OPENCV: = 1
USE_LEVELDB: = 1
USE_LMDB: = 1

4、修改makefile檔案

開啟makefile檔案，將：
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替換為：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

5、修改 host_config.h檔案

/usr/local/cuda/include/host_config.h
將其中的第115行注釋掉：
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改為
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!

6、編譯

make all -j8 #-j根據自己電腦設定決定

a:可能錯誤”libcudart.so.8.0 cannot open shared object file: No such file or directory”

a.錯誤"libcudart.so.8.0 cannot open shared object file: No such file or directory"
解決辦法是將一些檔案複製到/usr/local/lib資料夾下：(#注意自己CUDA的版本號！)
sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig

輸出顯示如下CXX，無錯誤提示說明編譯通過。

8、測試

a.執行sudo make test 輸出顯示若干CXX，LD如下即可

b.執行sudo make runtest 輸出的所有的RUN均為OK即可確認caffe安裝成功 

9、設定pycaffe介面

測試全部成功之後再進行pycaffe介面的設定
a.開啟組態檔bashrc

sudo gedit ~/.bashrc

b.在最後面加入caffe目錄下的python路徑

export PYTHONPATH=/home/yhangbin/caffe-master/python #新增自己的python路徑
source ~/.bashrc  #使設定生效

c.設定介面 sudo make pycaffe
顯示如下表明藉口設定成功

10、設定caffe的Matlab介面

a.修改caffe-master/Makefile.config.主要是要包含bin資料夾

b.編譯介面sudo make matcaffe
c.測試matlab介面 sudo make mattest
測試結果輸出如下所示： 

d.測試python介面 sudo make pytest
　輸出如下即可
　　　　　

11、測試Caffe

使用 MNIST資料集 進行測試
a.終端定位到Caffe根目錄 cd ~/caffe
b.下載MNIST資料庫並解壓縮sudo sh ./data/mnist/get_mnist.sh
c.將其轉換成Lmdb資料庫格式 sudo sh ./examples/mnist/create_mnist.sh

注意：
下載資料庫以及轉換資料庫格式。
解壓得到兩個資料夾mnist-train-leveldb和mnist-test-leveldb複製到 .examplesmnist 目錄下即可

在訓練網路時可能會出現OSError: libcudnn.so.7.0: cannot open shared object file: No such file or directory錯誤
因為cuda的路徑可能設定錯了使用sudo ldconfig /usr/local/cuda/lib64
或者手動新增lib庫自動搜尋路徑到/etc/ld.so.conf
比如：

include /etc/ld.so.conf.d/*.conf
include /usr/local/lib
include .
sudo ldconfig #使設定生效
source /etc/profile

執行sudo sh ./examples/mnist/train_lenet.sh測試效果如下

- 5、安裝TensorFlow

TensorFlow的安裝還是比較簡單的。
1、下載對應版本的TensorFlow
2、執行安裝 sudo pip install tensorflow_gpu-0.12.0rc1-cp35-cp35m-linux_x86_64.whl
3、在python中輸入import tensorflow as tf測試

上面輸出的帶W的警告，是因為沒有通過原始碼編譯TF，CPU的引數沒有開啟，因此CPU不支援一系列協定。不過，這只會影響CPU的計算速度，並不影響GPU的計算。
如果是在終端下執行，不顯示這個警告。

- 6、在Pycharm中進行設定

1、Caffe設定成功後，在Pycharm中出現ImportError

Pycharm中TensorFlow可以直接import匯入。但是在import caffe的時候會出現ImportError: No module named caffe的情況。可以通過手動新增庫解決。
a.依次開啟File>Setting>Project Interpreter.開啟右上角的小齒輪。選擇第三個選項 more...

b.選擇選擇最右側邊框上最後一個圖示

c.點選右側加號，增加路徑

d.新增自己的Caffe下的Python路徑

e.這樣便可以成功匯入Caffe測試效果如下

2、如果還有cannot libcudart 的錯誤

error:如果caffe還不能正常import 出現 cannot libcudart 的錯誤，那麼用如下方法解決。

a.進入pycharm-community-2016.2/bin
b.使用sudo gedit pycharm.sh 開啟pycharm.sh檔案
c.

#找到這行
LD_LIBRARY_PATH="$IDE_BIN_HOME:$LD_LIBRARY_PATH" "$Java_BIN"

 

#新增環境變數
LD_LIBRARY_PATH='/usr/local/cuda/lib64'

# 修改後為
LD_LIBRARY_PATH='/usr/local/cuda/lib64'
LD_LIBRARY_PATH="$IDE_BIN_HOME:$LD_LIBRARY_PATH" "$JAVA_BIN"

d.重新啟動pycharm，之前報錯的指令碼就能正常執行了
最後效果如下所示

Attention:有的命令加上sudo反而會出現錯誤，遇到錯誤的時候，可以嘗試去掉sudo試一下。

Ubuntu 15.04 下Caffe + + CUDA 7.0 安裝設定指南  http://www.linuxidc.com/Linux/2016-11/137497.htm

Caffe 深度學習入門教學  http://www.linuxidc.com/Linux/2016-11/136774.htm

Ubuntu 16.04下Matlab2014a+Anaconda2+OpenCV3.1+Caffe安裝 http://www.linuxidc.com/Linux/2016-07/132860.htm

Ubuntu 16.04系統下CUDA7.5設定Caffe教學 http://www.linuxidc.com/Linux/2016-07/132859.htm

Caffe在Ubuntu 14.04 64bit 下的安裝 http://www.linuxidc.com/Linux/2015-07/120449.htm

深度學習框架Caffe在Ubuntu下編譯安裝  http://www.linuxidc.com/Linux/2016-07/133225.htm

Caffe + Ubuntu 14.04 64bit + CUDA 6.5 設定說明  http://www.linuxidc.com/Linux/2015-04/116444.htm

Ubuntu 16.04上安裝Caffe http://www.linuxidc.com/Linux/2016-08/134585.htm

Caffe設定簡明教學 ( Ubuntu 14.04 / CUDA 7.5 / cuDNN 5.1 / OpenCV 3.1 )  http://www.linuxidc.com/Linux/2016-09/135016.htm

Ubuntu 16.04安裝 Caffe GPU版  http://www.linuxidc.com/Linux/2017-09/147111.htm

Ubuntu 16.04上安裝Caffe(CPU only)  http://www.linuxidc.com/Linux/2016-09/135034.htm

本文永久更新連結地址：http://www.linuxidc.com/Linux/2017-11/148629.htm


相關文章
IT145.com E-mail:sddin#qq.com