Ubuntu 16.04系統下CUDA7.5設定Caffe教學

由於最近安裝了Ubuntu 16.04，苦於之前設定Caffe的教學都在版本14.04左右，無奈只能自己摸索，最終設定成功。本文教學的特點是不需要降級gcc的版本，畢竟cuda7.5不支援gcc5以上(預設不支援，實際支援)，避免出現一系列亂七八糟的問題，反正之前我是碰到了。

本文是在參考caffe官網教學以及http://www.linuxidc.com/Linux/2015-07/120449.htm結合自己總結經驗而來，對此表示感謝。

Ubuntu 14.04安裝Nvidia CUDA7.5並搭建Python Theano深度學習開發環境  http://www.linuxidc.com/Linux/2015-09/123562.htm

Ubuntu下CUDA（含GPU卡驅動）安裝過程  http://www.linuxidc.com/Linux/2015-07/120456.htm

Caffe + Ubuntu 14.04 64bit + CUDA 6.5 設定說明  http://www.linuxidc.com/Linux/2015-04/116444.htm

Ubuntu 14.04 安裝設定CUDA  http://www.linuxidc.com/Linux/2014-10/107501.htm

Ubuntu 12.04設定NVIDIA CUDA5.5實錄  http://www.linuxidc.com/Linux/2014-10/107502.htm

Ubuntu安裝Theano+CUDA  http://www.linuxidc.com/Linux/2014-10/107503.htm

關於Ubuntu 12.04 下 CUDA5.5 的安裝請參看如下連結 Ubuntu 12.04 安裝 CUDA-5.5

1. 所需檔案下載
1.1 Ubuntu16.04在官網下載，然後在windows下用UltraISO製作，相關文章搜尋有一大片，此處不再贅述。
1.2 cuda7.5下載，下載的版本是ubuntu15.04的run檔案，個人感覺比較方便。
1.3 cudnn4.0下載，進去之後如果有註冊過nvidia的賬戶直接點選download，否則需要註冊一個賬戶，註冊完之後有一個調查，隨便選幾個鉤就可以，然後下一步是接受條款開始就可以下載了。
1.4 caffe下載就在官方的github下載就可以了
2. 顯示卡驅動安裝
2.1 第一種方法是直接在ubuntu系統設定，軟體和更新裡面，選擇中國的伺服器源重新整理之後，點選附加驅動選項，在Nvidia Corporation選擇361.42(強迫症必須安裝最新的)，然後點選應用更改，下載安裝完之後重新啟動。
2.2 第二種方法是去官方下載好驅動的run檔案，選擇對應顯示卡型號下載。然後關機把顯示器插到整合顯示卡介面上，或者終端下
sudo gedit /etc/modprobe.d/blacklist.conf
輸入密碼後在最後一行編輯上
blacklist nouveau
Ctrl +C儲存後終端輸入
sudo update-initramfs -u
重新啟動之後在介面按Ctrl+Alt+F2，輸入root以及密碼，然後
service lightdm stop
sh 你自己的驅動檔案的完整路徑，預設選項就可以安裝了，安裝後重新啟動

3. Cuda7.5安裝
3.1 以檔名為cuda.run為例，終端下輸入
sh cuda.run --override 啟動安裝程式，此處有大量的條款，一路空格到最後 輸入accept，依次輸入y回車，然後n(不安裝顯示卡驅動)，然後一路y回車，有一個地方需要輸入密碼，還有兩個地方確認安裝路徑，直接回車即可，完成安裝，預設安裝路徑是/usr/local
將下載下來的cudnn-7.0-linux-x64-v4.0-prod.tgz 解壓之後，解壓後的cuda資料夾先開啟裡面的include資料夾，空白右鍵在終端開啟輸入：
sudo cp cudnn.h /usr/local/cuda/include/
cd ~/cuda/lib64
sudo cp lib* /usr/local/cuda/lib64/
繼續更新檔案連結

cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.4
sudo ln -s libcudnn.so.4.0.7 libcudnn.so.4
sudo ln -s libcudnn.so.4 libcudnn.so
然後設定環境變數
sudo gedit /etc/profile
在末尾加入
PATH=/usr/local/cuda/bin:$PATH
export PATH
儲存之後建立連結檔案
sudo vim /etc/ld.so.conf.d/cuda.conf
鍵盤按i進入編輯狀態，新增文字
/usr/local/cuda/lib64
然後按esc，輸入:wq儲存退出。
終端下接著輸入
sudo ldconfig 使連結生效

4. 生成Cuda Sample測試
首先在此之前先把需要的依賴包都安裝好，為接下來make caffe做準備
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
然後開始make samples ，終端下
cd /home/gomee/NVIDIA_CUDA-7.5_Samples
sudo make all -j4
我是4核電腦所以用了j4，正常情況下肯定會報錯“unsupported GNU version! gcc versions later than 4.9 are not supported!”，原因就是這個cuda不支援gcc5.0以上，終端執行
cd /usr/local/cuda-7.5/include
cp host_config.h host_config.h.bak
sudo gedit host_config.h
Ctrl+F尋找有”4.9”的地方，應該是只有一處，在其上方的
#if __GNUC__ > 4 || (__GNUC__ == 4 && __GNUC_MINOR__ > 9)將兩個4改成5，儲存退出，繼續
cd /home/gomee/NVIDIA_CUDA-7.5_Samples
sudo make all -j4
這就應該開始make了，此處大約有5、6分鐘。完成之後
cd /home/gomee/NVIDIA_CUDA-7.5_Samples/bin/x86_64/linux
./deviceQuery
會出現類似以下的資訊
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 750 Ti"
CUDA Driver Version / Runtime Version 8.0 / 7.5
CUDA Capability Major/Minor version number: 5.0
Total amount of global memory: 2047 MBytes (2146762752 bytes)
( 5) Multiprocessors, (128) CUDA Cores/MP: 640 CUDA Cores
GPU Max Clock rate: 1228 MHz (1.23 GHz)
Memory Clock rate: 3004 Mhz
Memory Bus Width: 128-bit
L2 Cache Size: 2097152 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 1 copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 7.5, NumDevs = 1, Device0 = GeForce GTX 750 Ti
Result = PASS
這就說明成功了。

5. Python設定
將之前github下載的caffe壓縮檔案解壓縮到任一目錄，然後安裝python
python的版本安裝有兩種方式：
第一是直接安裝anaconda，去官網下載 ，選擇linux 64bit 2.7版本下載安裝，anaconda安裝方便但是需要在最後的make組態檔中更改python包含路徑。
第二種方法就是使用原生的python2.7版本，終端下
sudo apt-get install python-pip 安裝pip
這裡我們用pip安裝一些python需要的依賴包，不過為了避免各種問題，也可以通過apt-get安裝，反正我這兩種方式都安裝了一遍(-.-)
sudo apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose
以caffe預設解壓到/home/user(你的使用者名稱)/ ，資料夾名名稱caffe為例
cd /home/user/caffe/python
sudo su
for req in $(cat requirements.txt); do pip install $req; done
這裡用pip安裝可能速度很慢，很可能下載好幾個小時，推薦用清華大學的pip源臨時安裝，所以命令改為如下：
for req in $(cat requirements.txt); do pip install -i https://pypi.tuna.tsinghua.edu.cn/simple $req; done
這裡如果第一次有很多紅字錯誤，建議再執行幾遍指導安裝成功，對於黃字提示無需理會，可能是pip版本需要更新。

6. Caffe編譯過程
接下來要進入最後的步驟了，終端中
cd /home/user/caffe
cp Makefile.config.example Makefile.config
gedit Makefile.config
將USE_CUDNN := 1 取消註釋，在
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include後面打上一個空格 然後新增/usr/include/hdf5/serial 如果沒有這一句可能會報一個找不到hdf5.h的錯誤
PYTHON_INCLUDE := /usr/include/python2.7
　　/usr/lib/python2.7/dist-packages/numpy/core/include先不做更改。
如果是需要生成matlab的caffe wrapper 請取消註釋MATLAB_DIR然後替換為自己的目錄
說一下提前會出現的問題：
第一，make過程中出現比如 string.h ‘memcy’ was not declared in this scope的錯誤是由於gcc編譯器版本太新，解決方法是開啟makefile搜尋並替換
NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
為
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
儲存退出
第二，在make過程中還會報一個ld找不到libhdf5 和libhdf5_hl的連結問題，這個原因可能也是因為hdf5的問題，首先看/usr/lib/x86_64-linux-gnu 目錄下有沒有libhdf5.so和libhdf5_hl.so，如果有的話，檢視屬性是否有正確的連結(正常情況下應該是沒有這兩個檔案)，然後右鍵在終端中開啟
sudo ln libhdf5_serial.so.10.1.0 libhdf5.so
sudo ln libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so
注意，10.1.0和10.0.2可能不同電腦安裝版本不同，注意看當前目錄下存在的檔案然後
sudo ldconfig 生效
接下來就是直接編譯的過程
cd /home/user/caffe
make all -j4
make test -j4
make runtest
make pycaffe
make matcaffe
如果編譯沒報錯正常的話，基本就沒問題了。測試python開啟
cd /home/user/caffe/python
python
import caffe
如果不報錯就說明編譯成功
測試matlab開啟./caffe/matlab/+caffe/private，看有沒有生成一個caffe的mex檔案，可以執行+test資料夾裡面的程式測試。
小問題：
在使用python介面的時候，可能會報一個什麼錯誤(我給忘記了–!)，對了是’Mean shape incompatible with input shape.’的錯誤，處理方法是python/caffe資料夾，編輯io.py檔案，將
if ms != self.inputs[in_][1:]:
raise ValueError('Mean shape incompatible with input shape.')
替換為
if ms != self.inputs[in_][1:]:
print(self.inputs[in_])
in_shape = self.inputs[in_][1:]
m_min, m_max = mean.min(), mean.max()
normal_mean = (mean - m_min) / (m_max - m_min)
mean = resize_image(normal_mean.transpose((1,2,0)),in_shape[1:]).transpose((2,0,1)) * (m_max - m_min) + m_min

然後make clean再重新make

7. 總結
至此，Ubuntu16.04下編譯Caffe的教學就結束了，作者歷時三天，裝了好幾遍系統，剛開始用Ubuntu14.04，結果系統出現問題，強迫症實在受不了，就嘗試著裝16.04繼續折騰，最終折騰成功。以後可能會更新python3下的編譯教學，需要自己編譯boost版本，總之也很麻煩。