Python伺服器建立虛擬環境跑程式碼

2022-07-05 14:04:48

一、前言

最近忙著在伺服器上跑程式碼

學習積累了一些經驗技巧

這裡用來記錄分享給大家

二、建立虛擬環境用來跑程式碼

下面我會以一個範例為模板，學習完之後，再刪掉

不會佔用大家的伺服器

1、連線上伺服器

比如我的連線方式為：ssh -p 你的編號 username-host

2、建立虛擬環境

這裡我以一篇程式碼為例

建立虛擬環境

conda create -n KDDocRE python==3.7.4

3、進入虛擬環境

conda activate KDDocRE

4、安裝cuda

conda install cudatoolkit=10.2

如果速度有些慢的話可以考慮更換清華源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/    
conda config --set show_channel_urls yes

5、安裝PyTorch

這裡給大家提供兩種方式安裝

pip3 install torch torchvision torchaudio 

或者

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

兩者都可以，但是一定要確認好你的版本號

官網在這裡

6、安裝Transformer

pip install transformers==4.8.2

這裡讀者注意一下，如果三方庫後面沒有加上版本號

會預設為安裝最新版本

如果已經安裝過了其他版本

可以考慮再次安裝指定版本

之前的版本會自動解除安裝（下圖二）

7、安裝numpy

pip install numpy==1.19.4

8、安裝apex

這個三方庫比較難安裝

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

如有報錯請參考這篇文章