Ubuntu下Scrapy的安裝

最近在學習爬蟲，早就聽說Python寫爬蟲極爽（貌似pythoner說python都爽，不過也確實，python的類庫非常豐富，不用重複造輪子），還有一個強大的框架Scrapy，於是決定嘗試一下。

要想使用Scrapy第一件事，當然是安裝Scrapy，嘗試了Windows和Ubuntu的安裝，本文先講一下 Ubuntu的安裝，比Windows的安裝簡單太多了。抽時間也會詳細介紹一下怎麼在Windows下進行安裝。

官方介紹，在安裝Scrapy前需要安裝一系列的依賴.
* Python 2.7： Scrapy是Python框架，當然要先安裝Python ，不過由於Scrapy暫時只支援 Python2.7，因此首先確保你安裝的是Python 2.7
* lxml：大多數Linux發行版自帶了lxml
* OpenSSL：除了windows之外的系統都已經提供
* Python Package: pip and setuptools. 由於現在pip依賴setuptools,所以安裝pip會自動安裝setuptools

有上面的依賴可知，在非windows的環境下安裝 Scrapy的相關依賴是比較簡單的，只用安裝pip即可。Scrapy使用pip完成安裝。

檢查Scrapy依賴是否安裝

你可能會不放心自己的電腦是否已經安裝了，上面說的已經存在的依賴，那麼你可以使用下面的方法檢查一下，本文使用的是Ubuntu 14.04。

檢查Python的版本

$ python --version

如果看到下面的輸出，說明Python的環境已經安裝，我這裡顯示的是Python 2.7.6，版本也是2.7的滿足要求。如果沒有出現下面的資訊，那麼請讀者自行百度安裝Python，本文不介紹Python的安裝（網上一搜一堆）。

檢查lxml和OpenSSL是否安裝

假設已經安裝了Python，在控制台輸入python，進入Python的互動環境。

然後分別輸入import lxml和import OpenSSL如果沒有報錯，說明兩個依賴都已經安裝。

安裝python-dev和libevent

python-dev是linux上開發python比較重要的工具，以下的情況你需要安裝
* 你需要自己安裝一個源外的python類庫, 而這個類庫內含需要編譯的呼叫python api的c/c++檔案
* 你自己寫的一個程式編譯需要連結libpythonXX.(a|so)

libevent是一個時間出發的高效能的網路庫，很多框架的底層都使用了libevent

上面兩個庫是需要安裝的，不然後面後報錯。使用下面的指令安裝

$sudo apt-get install python-dev
$sudo apt-get install libevent-dev

安裝pip

因為Scrapy可以使用pip方便的安裝，因此我們需要先安裝pip，可以使用下面的指令安裝pip

$ sudo apt-get install python-pip

使用pip安裝Scrapy

使用下面的指令安裝Scrapy。

$ sudo pip install scrapy

記住一定要獲得root許可權，否則會出現下面的錯誤。

至此scrapy安裝完成，使用下面的命令檢查Scrapy是否安裝成功。

$ scrapy version

顯示如下結果說明安裝成功，此處的安裝版本是1.02

CentOS 6.4 安裝搭建 Scrapy 0.22 環境  http://www.linuxidc.com/Linux/2015-08/120897.htm

如何在Ubuntu 14.04 LTS安裝網路爬蟲工具：Scrapy  http://www.linuxidc.com/Linux/2015-03/115306.htm