CentOS 6.4 安裝搭建 Scrapy 0.22 環境

2020-06-16 17:56:42

Scrapy是一個開源的機遇twisted框架的python的單機爬蟲，該爬蟲實際上包含大多數網頁抓取的工具包，用於爬蟲下載端以及抽取端。

CentOS 6.4 安裝搭建 Scrapy 0.22 環境過程記錄，希望對大家有所幫助。

一、安裝Python2.7.6

1.更新CentOS lib庫檔案

yum -y update

2.安裝開發工具包

yum groupinstall -y development

3.安裝擴充套件包

yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel

4.下載Python2.7.6

wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz

5.解壓Python2.7.6

tar -xvf Python-2.7.6.tar.xz

6.進入Python2.7.6目錄

cd Python-2.7.6

7.編譯安裝Python2.7.6

./configure

make && make altinstall

二、解決Yum不支援Python2.7的問題

1.將老的Python程式進行備份

mv /usr/bin/python /usr/bin/python2.6.6

2.建立新的Python連結

ln -s /usr/local/bin/python2.7 /usr/bin/python

3.修改/usr/bin/yum檔案

vi /usr/bin/yum

將第一行的 #!/usr/bin/python 改為 #!/usr/bin/python2.6.6

三、安裝setuptools 和 pip

1.下載setuptools

wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz

2.解壓setuptools

tar -xvf setuptools-1.4.2.tar.gz

3.進入setuptools目錄

cd setuptools-1.4.2

4.通過已安裝的Python2.7.6安裝setuptools

python setup.py install

5.安裝 pip

easy_install pip

6.curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -

四、安裝libxslt-devel支援lxml

yum install libxslt-devel

五、安裝Scrapy

pip install scrapy