2021-05-12 14:32:11
Ubuntu下安裝Scrapy總結
2020-06-16 17:21:04
在Ubuntu下安裝Scrapy總結，此文件是本人學習時使用的，採用一個範例作為引導進行安裝測試。
範例下載地址如下：
https://github.com/sans-serif/scrapy-german-news#introduction
解壓之後為：scrapy-german-news-master
修改requirements.txt 刪除psycopg2==2.6.1
其中requirements.txt內容如下：
********************************************************************
attrs==15.2.0
cffi==1.5.2
cryptography==1.2.3
cssselect==0.9.1
enum34==1.1.2
idna==2.0
ipaddress==1.0.16
lxml==3.5.0
psycopg2==2.6.1
pyasn1==0.1.9
pyasn1-modules==0.0.8
pycparser==2.14
pyOpenSSL==0.15.1
queuelib==1.4.2
Scrapy==1.0.5
service-identity==16.0.0
six==1.10.0
Twisted==15.5.0
w3lib==1.13.0
zope.interface==4.1.3
********************************************************************
按理只需此檔案即可，scrapy-german-news-master只是測試工程。
具體安裝步驟如下：
第一步：
安裝pip: sudo apt-get install python-pip
第二步：安裝依賴
sudo apt-get install libffi-dev
sudo apt-get install python-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt-dev
第三步：
準備好requirements.txt檔案。
sudo pip install -r requirements.txt
第四步：安裝postgresql
sudo apt-get install postgresql
sudo apt-get install python-psycopg2
sudo apt-get install libpq-dev
sudo pip install psycopg2==2.6.1
安裝完成
測試執行，看是否安裝成功：
進入目錄scrapy-german-news-master 執行 scrapy crawl faz
如果能看到開始抓取資料，則認為設定成功
如安裝過程中出現如下錯誤，解決方案：
（1）ImportError: No module named pkg_resources 解決方法：
sudo apt-get install --reinstall python-pkg-resources
（2）pkg_resources.DistributionNotFound: setuptools>=11.3 解決方法：
sudo pip install -U distribute
（3）pip install psycopg2 錯誤，解決如下：
sudo apt-get install postgresql
sudo apt-get install python-psycopg2
sudo apt-get install libpq-dev
（4）c/_cffi_backend.c:2:20: 致命錯誤： Python.h：沒有那個檔案或目錄， 解決如下：
sudo apt-get install python-dev
（5）src/lxml/includes/etree_defs.h:14:31: 致命錯誤： libxml/xmlversion.h：沒有那個檔案或目錄，解決如下：
apt-get install libxml2-dev libxslt-dev
（6）關於這個libffi，錯誤，解決如下：
sudo apt-get install libffi-dev
(7) build/temp.linux-i686-2.7/_openssl.c:431:25: fatal error: openssl/aes.h: No such file or directory, 解決如下：
sudo apt-get install libssl-dev
備註：以上測試工程採用的是postgresql資料庫，也可以採用MySQL。
本文永久更新連結地址：http://www.linuxidc.com/Linux/2017-02/141063.htm
相關文章