(1)、Python 2.7 (2)、lxml。 Most linux distributions ships PRepackaged versions of lxml. Otherwise refer tohttp:///installation.html (3)、OpenSSL。 This comes preinstalled in all Operating systems except Windows (see Platform specific installation notes) (4)、pip or easy_install Python package managers 我們安裝的Ubuntu14.01系統(tǒng)都已經(jīng)自帶了前面3個,Python的版本為2.7.6。為了驗證是否有安裝,我們來查看一下。 · 打開終端,執(zhí)行如下命令python, 接下來就是import lxml, import OpenSSL。如下圖。如果import沒有報錯,說明系統(tǒng)已經(jīng)自帶了。 · 為了能夠保證下面的安裝能夠成功。我們先執(zhí)行:sudo apt-get install python-dev。如圖: · 再執(zhí)行:sudo apt-get install libevent-dev。如圖: · 在這里說明一下,不安裝上面兩個可能會出現(xiàn)一些錯誤,導致在后面的工作無法進行。 · 接下來就是安裝pip了,執(zhí)行:apt-get install python-pip。如圖: · 7 最后,也就是最重要的,安裝Scrapy。執(zhí)行:pip install Scrapy,如圖: · 8 到這里就已經(jīng)安裝完成了。接下來就是使用這個框架了。 接下來就是看是否搭建成功:創(chuàng)建一個scrapy工程scrapy startproject 工程名 查看是否安裝:shhd 命令:ps -ef | grep sshd主要用于Xshell遠程連接 pip升級后Import Error:cannot import name main解決方案:參考:https://blog.csdn.net/tintinetmilou/article/details/80091630 在Ubuntu上安裝軟件,不小心升級了pip,導致使用時報錯如下 后來發(fā)現(xiàn)是因為將pip更新為10.0.0后庫里面的函數(shù)有所變動造成這個問題。 解決方法如下:
將原來的:
改為:
|
|
來自: yygy321 > 《scrapy環(huán)境搭建》