python 爬蟲(chóng)自學(xué)要多久
一周或者一個(gè)月。如果完全靠自己自學(xué)，又是從零基礎(chǔ)開(kāi)始學(xué)習(xí)Python的情況下，按照每個(gè)人的學(xué)習(xí)和理解能力的不同，我認(rèn)為大致上需要半年到一年半左右的時(shí)間。
當(dāng)然了，Python學(xué)習(xí)起來(lái)還是比較簡(jiǎn)單的，如果有其他編程語(yǔ)言經(jīng)驗(yàn)，入門(mén)Python還是非?？斓模?-2個(gè)月左右的時(shí)間學(xué)完基礎(chǔ)，就可以自己編寫(xiě)一些小的程序練練手了，5-6個(gè)月的時(shí)間就可以上手做項(xiàng)目了。
從一定程度上來(lái)說(shuō)，一些零基礎(chǔ)的初學(xué)者想要利用兩個(gè)月的時(shí)間掌握好Python是不太可能的，學(xué)習(xí)完P(guān)ython后想要應(yīng)聘相對(duì)應(yīng)的工作崗位，即便是選擇最快的學(xué)習(xí)方式也是很難實(shí)現(xiàn)的，無(wú)法快速實(shí)現(xiàn)就業(yè)。
教你用Python寫(xiě)一個(gè)爬蟲(chóng)，免費(fèi)看小說(shuō)
這是一個(gè)練習(xí)作品。用python腳本爬取筆趣閣上面的免費(fèi)小說(shuō)。環(huán)境：python3
類庫(kù)：
數(shù)據(jù)源：
原理就是偽裝正常http請(qǐng)求，正常訪問(wèn)網(wǎng)頁(yè)。然后通過(guò)bs4重新解析html結(jié)構(gòu)來(lái)提取有效數(shù)據(jù)。
包含了偽裝請(qǐng)求頭部，數(shù)據(jù)源配置（如果不考慮擴(kuò)展其他數(shù)據(jù)源，可以寫(xiě)死）。
config.py文件
fiction.py文件
summary.py文件
catalog.py文件
article.py文件
暫沒(méi)有做數(shù)據(jù)保存模塊。如果需要串起來(lái)做成一個(gè)完整的項(xiàng)目的話，只需要把小說(shuō)數(shù)據(jù)結(jié)構(gòu)保存即可（節(jié)省磁盤(pán)空間）。通過(guò)小說(shuō)url可以很快速的提取出小說(shuō)簡(jiǎn)介、目錄、每一章的正文。
如果想要做的更好，可以把目錄，介紹、正文等部分緩存起來(lái)，當(dāng)然得有足夠的空間。
如何用Python做爬蟲(chóng)
1）首先你要明白爬蟲(chóng)怎樣工作。想象你是一只蜘蛛，現(xiàn)在你被放到了互聯(lián)“網(wǎng)”上。那么，你需要把所有的網(wǎng)頁(yè)都看一遍。怎么辦呢？沒(méi)問(wèn)題呀，你就隨便從某個(gè)地方開(kāi)始，比如說(shuō)人民日?qǐng)?bào)的首頁(yè)，這個(gè)叫initial pages，用$表示吧。
在人民日?qǐng)?bào)的首頁(yè)，你看到那個(gè)頁(yè)面引向的各種鏈接。于是你很開(kāi)心地從爬到了“國(guó)內(nèi)新聞”那個(gè)頁(yè)面。太好了，這樣你就已經(jīng)爬完了倆頁(yè)面（首頁(yè)和國(guó)內(nèi)新聞）！暫且不用管爬下來(lái)的頁(yè)面怎么處理的，你就想象你把這個(gè)頁(yè)面完完整整抄成了個(gè)html放到了你身上。
突然你發(fā)現(xiàn)， 在國(guó)內(nèi)新聞這個(gè)頁(yè)面上，有一個(gè)鏈接鏈回“首頁(yè)”。作為一只聰明的蜘蛛，你肯定知道你不用爬回去的吧，因?yàn)槟阋呀?jīng)看過(guò)了啊。所以，你需要用你的腦子，存下你已經(jīng)看過(guò)的頁(yè)面地址。這樣，每次看到一個(gè)可能需要爬的新鏈接，你就先查查你腦子里是不是已經(jīng)去過(guò)這個(gè)頁(yè)面地址。如果去過(guò)，那就別去了。
好的，理論上如果所有的頁(yè)面可以從initial page達(dá)到的話，那么可以證明你一定可以爬完所有的網(wǎng)頁(yè)。
那么在python里怎么實(shí)現(xiàn)呢？
很簡(jiǎn)單
import Queue
initial_page = "初始化頁(yè)"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進(jìn)行直到?？菔癄€
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊(duì)例中*個(gè)的url
store(current_url) #把這個(gè)url代表的網(wǎng)頁(yè)存儲(chǔ)好
for next_url in extract_urls(current_url): #提取把這個(gè)url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫(xiě)得已經(jīng)很偽代碼了。
所有的爬蟲(chóng)的backbone都在這里，下面分析一下為什么爬蟲(chóng)事實(shí)上是個(gè)非常復(fù)雜的東西——搜索引擎公司通常有一整個(gè)團(tuán)隊(duì)來(lái)維護(hù)和開(kāi)發(fā)。
2）效率
如果你直接加工一下上面的代碼直接運(yùn)行的話，你需要一整年才能爬下整個(gè)豆瓣的內(nèi)容。更別說(shuō)Google這樣的搜索引擎需要爬下全網(wǎng)的內(nèi)容了。
問(wèn)題出在哪呢？需要爬的網(wǎng)頁(yè)實(shí)在太多太多了，而上面的代碼太慢太慢了。設(shè)想全網(wǎng)有N個(gè)網(wǎng)站，那么分析一下判重的復(fù)雜度就是N*log(N)，因?yàn)樗芯W(wǎng)頁(yè)要遍歷一次，而每次判重用set的話需要log(N)的復(fù)雜度。OK，OK，我知道python的set實(shí)現(xiàn)是hash——不過(guò)這樣還是太慢了，至少內(nèi)存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡(jiǎn)單講它仍然是一種hash的方法，但是它的特點(diǎn)是，它可以使用固定的內(nèi)存（不隨url的數(shù)量而增長(zhǎng)）以O(shè)(1)的效率判定url是否已經(jīng)在set中。可惜天下沒(méi)有白吃的午餐，它的*問(wèn)題在于，如果這個(gè)url不在set中，BF可以*確定這個(gè)url沒(méi)有看過(guò)。但是如果這個(gè)url在set中，它會(huì)告訴你：這個(gè)url應(yīng)該已經(jīng)出現(xiàn)過(guò)，不過(guò)我有2%的不確定性。注意這里的不確定性在你分配的內(nèi)存足夠大的時(shí)候，可以變得很小很少。一個(gè)簡(jiǎn)單的教程:Bloom Filters by Example
注意到這個(gè)特點(diǎn)，url如果被看過(guò)，那么可能以小概率重復(fù)看一看（沒(méi)關(guān)系，多看看不會(huì)累死）。但是如果沒(méi)被看過(guò)，一定會(huì)被看一下（這個(gè)很重要，不然我們就要漏掉一些網(wǎng)頁(yè)了?。?。 [IMPORTANT: 此段有問(wèn)題，請(qǐng)暫時(shí)略過(guò)]
好，現(xiàn)在已經(jīng)接近處理判重最快的方法了。另外一個(gè)瓶頸——你只有一臺(tái)機(jī)器。不管你的帶寬有多大，只要你的機(jī)器下載網(wǎng)頁(yè)的速度是瓶頸的話，那么你只有加快這個(gè)速度。用一臺(tái)機(jī)子不夠的話——用很多臺(tái)吧！當(dāng)然，我們假設(shè)每臺(tái)機(jī)子都已經(jīng)進(jìn)了*的效率——使用多線程（python的話，多進(jìn)程吧）。
3）集群化抓取
爬取豆瓣的時(shí)候，我總共用了100多臺(tái)機(jī)器晝夜不停地運(yùn)行了一個(gè)月。想象如果只用一臺(tái)機(jī)子你就得運(yùn)行100個(gè)月了...
那么，假設(shè)你現(xiàn)在有100臺(tái)機(jī)器可以用，怎么用python實(shí)現(xiàn)一個(gè)分布式的爬取算法呢？
我們把這100臺(tái)中的99臺(tái)運(yùn)算能力較小的機(jī)器叫作slave，另外一臺(tái)較大的機(jī)器叫作master，那么回顧上面代碼中的url_queue，如果我們能把這個(gè)queue放到這臺(tái)master機(jī)器上，所有的slave都可以通過(guò)網(wǎng)絡(luò)跟master聯(lián)通，每當(dāng)一個(gè)slave完成下載一個(gè)網(wǎng)頁(yè)，就向master請(qǐng)求一個(gè)新的網(wǎng)頁(yè)來(lái)抓取。而每次slave新抓到一個(gè)網(wǎng)頁(yè)，就把這個(gè)網(wǎng)頁(yè)上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現(xiàn)在master只發(fā)送確定沒(méi)有被訪問(wèn)過(guò)的url給slave。Bloom Filter放到master的內(nèi)存里，而被訪問(wèn)過(guò)的url放到運(yùn)行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問(wèn)效率見(jiàn):LINSERT – Redis)
考慮如何用python實(shí)現(xiàn)：
在各臺(tái)slave上裝好scrapy，那么各臺(tái)機(jī)子就變成了一臺(tái)有抓取能力的slave，在master上裝好Redis和rq用作分布式隊(duì)列。
代碼于是寫(xiě)成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
_queue = ()
bf = ()
initial_pages = "www..com"
while(True):
if request == 'GET':
if _queue.size()>0:
send(_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實(shí)你能想到，有人已經(jīng)給你寫(xiě)好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及后處理
雖然上面用很多“簡(jiǎn)單”，但是真正要實(shí)現(xiàn)一個(gè)商業(yè)規(guī)?？捎玫呐老x(chóng)并不是一件容易的事。上面的代碼用來(lái)爬一個(gè)整體的網(wǎng)站幾乎沒(méi)有太大的問(wèn)題。
但是如果附加上你需要這些后續(xù)處理，比如
有效地存儲(chǔ)（數(shù)據(jù)庫(kù)應(yīng)該怎樣安排）
有效地判重（這里指網(wǎng)頁(yè)判重，咱可不想把人民日?qǐng)?bào)和抄襲它的大民日?qǐng)?bào)都爬一遍）
有效地信息抽?。ū热缭趺礃映槿〕鼍W(wǎng)頁(yè)上所有的地址抽取出來(lái)，“朝陽(yáng)區(qū)奮進(jìn)路*道”），搜索引擎通常不需要存儲(chǔ)所有的信息，比如圖片我存來(lái)干嘛...
及時(shí)更新（預(yù)測(cè)這個(gè)網(wǎng)頁(yè)多久會(huì)更新一次）
如你所想，這里每一個(gè)點(diǎn)都可以供很多研究者十?dāng)?shù)年的研究。雖然如此，
“路漫漫其修遠(yuǎn)兮,吾將上下而求索”。
所以，不要問(wèn)怎么入門(mén)，直接上路就好了：）
如何入門(mén) Python 爬蟲(chóng)
現(xiàn)在之所以有這么多的小伙伴熱衷于爬蟲(chóng)技術(shù)，無(wú)外乎是因?yàn)榕老x(chóng)可以幫我們做很多事情，比如搜索引擎、采集數(shù)據(jù)、廣告過(guò)濾等，以Python為例，Python爬蟲(chóng)可以用于數(shù)據(jù)分析，在數(shù)據(jù)抓取方面發(fā)揮巨大的作用。但是這并不意味著單純掌握一門(mén)Python語(yǔ)言，就對(duì)爬蟲(chóng)技術(shù)觸類旁通，要學(xué)習(xí)的知識(shí)和規(guī)范還有喜很多，包括但不僅限于HTML 知識(shí)、HTTP/HTTPS 協(xié)議的基本知識(shí)、正則表達(dá)式、數(shù)據(jù)庫(kù)知識(shí)，常用抓包工具的使用、爬蟲(chóng)框架的使用等。而且涉及到大規(guī)模爬蟲(chóng)，還需要了解分布式的概念、消息隊(duì)列、常用的數(shù)據(jù)結(jié)構(gòu)和算法、緩存，甚至還包括機(jī)器學(xué)習(xí)的應(yīng)用，大規(guī)模的系統(tǒng)背后都是靠很多技術(shù)來(lái)支撐的。
零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)？對(duì)于迷茫的初學(xué)者來(lái)說(shuō)，爬蟲(chóng)技術(shù)起步學(xué)習(xí)階段，最重要的就是明確學(xué)習(xí)路徑，找準(zhǔn)學(xué)習(xí)方法，唯有如此，在良好的學(xué)習(xí)習(xí)慣督促下，后期的系統(tǒng)學(xué)習(xí)才會(huì)事半功倍，游刃有余。
用Python寫(xiě)爬蟲(chóng)，首先需要會(huì)Python，把基礎(chǔ)語(yǔ)法搞懂，知道怎么使用函數(shù)、類和常用的數(shù)據(jù)結(jié)構(gòu)如list、dict中的常用方法就算基本入門(mén)。作為入門(mén)爬蟲(chóng)來(lái)說(shuō)，需要了解 HTTP協(xié)議的基本原理，雖然 HTTP 規(guī)范用一本書(shū)都寫(xiě)不完，但深入的內(nèi)容可以放以后慢慢去看，理論與實(shí)踐相結(jié)合后期學(xué)習(xí)才會(huì)越來(lái)越輕松。關(guān)于爬蟲(chóng)學(xué)習(xí)的具體步驟，我大概羅列了以下幾大部分，大家可以參考：
網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)知識(shí):
爬蟲(chóng)的定義
爬蟲(chóng)的作用
Http協(xié)議
基本抓包工具(Fiddler)使用
Python模塊實(shí)現(xiàn)爬蟲(chóng)：
urllib3、requests、lxml、bs4 模塊大體作用講解
使用requests模塊 get 方式獲取靜態(tài)頁(yè)面數(shù)據(jù)
使用requests模塊 post 方式獲取靜態(tài)頁(yè)面數(shù)據(jù)
使用requests模塊獲取 ajax 動(dòng)態(tài)頁(yè)面數(shù)據(jù)
使用requests模塊模擬登錄網(wǎng)站
使用Tesseract進(jìn)行驗(yàn)證碼識(shí)別
Scrapy框架與Scrapy-Redis：
Scrapy 爬蟲(chóng)框架大體說(shuō)明
Scrapy spider 類
Scrapy item 及 pipeline
Scrapy 類
通過(guò)Scrapy-Redis 實(shí)現(xiàn)分布式爬蟲(chóng)
借助自動(dòng)化測(cè)試工具和瀏覽器爬取數(shù)據(jù)：
Selenium + PhantomJS 說(shuō)明及簡(jiǎn)單實(shí)例
Selenium + PhantomJS 實(shí)現(xiàn)網(wǎng)站登錄
Selenium + PhantomJS 實(shí)現(xiàn)動(dòng)態(tài)頁(yè)面數(shù)據(jù)爬取
爬蟲(chóng)項(xiàng)目實(shí)戰(zhàn)：
分布式爬蟲(chóng)+ 打造搜索引擎
如何用Python做爬蟲(chóng)？
在我們?nèi)粘Ｉ暇W(wǎng)瀏覽網(wǎng)頁(yè)的時(shí)候，經(jīng)常會(huì)看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來(lái)做桌面壁紙，或者用來(lái)做設(shè)計(jì)的素材。
我們最常規(guī)的做法就是通過(guò)鼠標(biāo)右鍵，選擇另存為。但有些圖片鼠標(biāo)右鍵的時(shí)候并沒(méi)有另存為選項(xiàng)，還有辦法就通過(guò)就是通過(guò)截圖工具截取下來(lái)，但這樣就降低圖片的清晰度。好吧其實(shí)你很厲害的，右鍵查看頁(yè)面源代碼。
我們可以通過(guò)python?來(lái)實(shí)現(xiàn)這樣一個(gè)簡(jiǎn)單的爬蟲(chóng)功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來(lái)實(shí)現(xiàn)這樣一個(gè)功能。
具體步驟
獲取整個(gè)頁(yè)面數(shù)據(jù)首先我們可以先獲取要下載圖片的整個(gè)頁(yè)面信息。
getjpg.py
#coding=utf-8import urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return html
html = getHtml(" html
Urllib?模塊提供了讀取web頁(yè)面數(shù)據(jù)的接口，我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)。首先，我們定義了一個(gè)getHtml()函數(shù):
urllib.urlopen()方法用于打開(kāi)一個(gè)URL地址。
read()方法用于讀取URL上的數(shù)據(jù)，向getHtml()函數(shù)傳遞一個(gè)網(wǎng)址，并把整個(gè)頁(yè)面下載下來(lái)。執(zhí)行程序就會(huì)把整個(gè)網(wǎng)頁(yè)打印輸出。
2.篩選頁(yè)面中想要的數(shù)據(jù)
Python?提供了非常強(qiáng)大的正則表達(dá)式，我們需要先要了解一點(diǎn)python?正則表達(dá)式的知識(shí)才行。
假如我們百度貼吧找到了幾張漂亮的壁紙，通過(guò)到前段查看工具。找到了圖片的地址，如：src=”
修改代碼如下：
import reimport urllibdef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html) ? ?return imglist ? ? ?
html = getHtml(" getImg(html)
我們又創(chuàng)建了getImg()函數(shù)，用于在獲取的整個(gè)頁(yè)面中篩選需要的圖片連接。re模塊主要包含了正則表達(dá)式：
re.compile()?可以把正則表達(dá)式編譯成一個(gè)正則表達(dá)式對(duì)象.
re.findall()?方法讀取html?中包含?imgre（正則表達(dá)式）的數(shù)據(jù)。
運(yùn)行腳本將得到整個(gè)頁(yè)面中包含圖片的URL地址。
3.將頁(yè)面篩選的數(shù)據(jù)保存到本地
把篩選的圖片地址通過(guò)for循環(huán)遍歷并保存到本地，代碼如下：
#coding=utf-8import redef getHtml(url):
page = urllib.urlopen(url)
html = page.read() ? ?return htmldef getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0 ? ?for imgurl in imglist:
urllib.(imgurl,'%s.jpg' % x)
x+=1html = getHtml(" getImg(html)
這里的核心是用到了urllib.()方法，直接將遠(yuǎn)程數(shù)據(jù)下載到本地。
通過(guò)一個(gè)for循環(huán)對(duì)獲取的圖片連接進(jìn)行遍歷，為了使圖片的文件名看上去更規(guī)范，對(duì)其進(jìn)行重命名，命名規(guī)則通過(guò)x變量加1。保存的位置默認(rèn)為程序的存放目錄。
程序運(yùn)行完成，將在目錄下看到下載到本地的文件。
Python爬蟲(chóng)如何寫(xiě)？
先檢查是否有APIAPI是網(wǎng)站官方提供的數(shù)據(jù)接口，如果通過(guò)調(diào)用API采集數(shù)據(jù)，則相當(dāng)于在網(wǎng)站允許的范圍內(nèi)采集，這樣既不會(huì)有道德法律風(fēng)險(xiǎn)，也沒(méi)有網(wǎng)站故意設(shè)置的障礙；不過(guò)調(diào)用API接口的訪問(wèn)則處于網(wǎng)站的控制中，網(wǎng)站可以用來(lái)收費(fèi)，可以用來(lái)限制訪問(wèn)上限等。整體來(lái)看，如果數(shù)據(jù)采集的需求并不是很獨(dú)特，那么有API則應(yīng)優(yōu)先采用調(diào)用API的方式。
數(shù)據(jù)結(jié)構(gòu)分析和數(shù)據(jù)存儲(chǔ)
爬蟲(chóng)需求要十分清晰，具體表現(xiàn)為需要哪些字段，這些字段可以是網(wǎng)頁(yè)上現(xiàn)有的，也可以是根據(jù)網(wǎng)頁(yè)上現(xiàn)有的字段進(jìn)一步計(jì)算的，這些字段如何構(gòu)建表，多張表如何連接等。值得一提的是，確定字段環(huán)節(jié)，不要只看少量的網(wǎng)頁(yè)，因?yàn)閱蝹€(gè)網(wǎng)頁(yè)可以缺少別的同類網(wǎng)頁(yè)的字段，這既有可能是由于網(wǎng)站的問(wèn)題，也可能是用戶行為的差異，只有多觀察一些網(wǎng)頁(yè)才能綜合抽象出具有普適性的關(guān)鍵字段——這并不是幾分鐘看幾個(gè)網(wǎng)頁(yè)就可以決定的簡(jiǎn)單事情，如果遇上了那種臃腫、混亂的網(wǎng)站，可能坑非常多。
對(duì)于大規(guī)模爬蟲(chóng)，除了本身要采集的數(shù)據(jù)外，其他重要的中間數(shù)據(jù)（比如頁(yè)面Id或者url）也建議存儲(chǔ)下來(lái)，這樣可以不必每次重新爬取id。
數(shù)據(jù)庫(kù)并沒(méi)有固定的選擇，本質(zhì)仍是將Python里的數(shù)據(jù)寫(xiě)到庫(kù)里，可以選擇關(guān)系型數(shù)據(jù)庫(kù)MySQL等，也可以選擇非關(guān)系型數(shù)據(jù)庫(kù)MongoDB等；對(duì)于普通的結(jié)構(gòu)化數(shù)據(jù)一般存在關(guān)系型數(shù)據(jù)庫(kù)即可。是一個(gè)成熟好用的數(shù)據(jù)庫(kù)連接框架，其引擎可與Pandas配套使用，把數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)連接起來(lái)，一氣呵成。
數(shù)據(jù)流分析
對(duì)于要批量爬取的網(wǎng)頁(yè)，往上一層，看它的入口在哪里；這個(gè)是根據(jù)采集范圍來(lái)確定入口，比如若只想爬一個(gè)地區(qū)的數(shù)據(jù)，那從該地區(qū)的主頁(yè)切入即可；但若想爬*數(shù)據(jù)，則應(yīng)更往上一層，從*的入口切入。一般的網(wǎng)站網(wǎng)頁(yè)都以樹(shù)狀結(jié)構(gòu)為主，找到切入點(diǎn)作為根節(jié)點(diǎn)一層層往里進(jìn)入即可。
值得注意的一點(diǎn)是，一般網(wǎng)站都不會(huì)直接把全量的數(shù)據(jù)做成列表給你一頁(yè)頁(yè)往下翻直到遍歷完數(shù)據(jù)，比如鏈家上面很清楚地寫(xiě)著有24587套二手房，但是它只給100頁(yè)，每頁(yè)30個(gè)，如果直接這么切入只能訪問(wèn)3000個(gè)，遠(yuǎn)遠(yuǎn)低于真實(shí)數(shù)據(jù)量；因此先切片，再整合的數(shù)據(jù)思維可以獲得更大的數(shù)據(jù)量。顯然100頁(yè)是系統(tǒng)設(shè)定，只要超過(guò)300個(gè)就只顯示100頁(yè)，因此可以通過(guò)其他的篩選條件不斷細(xì)分，只到篩選結(jié)果小于等于300頁(yè)就表示該條件下沒(méi)有缺漏；*把各種條件下的篩選結(jié)果集合在一起，就能夠盡可能地還原真實(shí)數(shù)據(jù)量。
明確了大規(guī)模爬蟲(chóng)的數(shù)據(jù)流動(dòng)機(jī)制，下一步就是針對(duì)單個(gè)網(wǎng)頁(yè)進(jìn)行解析，然后把這個(gè)模式復(fù)制到整體。對(duì)于單個(gè)網(wǎng)頁(yè)，采用抓包工具可以查看它的請(qǐng)求方式，是get還是post，有沒(méi)有提交表單，欲采集的數(shù)據(jù)是寫(xiě)入源代碼里還是通過(guò)AJAX調(diào)用JSON數(shù)據(jù)。
同樣的道理，不能只看一個(gè)頁(yè)面，要觀察多個(gè)頁(yè)面，因?yàn)榕颗老x(chóng)要弄清這些大量頁(yè)面url以及參數(shù)的規(guī)律，以便可以自動(dòng)構(gòu)造；有的網(wǎng)站的url以及關(guān)鍵參數(shù)是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構(gòu)造，這種情況下要批量爬蟲(chóng)，要么找到它加密的js代碼，在爬蟲(chóng)代碼上加入從明文到密碼的加密過(guò)程；要么采用下文所述的模擬瀏覽器的方式。
數(shù)據(jù)采集
之前用R做爬蟲(chóng)，不要笑，R的確可以做爬蟲(chóng)工作；但在爬蟲(chóng)方面，Python顯然優(yōu)勢(shì)更明顯，受眾更廣，這得益于其成熟的爬蟲(chóng)框架，以及其他的在計(jì)算機(jī)系統(tǒng)上更好的性能。scrapy是一個(gè)成熟的爬蟲(chóng)框架，直接往里套用就好，比較適合新手學(xué)習(xí)；requests是一個(gè)比原生的urllib包更簡(jiǎn)潔強(qiáng)大的包，適合作定制化的爬蟲(chóng)功能。requests主要提供一個(gè)基本訪問(wèn)功能，把網(wǎng)頁(yè)的源代碼給download下來(lái)。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數(shù)，就可以正常訪問(wèn)，status_code為200，并成功得到網(wǎng)頁(yè)源代碼；但是也有某些反爬蟲(chóng)較為嚴(yán)格的網(wǎng)站，這么直接訪問(wèn)會(huì)被禁止；或者說(shuō)status為200也不會(huì)返回正常的網(wǎng)頁(yè)源碼，而是要求寫(xiě)驗(yàn)證碼的js腳本等。
下載到了源碼之后，如果數(shù)據(jù)就在源碼中，這種情況是最簡(jiǎn)單的，這就表示已經(jīng)成功獲取到了數(shù)據(jù)，剩下的無(wú)非就是數(shù)據(jù)提取、清洗、入庫(kù)。但若網(wǎng)頁(yè)上有，然而源代碼里沒(méi)有的，就表示數(shù)據(jù)寫(xiě)在其他地方，一般而言是通過(guò)AJAX異步加載JSON數(shù)據(jù)，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。
解析工具
源碼下載后，就是解析數(shù)據(jù)了，常用的有兩種方法，一種是用對(duì)樹(shù)狀HTML進(jìn)行解析，另一種是通過(guò)正則表達(dá)式從文本中抽取數(shù)據(jù)。
比較簡(jiǎn)單，支持Xpath和兩種途徑，而且像Chrome這類瀏覽器一般都已經(jīng)把各個(gè)結(jié)點(diǎn)的Xpath或者標(biāo)記好了，直接復(fù)制即可。以為例，可以選擇tag、id、class等多種方式進(jìn)行定位選擇，如果有id建議選id，因?yàn)楦鶕?jù)HTML語(yǔ)法，一個(gè)id只能綁定一個(gè)標(biāo)簽。
正則表達(dá)式很強(qiáng)大，但構(gòu)造起來(lái)有點(diǎn)復(fù)雜，需要專門(mén)去學(xué)習(xí)。因?yàn)橄螺d下來(lái)的源碼格式就是字符串，所以正則表達(dá)式可以大顯身手，而且處理速度很快。
對(duì)于HTML結(jié)構(gòu)固定，即同樣的字段處tag、id和class名稱都相同，采用解析是一種簡(jiǎn)單高效的方案，但有的網(wǎng)站混亂，同樣的數(shù)據(jù)在不同頁(yè)面間HTML結(jié)構(gòu)不同，這種情況下就不太好使；如果數(shù)據(jù)本身格式固定，則用正則表達(dá)式更方便。比如以下的例子，這兩個(gè)都是深圳地區(qū)某個(gè)地方的經(jīng)度，但一個(gè)頁(yè)面的class是long，一個(gè)頁(yè)面的class是longitude，根據(jù)class來(lái)選擇就沒(méi)辦法同時(shí)滿足2個(gè)，但只要注意到深圳地區(qū)的經(jīng)度都是介于113到114之間的浮點(diǎn)數(shù)，就可以通過(guò)正則表達(dá)式"11[3-4].\d+"來(lái)使兩個(gè)都滿足。
數(shù)據(jù)整理
一般而言，爬下來(lái)的原始數(shù)據(jù)都不是清潔的，所以在入庫(kù)前要先整理；由于大部分都是字符串，所以主要也就是字符串的處理方式了。
字符串自帶的方法可以滿足大部分簡(jiǎn)單的處理需求，比如strip可以去掉首尾不需要的字符或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然后截取一部分。
如果字符串處理的需求太復(fù)雜以致常規(guī)的字符串處理方法不好解決，那就要請(qǐng)出正則表達(dá)式這個(gè)大殺器。
Pandas是Python中常用的數(shù)據(jù)處理模塊，雖然作為一個(gè)從R轉(zhuǎn)過(guò)來(lái)的人一直覺(jué)得這個(gè)模仿R的包實(shí)在是太難用了。Pandas不僅可以進(jìn)行向量化處理、篩選、分組、計(jì)算，還能夠整合成DataFrame，將采集的數(shù)據(jù)整合成一張表，呈現(xiàn)最終的存儲(chǔ)效果。
寫(xiě)入數(shù)據(jù)庫(kù)
如果只是中小規(guī)模的爬蟲(chóng)，可以把*的爬蟲(chóng)結(jié)果匯合成一張表，*導(dǎo)出成一張表格以便后續(xù)使用；但對(duì)于表數(shù)量多、單張表容量大的大規(guī)模爬蟲(chóng)，再導(dǎo)出成一堆零散的表就不合適了，肯定還是要放在數(shù)據(jù)庫(kù)中，既方便存儲(chǔ)，也方便進(jìn)一步整理。
寫(xiě)入數(shù)據(jù)庫(kù)有兩種方法，一種是通過(guò)Pandas的DataFrame自帶的to_sql方法，好處是自動(dòng)建表，對(duì)于對(duì)表結(jié)構(gòu)沒(méi)有嚴(yán)格要求的情況下可以采用這種方式，不過(guò)值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報(bào)錯(cuò)，雖然這個(gè)認(rèn)為不太合理；另一種是利用數(shù)據(jù)庫(kù)引擎來(lái)執(zhí)行SQL語(yǔ)句，這種情況下要先自己建表，雖然多了一步，但是表結(jié)構(gòu)完全是自己控制之下。Pandas與SQL都可以用來(lái)建表、整理數(shù)據(jù)，結(jié)合起來(lái)使用效率更高。
python網(wǎng)絡(luò)爬蟲(chóng)怎么學(xué)習(xí)
鏈接： 提取碼：2b6c
課程簡(jiǎn)介
畢業(yè)不知如何就業(yè)？工作效率低經(jīng)常挨罵？很多次想學(xué)編程都沒(méi)有學(xué)會(huì)？
Python 實(shí)戰(zhàn)：四周實(shí)現(xiàn)爬蟲(chóng)系統(tǒng)，無(wú)需編程基礎(chǔ)，二十八天掌握一項(xiàng)謀生技能。
帶你學(xué)到如何從網(wǎng)上批量獲得幾十萬(wàn)數(shù)據(jù)，如何處理海量大數(shù)據(jù)，數(shù)據(jù)可視化及網(wǎng)站制作。
課程目錄
開(kāi)始之前，魔力手冊(cè) for 實(shí)戰(zhàn)學(xué)員預(yù)習(xí)
*周：學(xué)會(huì)爬取網(wǎng)頁(yè)信息
第二周：學(xué)會(huì)爬取大規(guī)模數(shù)據(jù)
第三周：數(shù)據(jù)統(tǒng)計(jì)與分析
第四周：搭建 Django 數(shù)據(jù)可視化網(wǎng)站
......
如何學(xué)習(xí)python爬蟲(chóng)
爬蟲(chóng)是入門(mén)Python*的方式，沒(méi)有之一。 Python有很多應(yīng)用的方向，比如后臺(tái)開(kāi)發(fā)、web開(kāi)發(fā)、科學(xué)計(jì)算等等，但爬蟲(chóng)對(duì)于初學(xué)者而
言更友好，原理簡(jiǎn)單，幾行代碼就能實(shí)現(xiàn)基本的爬蟲(chóng)，學(xué)習(xí)的過(guò)程更加平滑，你能體會(huì)更大的成就感。
掌握基本的爬蟲(chóng)后，你再去學(xué)習(xí)Python數(shù)據(jù)分析、web開(kāi)發(fā)甚至機(jī)器學(xué)習(xí)，都會(huì)更得心應(yīng)手。因?yàn)檫@個(gè)過(guò)程中，Python基本語(yǔ)法、庫(kù)的
使用，以及如何查找文檔你都非常熟悉了。
對(duì)于小白來(lái)說(shuō)，爬蟲(chóng)可能是一件非常復(fù)雜、技術(shù)門(mén)檻很高的事情。比如有的人則認(rèn)為先要掌握網(wǎng)頁(yè)的知識(shí)，遂 開(kāi)始 HTMLCSS，結(jié)果入了前端的坑 ，瘁……
但掌握正確的方法，在短時(shí)間內(nèi)做到能夠爬取主流網(wǎng)站的數(shù)據(jù)，其實(shí)非常容易實(shí)現(xiàn)，但建議你從 一開(kāi)始就要有一個(gè)具體的目標(biāo)。
在目標(biāo)的驅(qū)動(dòng)下，你的學(xué)習(xí)才會(huì)更加精準(zhǔn)和高效。 那些所有你認(rèn)為必須的前置知識(shí)，都是可以在完成目標(biāo)的過(guò)程中學(xué)到的。 這里給你一
條平滑的、零基礎(chǔ)快速入門(mén)的學(xué)習(xí)路徑。
python學(xué)習(xí)網(wǎng)，免費(fèi)的python學(xué)習(xí)網(wǎng)站，歡迎在線學(xué)習(xí)！
學(xué)習(xí) Python 包并實(shí)現(xiàn)基本的爬蟲(chóng)過(guò)程
大部分爬蟲(chóng)都是按 “發(fā)送請(qǐng)求——獲得頁(yè)面——解析頁(yè)面——抽取并儲(chǔ)存內(nèi)容” 這樣的流程來(lái)進(jìn)行，這其實(shí)也是模擬了我們使用瀏覽器
獲取網(wǎng)頁(yè)信息的過(guò)程。
Python中爬蟲(chóng)相關(guān)的包很多：urllib、requests、bs4、scrapy、pyspider 等， 建議從requests+Xpath 開(kāi)始 ，requests 負(fù)責(zé)連接網(wǎng)
站，返回網(wǎng)頁(yè)，Xpath 用于解析網(wǎng)頁(yè)，便于抽取數(shù)據(jù)。
如果你用過(guò) ，會(huì)發(fā)現(xiàn) Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來(lái)基本套路都差不多， 一
般的靜態(tài)網(wǎng)站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了 。
掌握各種技巧，應(yīng)對(duì)特殊網(wǎng)站的反爬措施
當(dāng)然，爬蟲(chóng)過(guò)程中也會(huì)經(jīng)歷一些絕望啊，比如被網(wǎng)站封IP、比如各種奇怪的驗(yàn)證碼、userAgent訪問(wèn)限制、各種動(dòng)態(tài)加載等等。
遇到這些反爬蟲(chóng)的手段，當(dāng)然還需要一些高級(jí)的技巧來(lái)應(yīng)對(duì)，常規(guī)的比如 訪問(wèn)頻率控制、使用代理IP池、抓包、驗(yàn)證碼的OCR處理等等 。
往往網(wǎng)站在高效開(kāi)發(fā)和反爬蟲(chóng)之間會(huì)偏向前者，這也為爬蟲(chóng)提供了空間，掌握這些應(yīng)對(duì)反爬蟲(chóng)的技巧，絕大部分的網(wǎng)站已經(jīng)難不到你了。
學(xué)習(xí) scrapy，搭建工程化的爬蟲(chóng)
掌握前面的技術(shù)一般量級(jí)的數(shù)據(jù)和代碼基本沒(méi)有問(wèn)題了，但是在遇到非常復(fù)雜的情況，可能仍然會(huì)力不從心，這個(gè)時(shí)候，強(qiáng)大的 scrapy
框架就非常有用了。
scrapy 是一個(gè)功能非常強(qiáng)大的爬蟲(chóng)框架，它不僅能便捷地構(gòu)建request，還有強(qiáng)大的 selector 能夠方便地解析 response，然而它最讓人
驚喜的還是它超高的性能，讓你可以將爬蟲(chóng)工程化、模塊化。
學(xué)會(huì) scrapy，你可以自己去搭建一些爬蟲(chóng)框架，你就基本具備爬蟲(chóng)工程師的思維了。
學(xué)習(xí)數(shù)據(jù)庫(kù)基礎(chǔ)，應(yīng)對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)
爬回來(lái)的數(shù)據(jù)量小的時(shí)候，你可以用文檔的形式來(lái)存儲(chǔ)，一旦數(shù)據(jù)量大了，這就有點(diǎn)行不通了。所以掌握一種數(shù)據(jù)庫(kù)是必須的，學(xué)習(xí)目前
比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲(chǔ)一些非結(jié)構(gòu)化的數(shù)據(jù) ，比如各種評(píng)論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在
Python中操作MongoDB。
因?yàn)檫@里要用到的數(shù)據(jù)庫(kù)知識(shí)其實(shí)非常簡(jiǎn)單，主要是 數(shù)據(jù)如何入庫(kù)、如何進(jìn)行提取 ，在需要的時(shí)候再學(xué)習(xí)就行。
分布式爬蟲(chóng)，實(shí)現(xiàn)大規(guī)模并發(fā)采集
爬取基本數(shù)據(jù)已經(jīng)不是問(wèn)題了，你的瓶頸會(huì)集中到爬取海量數(shù)據(jù)的效率。這個(gè)時(shí)候，相信你會(huì)很自然地接觸到一個(gè)很厲害的名字： 分布
式爬蟲(chóng) 。
分布式這個(gè)東西，聽(tīng)起來(lái)很恐怖， 但其實(shí)就是利用多線程的原理讓多個(gè)爬蟲(chóng)同時(shí)工作 ，需要你掌握 Scrapy + MongoDB + Redis 這三種工具 。
Scrapy 前面我們說(shuō)過(guò)了，用于做基本的頁(yè)面爬取，MongoDB 用于存儲(chǔ)爬取的數(shù)據(jù)，Redis 則用來(lái)存儲(chǔ)要爬取的網(wǎng)頁(yè)隊(duì)列，也就是任務(wù)
隊(duì)列。
所以有些東西看起來(lái)很嚇人，但其實(shí)分解開(kāi)來(lái)，也不過(guò)如此。當(dāng)你能夠?qū)懛植际降呐老x(chóng)的時(shí)候，那么你可以去嘗試打造一些基本的爬蟲(chóng)架
構(gòu)了，實(shí)現(xiàn)一些更加自動(dòng)化的數(shù)據(jù)獲取。
你看，這一條學(xué)習(xí)路徑下來(lái)，你已然可以成為老司機(jī)了，非常的順暢。所以在一開(kāi)始的時(shí)候，盡量不要系統(tǒng)地去啃一些東西，找一個(gè)實(shí)際
的項(xiàng)目（開(kāi)始可以從豆瓣、小豬這種簡(jiǎn)單的入手），直接開(kāi)始就好 。