不管你是待業(yè)還是失業(yè)，在這個(gè)被互聯(lián)網(wǎng)圍繞的時(shí)代里，選擇python實(shí)現(xiàn)簡(jiǎn)單爬蟲，就多了一項(xiàng)技能，還怕找不到工作？，還怕不好找工作？小編就來(lái)告訴你這個(gè)專業(yè)的優(yōu)勢(shì)到底體現(xiàn)在哪里：一個(gè)簡(jiǎn)單的python爬蟲,爬取知乎，超牛逼！Python爬蟲學(xué)習(xí)的完整路線推薦??。

1.一個(gè)簡(jiǎn)單的python爬蟲,爬取知乎

一個(gè)簡(jiǎn)單的python爬蟲,爬取知乎主要實(shí)現(xiàn) 爬取一個(gè)收藏夾 里 所有問題答案下的 圖片文字信息暫未收錄，可自行實(shí)現(xiàn)，比圖片更簡(jiǎn)單具體代碼里有詳細(xì)注釋，請(qǐng)自行閱讀項(xiàng)目源碼：# -*- coding:utf-8 -*- from spider import from import Pool import sys,urllib,http,os,random,re,time __author__ = 'waiting' ''' 使用了第三方的類庫(kù) ，請(qǐng)自行安裝 需要目錄下的spider.py文件 運(yùn)行環(huán)境：python3.4,windows7 ''' #收藏夾的地址 url = ' #page參數(shù)改為代碼添加 #本地存放的路徑,不存在會(huì)自動(dòng)創(chuàng)建 store_path = 'E:\\zhihu\收藏夾\\會(huì)員才知道的世界' class (): def __init__(self,pageStart, pageEnd, url): self._url = url self._pageStart = int(pageStart) self._pageEnd = int(pageEnd)+1 self.downLimit = 0 #低于此贊同的答案不收錄 def start(self): for page in range(self._pageStart,self._pageEnd): #收藏夾的頁(yè)數(shù) url = self._url + '?page='+str(page) content = self.getUrl(url) = content.find_all('div',class_='zm-item') for question in : #收藏夾的每個(gè)問題 Qtitle = question.find('h2',class_='zm-item-title') if Qtitle is None: #被和諧了 continue = Qtitle.a.string Qurl = ' #問題題目 Qtitle = re.sub(r'[\\/:*?"<>]','#',Qtitle.a.string) #windows文件/目錄名不支持的特殊符號(hào) try: print('-----正在獲取問題:'+Qtitle+'-----') #獲取到問題的鏈接和標(biāo)題，進(jìn)入抓取 except : print(r'---問題含有特殊字符無(wú)法顯示---') try: Qcontent = self.getUrl(Qurl) except: print('!!!!獲取出錯(cuò)!!!!!') pass = Qcontent.find_all('div',class_='zm-item-answer zm-item-expanded') self._(,Qtitle) #處理問題的答案 time.sleep(5) def _(self,,Qtitle): j = 0 for answer in : j = j + 1 upvoted = int(answer.find('span',class_='count').string.replace('K','000')) #獲得此答案贊同數(shù) if upvoted < self.downLimit: continue = answer.find('div',class_='zm-item-answer-author-info') #獲取作者信息 author = {'':'','link':''} try: author['name'] = .find('a',class_='author-link').string #獲得作者的名字 author[''] = str(.find('span',class_='bio')['title']) #獲得作者的簡(jiǎn)介 author['link'] = .find('a',class_='author-link')['href'] except : author['name'] = '匿名用戶'+str(j) except TypeError: #簡(jiǎn)介為空的情況 pass #匿名用戶沒有鏈接 file_name = os.path.join(store_path,Qtitle,'info',author['name']+'_info.txt') if os.path.exists(file_name): #已經(jīng)抓取過(guò) continue self.saveText(file_name,'{}\r\n{link}'.format(**author)) #保存作者的信息 print('正在獲取用戶`{name}`的答案'.format(**author)) = answer.find('div',class_='zm-editable-content clearfix') if is None: #被舉報(bào)的用戶沒有答案內(nèi)容 continue imgs = .find_all('img') if len(imgs) == 0: #答案沒有上圖 pass else: self._(imgs,Qtitle,**author) #收錄圖片 def _(self,imgs,Qtitle,**author): i = 0 for img in imgs: if 'inline-image' in img['class']: #不抓取知乎的小圖 continue i = i + 1 imgUrl = img['src'] extension = os.path.splitext(imgUrl)[1] path_name = os.path.join(store_path,Qtitle,author['name']+'_'+str(i)+extension) try: self.saveImg(imgUrl,path_name) #捕獲各種圖片異常，流程不中斷 except: pass #收錄文字 def _(self): pass #命令行下運(yùn)行，例：zhihu.py 1 5 獲取1到5頁(yè)的數(shù)據(jù) if __name__ == '__main__': page, limit, paramsNum= 1, 0, len(sys.argv) if paramsNum>=3: page, pageEnd = sys.argv[1], sys.argv[2] elif paramsNum == 2: page = sys.argv[1] pageEnd = page else: page,pageEnd = 1,1 spider = (page,pageEnd,url) spider.start()很多初學(xué)者，對(duì)Python的概念都是模糊不清的，Python能做什么，學(xué)的時(shí)候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解，詳情可以點(diǎn)擊有道云筆記鏈接了解：有道云筆記

2.超牛逼！Python爬蟲學(xué)習(xí)的完整路線推薦

數(shù)據(jù)是決策的原材料，高質(zhì)量的數(shù)據(jù)價(jià)值不菲，如何挖掘原材料成為互聯(lián)網(wǎng)時(shí)代的先驅(qū)，掌握信息的源頭，就能比別人更快一步。大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)成為大量信息的載體，機(jī)械的復(fù)制粘貼不再實(shí)用，不僅耗時(shí)費(fèi)力還極易出錯(cuò)，這時(shí)爬蟲的出現(xiàn)解放了大家的雙手，以其高速爬行、定向抓取資源的能力獲得了大家的青睞。爬蟲變得越來(lái)越流行，不僅因?yàn)樗軌蚩焖倥廊『Ａ康臄?shù)據(jù)，更因?yàn)橛衟ython這樣簡(jiǎn)單易用的語(yǔ)言使得爬蟲能夠快速上手。對(duì)于小白來(lái)說(shuō)，爬蟲可能是一件非常復(fù)雜、技術(shù)門檻很高的事情，但掌握正確的方法，在短時(shí)間內(nèi)做到能夠爬取主流網(wǎng)站的數(shù)據(jù)，其實(shí)非常容易實(shí)現(xiàn)，但建議你從一開始就要有一個(gè)具體的目標(biāo)。在目標(biāo)的驅(qū)動(dòng)下，你的學(xué)習(xí)才會(huì)更加精準(zhǔn)和高效。那些所有你認(rèn)為必須的前置知識(shí)，都是可以在完成目標(biāo)的過(guò)程中學(xué)到的?；趐ython爬蟲，我們整理了一個(gè)完整的學(xué)習(xí)框架：篩選和甄別學(xué)習(xí)哪些知識(shí)，在哪里去獲取資源是許多初學(xué)者共同面臨的問題。接下來(lái)，我們將學(xué)習(xí)框架進(jìn)行拆解，分別對(duì)每個(gè)部分進(jìn)行詳細(xì)介紹和推薦一些相關(guān)資源，告訴你學(xué)什么、怎么學(xué)、在哪里學(xué)。爬蟲簡(jiǎn)介爬蟲是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。這個(gè)定義看起來(lái)很生硬，我們換一種更好理解的解釋：我們作為用戶獲取網(wǎng)絡(luò)數(shù)據(jù)的方式是瀏覽器提交請(qǐng)求->下載網(wǎng)頁(yè)代碼->解析/渲染成頁(yè)面；而爬蟲的方式是模擬瀏覽器發(fā)送請(qǐng)求->下載網(wǎng)頁(yè)代碼->只提取有用的數(shù)據(jù)->存放于數(shù)據(jù)庫(kù)或文件中。爬蟲與我們的區(qū)別是，爬蟲程序只提取網(wǎng)頁(yè)代碼中對(duì)我們有用的數(shù)據(jù)，并且爬蟲抓取速度快，量級(jí)大。隨著數(shù)據(jù)的規(guī)模化，爬蟲獲取數(shù)據(jù)的高效性能越來(lái)越突出，能夠做的事情越來(lái)越多：市場(chǎng)分析：電商分析、商圈分析、一二級(jí)市場(chǎng)分析等市場(chǎng)監(jiān)控：電商、新聞、房源監(jiān)控等商機(jī)發(fā)現(xiàn)：招投標(biāo)情報(bào)發(fā)現(xiàn)、客戶資料發(fā)掘、企業(yè)客戶發(fā)現(xiàn)等進(jìn)行爬蟲學(xué)習(xí)，首先要懂得是網(wǎng)頁(yè)，那些我們?nèi)庋劭梢姷墓怩r亮麗的網(wǎng)頁(yè)是由HTML、css、等網(wǎng)頁(yè)源碼所支撐起來(lái)的。這些源碼被瀏覽器所識(shí)別轉(zhuǎn)換成我們看到的網(wǎng)頁(yè)，這些源碼里面必定存在著很多規(guī)律,我們的爬蟲就能按照這樣的規(guī)律來(lái)爬取需要的信息。無(wú)規(guī)矩不成方圓，Robots協(xié)議就是爬蟲中的規(guī)矩，它告訴爬蟲和搜索引擎哪些頁(yè)面可以抓取，哪些不可以抓取。通常是一個(gè)叫作robots.txt的文本文件，放在網(wǎng)站的根目錄下。輕量級(jí)爬蟲“獲取數(shù)據(jù)——解析數(shù)據(jù)——存儲(chǔ)數(shù)據(jù)”是爬蟲的三部曲，大部分爬蟲都是按這樣的流程來(lái)進(jìn)行，這其實(shí)也是模擬了我們使用瀏覽器獲取網(wǎng)頁(yè)信息的過(guò)程。1、獲取數(shù)據(jù)爬蟲*步操作就是模擬瀏覽器向服務(wù)器發(fā)送請(qǐng)求，基于python，你不需要了解從數(shù)據(jù)的實(shí)現(xiàn)，HTTP、TCP、IP的網(wǎng)絡(luò)傳輸結(jié)構(gòu)，一直到服務(wù)器響應(yīng)和應(yīng)達(dá)的原理，因?yàn)閜ython提供了功能齊全的類庫(kù)來(lái)幫我們完成這些請(qǐng)求。Python自帶的標(biāo)準(zhǔn)庫(kù)urllib2使用的較多，它是python內(nèi)置的HTTP請(qǐng)求庫(kù)，如果你只進(jìn)行基本的爬蟲網(wǎng)頁(yè)抓取，那么urllib2足夠用。Requests的slogen是“Requests is the only Non-GMO HTTP library for Python, safe for ”，相對(duì)urllib2，requests使用起來(lái)確實(shí)簡(jiǎn)潔很多，并且自帶json解析器。如果你需要爬取異步加載的動(dòng)態(tài)網(wǎng)站，可以學(xué)習(xí)瀏覽器抓包分析真實(shí)請(qǐng)求或者學(xué)習(xí)Selenium來(lái)實(shí)現(xiàn)自動(dòng)化。對(duì)于爬蟲來(lái)說(shuō)，在能夠爬取到數(shù)據(jù)地前提下當(dāng)然是越快越好，顯然傳統(tǒng)地同步代碼不能滿足我們對(duì)速度地需求。（ps：據(jù)國(guó)外數(shù)據(jù)統(tǒng)計(jì)：正常情況下我們請(qǐng)求同一個(gè)頁(yè)面 100次的話，最少也得花費(fèi) 30秒，但使用異步請(qǐng)求同一個(gè)頁(yè)面 100次的話，只需要要 3秒左右。）aiohttp是你值得擁有的一個(gè)庫(kù)，aiohttp的異步操作借助于async/await關(guān)鍵字的寫法變得更加簡(jiǎn)潔，架構(gòu)更加清晰。使用異步請(qǐng)求庫(kù)進(jìn)行數(shù)據(jù)抓取時(shí)，會(huì)大大提高效率。你可以根據(jù)自己的需求選擇合適的請(qǐng)求庫(kù)，但建議先從python自帶的urllib開始，當(dāng)然，你可以在學(xué)習(xí)時(shí)嘗試所有的方式，以便更了解這些庫(kù)的使用。推薦請(qǐng)求庫(kù)資源:urllib2文檔： ： 、JSON、XML等格式。解析庫(kù)的使用等價(jià)于在HTML中查找需要的信息時(shí)時(shí)使用正則，能夠更加快捷地定位到具體的元素獲取相應(yīng)的信息。Css選擇器是一種快速定位元素的方法。Pyqurrey使用lxml解析器進(jìn)行快速在xml和html文檔上操作，它提供了和jQuery類似的語(yǔ)法來(lái)解析HTML文檔，支持CSS選擇器，使用非常方便。Beautiful Soup是借助網(wǎng)頁(yè)的結(jié)構(gòu)和屬性等特性來(lái)解析網(wǎng)頁(yè)的工具，能自動(dòng)轉(zhuǎn)換編碼。支持Python標(biāo)準(zhǔn)庫(kù)中的HTML解析器,還支持一些第三方的解析器。Xpath最初是用來(lái)搜尋XML文檔的，但是它同樣適用于HTML文檔的搜索。它提供了超過(guò) 100 個(gè)內(nèi)建的函數(shù)。這些函數(shù)用于字符串值、數(shù)值、日期和時(shí)間比較、節(jié)點(diǎn)和 QName 處理、序列處理、邏輯值等等，并且XQuery和XPointer都構(gòu)建于XPath基礎(chǔ)上。Re正則表達(dá)式通常被用來(lái)檢索、替換那些符合某個(gè)模式(規(guī)則)的文本。個(gè)人認(rèn)為前端基礎(chǔ)比較扎實(shí)的，用pyquery是最方便的，也不錯(cuò)，re速度比較快，但是寫正則比較麻煩。當(dāng)然了，既然用python，肯定還是自己用著方便*。推薦解析器資源：pyquery 作為關(guān)系型數(shù)據(jù)庫(kù)的代表，擁有較為成熟的體系，成熟度很高，可以很好地去存儲(chǔ)一些數(shù)據(jù)，但在在海量數(shù)據(jù)處理的時(shí)候效率會(huì)顯著變慢，已然滿足不了某些大數(shù)據(jù)的處理要求。MongoDB已經(jīng)流行了很長(zhǎng)一段時(shí)間，相對(duì)于MySQL ，MongoDB可以方便你去存儲(chǔ)一些非結(jié)構(gòu)化的數(shù)據(jù)，比如各種評(píng)論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。因?yàn)檫@里要用到的數(shù)據(jù)庫(kù)知識(shí)其實(shí)非常簡(jiǎn)單，主要是數(shù)據(jù)如何入庫(kù)、如何進(jìn)行提取，在需要的時(shí)候再學(xué)習(xí)就行。Redis是一個(gè)不折不扣的內(nèi)存數(shù)據(jù)庫(kù)，Redis 支持的數(shù)據(jù)結(jié)構(gòu)豐富，包括hash、set、list等。數(shù)據(jù)全部存在內(nèi)存，訪問速度快，可以存儲(chǔ)大量的數(shù)據(jù)，一般應(yīng)用于分布式爬蟲的數(shù)據(jù)存儲(chǔ)當(dāng)中。推薦數(shù)據(jù)庫(kù)資源：mysql文檔 redis文檔 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。學(xué)會(huì)scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。*Pyspider作為人氣飆升的國(guó)內(nèi)大神開發(fā)的框架，滿足了絕大多數(shù)Python爬蟲的需求 —— 定向抓取，結(jié)構(gòu)化化解析。它能在瀏覽器界面上進(jìn)行腳本的編寫，功能的調(diào)度和爬取結(jié)果的實(shí)時(shí)查看，后端使用常用的數(shù)據(jù)庫(kù)進(jìn)行爬取結(jié)果的存儲(chǔ)等。其功能強(qiáng)大到更像一個(gè)產(chǎn)品而不是一個(gè)框架。這是三個(gè)最有代表性的爬蟲框架，它們都有遠(yuǎn)超別人的有點(diǎn)，比如Nutch天生的搜索引擎解決方案、Pyspider產(chǎn)品級(jí)的WebUI、Scrapy最靈活的定制化爬取。建議先從最接近爬蟲本質(zhì)的框架scary學(xué)起，再去接觸人性化的Pyspider，為搜索引擎而生的Nutch。推薦爬蟲框架資源：Nutch文檔 scary文檔 pyspider文檔 爬取基本數(shù)據(jù)已經(jīng)沒有問題，還能使用框架來(lái)面對(duì)一寫較為復(fù)雜的數(shù)據(jù)，此時(shí)，就算遇到反爬，你也掌握了一些反反爬技巧。你的瓶頸會(huì)集中到爬取海量數(shù)據(jù)的效率，這個(gè)時(shí)候相信你會(huì)很自然地接觸到一個(gè)很厲害的名字：分布式爬蟲。分布式這個(gè)東西，聽起來(lái)很恐怖，但其實(shí)就是利用多線程的原理將多臺(tái)主機(jī)組合起來(lái)，共同完成一個(gè)爬取任務(wù)，需要你掌握 Scrapy +Redis+MQ+Celery這些工具。Scrapy 前面我們說(shuō)過(guò)了，用于做基本的頁(yè)面爬取， Redis 則用來(lái)存儲(chǔ)要爬取的網(wǎng)頁(yè)隊(duì)列，也就是任務(wù)隊(duì)列。scarpy-redis就是用來(lái)在scrapy中實(shí)現(xiàn)分布式的組件，通過(guò)它可以快速實(shí)現(xiàn)簡(jiǎn)單分布式爬蟲程序。由于在高并發(fā)環(huán)境下，由于來(lái)不及同步處理，請(qǐng)求往往會(huì)發(fā)生堵塞，通過(guò)使用消息隊(duì)列MQ，我們可以異步處理請(qǐng)求，從而緩解系統(tǒng)的壓力。RabbitMQ本身支持很多的協(xié)議：AMQP，XMPP, SMTP,STOMP，使的它變的非常重量級(jí)，更適合于企業(yè)級(jí)的開發(fā)。Scrapy-rabbitmq-link是可以讓你從RabbitMQ 消息隊(duì)列中取到URL并且分發(fā)給Scrapy spiders的組件。Celery是一個(gè)簡(jiǎn)單、靈活且可靠的，處理大量消息的分布式系統(tǒng)。支持 RabbitMQ、Redis 甚至其他數(shù)據(jù)庫(kù)系統(tǒng)作為其消息代理中間件， 在處理異步任務(wù)、任務(wù)調(diào)度、處理定時(shí)任務(wù)、分布式調(diào)度等場(chǎng)景表現(xiàn)良好。所以分布式爬蟲只是聽起來(lái)有些可怕，也不過(guò)如此。當(dāng)你能夠?qū)懛植际降呐老x的時(shí)候，那么你可以去嘗試打造一些基本的爬蟲架構(gòu)了，實(shí)現(xiàn)一些更加自動(dòng)化的數(shù)據(jù)獲取。推薦分布式資源：scrapy-redis文檔

就拿大數(shù)據(jù)說(shuō)話，優(yōu)勢(shì)一目了然，從事IT行業(yè)，打開IT行業(yè)的新大門，找到適合自己的培訓(xùn)機(jī)構(gòu)，進(jìn)行專業(yè)和系統(tǒng)的學(xué)習(xí)。