不管你是待業(yè)還是失業(yè)，在這個被互聯(lián)網(wǎng)圍繞的時代里，選擇python網(wǎng)絡(luò)爬蟲，就多了一項技能，還怕找不到工作？，還怕不好找工作？小編就來告訴你這個專業(yè)的優(yōu)勢到底體現(xiàn)在哪里：Python網(wǎng)絡(luò)爬蟲實戰(zhàn)項目代碼大全（長期更新，歡迎補充），學(xué)習(xí)python網(wǎng)絡(luò)爬蟲的一點心得??。

1.Python網(wǎng)絡(luò)爬蟲實戰(zhàn)項目代碼大全（長期更新，歡迎補充）

原文鏈接：知乎專欄爬天爬地 —— 由 軒轅小羽 分享Python網(wǎng)絡(luò)爬蟲實戰(zhàn)項目代碼大全（長期更新，歡迎補充）阿橙 · 5 個月前 [1]- 微信公眾號爬蟲?；谒压肺⑿潘阉鞯奈⑿殴娞柵老x接口，可以擴展成基于搜狗搜索的爬蟲，返回結(jié)果是列表，每一項均是公眾號具體信息字典。 [2]- 豆瓣讀書爬蟲?？梢耘老露拱曜x書標(biāo)簽下的所有圖書，按評分排名依次存儲，存儲到Excel中，可方便大家篩選搜羅，比如篩選評價人數(shù)>1000的高分書籍；可依據(jù)不同的主題存儲到Excel不同的Sheet ，采用User Agent偽裝為瀏覽器進行爬取，并加入隨機延時來更好的模仿瀏覽器行為，避免爬蟲被封。zhihu_spider [3]- 知乎爬蟲。此項目的功能是爬取知乎用戶信息以及人際拓撲關(guān)系，爬蟲框架使用scrapy，數(shù)據(jù)存儲使用-user [4]- Bilibili用戶爬蟲?？倲?shù)據(jù)數(shù)：20119918，抓取字段：用戶id，昵稱，性別，頭像，等級，經(jīng)驗值，粉絲數(shù)，生日，地址，注冊時間，簽名，等級與經(jīng)驗值等。抓取之后生成B站用戶數(shù)據(jù)報告。 [5]- 新浪微博爬蟲。主要爬取新浪微博用戶的個人信息、微博信息、粉絲和關(guān)注。代碼獲取新浪微博Cookie進行登錄，可通過多賬號登錄來防止新浪的反扒。主要使用 scrapy 爬蟲框架。_crawler [6]- 小說下載分布式爬蟲。使用scrapy,redis, mongodb,graphite實現(xiàn)的一個分布式網(wǎng)絡(luò)爬蟲,底層存儲mongodb集群,分布式使用redis實現(xiàn),爬蟲狀態(tài)顯示使用graphite實現(xiàn)，主要針對一個小說站點。 [7]- *知網(wǎng)爬蟲。設(shè)置檢索條件后，執(zhí)行src/.py抓取數(shù)據(jù)，抓取數(shù)據(jù)存儲在/data目錄下，每個數(shù)據(jù)文件的*行為字段名稱。 [8]- 鏈家網(wǎng)爬蟲。爬取北京地區(qū)鏈家歷年二手房成交記錄。涵蓋鏈家爬蟲一文的全部代碼，包括鏈家模擬登錄代碼。scrapy_jingdong [9]- 京東爬蟲。基于scrapy的京東網(wǎng)站爬蟲，保存格式為csv。QQ-Groups-Spider [10]- QQ 群爬蟲。批量抓取 QQ 群信息，包括群名稱、群號、群人數(shù)、群主、群簡介等內(nèi)容，最終生成 XLS(X) / CSV 結(jié)果文件。wooyun_public [11]-烏云爬蟲。 烏云公開漏洞、知識庫爬蟲和搜索。全部公開漏洞的列表和每個漏洞的文本內(nèi)容存在mongodb中，大概約2G內(nèi)容；如果整站爬全部文本和圖片作為離線查詢，大概需要10G空間、2小時（10M電信帶寬）；爬取全部知識庫，總共約500M空間。漏洞搜索使用了Flask作為web server，bootstrap作為前端。2016.9.11補充： [12]- 去哪兒網(wǎng)爬蟲。 網(wǎng)絡(luò)爬蟲之Selenium使用代理登陸：爬取去哪兒網(wǎng)站，使用selenium模擬瀏覽器登陸，獲取翻頁操作。代理可以存入一個文件，程序讀取并使用。支持多進程抓取。findtrip [13]- 機票爬蟲（去哪兒和攜程網(wǎng)）。Findtrip是一個基于Scrapy的機票爬蟲，目前整合了國內(nèi)兩大機票網(wǎng)站（去哪兒 + 攜程）。163spider [14] - 基于requests、MySQLdb、torndb的網(wǎng)易客戶端內(nèi)容爬蟲 [15]- 豆瓣電影、書籍、小組、相冊、東西等爬蟲集QQSpider [16]- QQ空間爬蟲，包括日志、說說、個人信息等，一天可抓取 400 萬條數(shù)據(jù)。baidu-music-spider [17]- 百度mp3全站爬蟲，使用redis支持斷點續(xù)傳。tbcrawler [18]- 淘寶和天貓的爬蟲,可以根據(jù)搜索關(guān)鍵詞,物品id來抓去頁面的信息，數(shù)據(jù)存儲在mongodb。stockholm [19]- 一個股票數(shù)據(jù)（滬深）爬蟲和選股策略測試框架。根據(jù)選定的日期范圍抓取所有滬深兩市股票的行情數(shù)據(jù)。支持使用表達式定義選股策略。支持多線程處理。保存數(shù)據(jù)到JSON文件、CSV文件。[20]-百度云盤爬蟲。 [1]: GitHub - Chyroc/: 基于搜狗微信搜索的微信公眾號爬蟲接口[2]: GitHub - /: 豆瓣讀書的爬蟲[3]: GitHub - LiuRoy/zhihu_spider: 知乎爬蟲[4]: GitHub - /bilibili-user: Bilibili用戶爬蟲[5]: GitHub - /: 新浪微博爬蟲（Scrapy、Redis）[6]: GitHub - gnemoug/_crawler: 使用scrapy,redis, mongodb,graphite實現(xiàn)的一個分布式網(wǎng)絡(luò)爬蟲,底層存儲mongodb集群,分布式使用redis實現(xiàn),爬蟲狀態(tài)顯示使用graphite實現(xiàn)[7]: GitHub - yanzhou/: *知網(wǎng)爬蟲[8]: GitHub - /: 鏈家爬蟲[9]: GitHub - /scrapy_jingdong: 用scrapy寫的京東爬蟲[10]: GitHub - caspartse/QQ-Groups-Spider: QQ Groups Spider（QQ 群爬蟲）[11]: GitHub - hanc00l/wooyun_public: 烏云公開漏洞、知識庫爬蟲和搜索 crawl and search for wooyun.org public bug() and drops[12]: GitHub - /: 網(wǎng)絡(luò)爬蟲之Selenium使用代理登陸：爬取去哪兒網(wǎng)站[13]: GitHub - fankcoder/findtrip: 機票爬蟲（去哪兒和攜程網(wǎng)）。flight tickets multiple webspider.(scrapy + selenium + phantomjs + mongodb)[14]: GitHub - leyle/163spider: 爬取網(wǎng)易客戶端內(nèi)容的小爬蟲。[15]: GitHub - /: 豆瓣電影、書籍、小組、相冊、東西等爬蟲集 writen in Python[16]: GitHub - /QQSpider: QQ空間爬蟲（日志、說說、個人信息）[17]: GitHub - Shu-Ji/baidu-music-spider: 百度mp3全站爬蟲[18]: GitHub - pakoo/tbcrawler: 淘寶天貓 商品 爬蟲[19]: GitHub - benitoro/stockholm: 一個股票數(shù)據(jù)（滬深）爬蟲和選股策略測試框架[20]:GitHub - k1995/: 愛百應(yīng)，百度云網(wǎng)盤搜索引擎，爬蟲+網(wǎng)站--------------------------本項目收錄各種Python網(wǎng)絡(luò)爬蟲實戰(zhàn)開源代碼，并長期更新，歡迎補充。更多Python干貨歡迎關(guān)注：微信公眾號：Python中文社區(qū)Python初級技術(shù)交流QQ群：高級技術(shù)交流QQ群：網(wǎng)絡(luò)爬蟲組QQ群：開發(fā)組QQ群：量化交易策略組QQ群：數(shù)據(jù)分析挖掘組QQ群：自然語言處理組QQ群：570364809 -------------------------- Python學(xué)習(xí)資源下載：Python學(xué)習(xí)思維腦圖大全匯總打包 （密碼請關(guān)注微信公眾號“Python中文社區(qū)”后回復(fù)“思維”二字獲取）-------------------------

2.學(xué)習(xí)python網(wǎng)絡(luò)爬蟲的一點心得

網(wǎng)絡(luò)爬蟲（英語：web crawler），也叫網(wǎng)絡(luò)蜘蛛（spider），是一種用來自動瀏覽萬維網(wǎng)的網(wǎng)絡(luò)機器人。簡單來說就是你寫個腳本去抓別人網(wǎng)頁上的內(nèi)容。舉個例子，上面這張圖片是前程無憂招聘網(wǎng)站上關(guān)于python招聘的一些信息，找工作的時候你想把這些數(shù)據(jù)抓下來放進一個excel表格里面方便你篩選排序?qū)Ρ冗x擇，這時你一個一個鏈接點開去復(fù)制里面的對應(yīng)條目內(nèi)容，顯然這個簡單重復(fù)的操作做多了會讓你抓狂，這時你寫個爬蟲去幫你機械的抓取，比人工一個個復(fù)制來的輕松。（文末贈送我練習(xí)時寫的前程無憂爬蟲）當(dāng)然，如果你只是想簡單的復(fù)制某一個網(wǎng)站上的某張圖片或者某段話，寫個爬蟲就顯得多此一舉了，畢竟寫個小腳本還是要點時間的。寫這篇文章的初衷是想介紹一下爬蟲的大概樣貌和爬蟲學(xué)習(xí)中兩個重要的點，畢竟當(dāng)初自己學(xué)的時候找不到重點，有些視頻半天不知道他在干啥。先說說爬蟲大概是怎么玩的。文章開頭的引用維基百科對爬蟲的解釋，說它是網(wǎng)絡(luò)機器人，其實具體的就是寫一段代碼，向某一網(wǎng)址（URL）發(fā)送訪問請求，這個動作對應(yīng)的是我們?nèi)斯ぴL問網(wǎng)站時把網(wǎng)址輸進去或者百度搜索找到網(wǎng)頁之后點擊進入。網(wǎng)站服務(wù)器接收到訪問請求后，返回響應(yīng)文件，對應(yīng)的就是我們看到的頁面，只是爬蟲拿到的是一個網(wǎng)頁文本，而我們看到的是經(jīng)過瀏覽器排版的的網(wǎng)頁。拿到響應(yīng)文件之后，寫一些限制性的語句，告訴程序我要哪塊內(nèi)容，拿到內(nèi)容后以自己想要的方式保存就行了。爬蟲的流程：構(gòu)建URL-發(fā)送請求-獲取響應(yīng)-提取內(nèi)容-保存。來說說*個重要工作：構(gòu)建URL。探索要爬的網(wǎng)站的URL規(guī)律，按規(guī)律構(gòu)建URL。下面是前程無憂搜索昆明的“python”相關(guān)職位彈出來的網(wǎng)頁的URL。 = " # 昆明 url_wei = ".html?lang=c&stype=&=0000&workyear=99&cotype=99&" \ "=99&jobterm=99&=99&=99&" \ "lonlat=0%2C0&radius=-1&ord_field=0&=9&fromType=&dibiaoid=" \ "0&address=&line=&=00&from=&welfare="像這樣把URL前后端不變的東西挑出來。key_word = input("你要爬取的職位名稱：") zwmc = urllib.parse.quote(key_word) start_page = int(input("你要爬取的起始頁：")) end_page = int(input("你要爬取的結(jié)束頁：")) for page in range(start_page,end_page+1): page_url = self.url_tou + zwmc + ",2," + str(page) + self.url_wei上面是構(gòu)建URL的語句，其中根據(jù)用戶需求不同而改變的就是“zwmc”和“page”，把各條字符串連起來就是一個完整的URL了。 有了URL用python的一些第三方庫模擬用戶發(fā)送請求，得到響應(yīng)，接下來就是第二個重要工作：解析網(wǎng)頁。網(wǎng)頁拿回來了，要搞清楚別人的網(wǎng)頁文檔類型是什么，你需要的數(shù)據(jù)放在哪個位置，才能準(zhǔn)確的定位自己需要的內(nèi)容。上圖是一個網(wǎng)頁文檔的部分截圖，網(wǎng)頁的內(nèi)容都是用前標(biāo)簽和后標(biāo)簽卡住的，比如我需要這個崗位的薪資信息，我就寫一條語句告訴程序，我要前標(biāo)簽和后標(biāo)簽中間卡住那個東西，提取內(nèi)容的方法和途徑很多，比如用正則表達式、、x-path、json-path等等。順便說個相關(guān)的小tricks：不知道你有沒有遇到過那種不讓復(fù)制內(nèi)容的網(wǎng)站，如果遇到了想要其中的某段內(nèi)容，可以試試在網(wǎng)頁上右鍵選擇“查看網(wǎng)頁源代碼”，ctrl+F搜索到你要的內(nèi)容復(fù)制就行了。以上只是簡單說了一下我個人覺得寫爬蟲過程中比較重要的兩個環(huán)節(jié)，其他的還有很多細節(jié)和坑要填，如果真的想學(xué)一個東西，填坑是必然的。簡單列一下我學(xué)習(xí)過程中遇到的坑：首先是抓包，一次請求會返回很多響應(yīng)，哪個才是你需要的？然后是構(gòu)建請求頭的問題，很多網(wǎng)站都有反爬蟲機制，怎么才能偽裝的更像用戶在用瀏覽器上網(wǎng)？再然后是有些網(wǎng)站直接加密自己的數(shù)據(jù)，你響應(yīng)拿回的關(guān)鍵數(shù)據(jù)是一串亂碼，腫么破？再再然后是一些細小的坑，如get請求和post請求是什么？Ajax異步加載的網(wǎng)頁怎么搞？返回的響應(yīng)是json格式怎么辦？有的網(wǎng)頁有壓縮怎么辦？*就是各種python庫的選擇，關(guān)于請求網(wǎng)頁的工具，我只用過urllib和requests，推薦人性化點的requests，解析網(wǎng)頁的庫，推薦和x-path，正則表達式可以學(xué)學(xué)，有用。本文只是涉及到爬蟲的一點皮毛，實際爬蟲的體系很龐大，用處也很多，內(nèi)容復(fù)雜，有興趣的請自行探索。我學(xué)爬蟲前后大概用了一個月時間，大的爬蟲框架不行，小的實用型的爬蟲還是沒問題的（對大多數(shù)普通網(wǎng)頁而言），所以想入門并不難，加油吧騷年。*把文中舉例的這個前程無憂的爬蟲分享出來，只要你會下載個python安裝配置好，把代碼貼進去就能跑。這是運行時需要輸入的3個參數(shù)。這是爬完的效果圖。有興趣的朋友可以關(guān)注我的微信公眾號“凌云水手記”回復(fù)“前程無憂爬蟲”即可下載。附上我覺得將爬蟲講的比較好的一個B站資源，真心剛學(xué)的時候看了好多視頻，有些人是咋咋呼呼的，不知所云，確實他會，但是他講不出來啊。

就拿大數(shù)據(jù)說話，優(yōu)勢一目了然，從事IT行業(yè)，打開IT行業(yè)的新大門，找到適合自己的培訓(xùn)機構(gòu)，進行專業(yè)和系統(tǒng)的學(xué)習(xí)。