爬蟲是一個是一個好玩的技術(shù)，偷偷爬取mm的照片，爬取知乎用戶頭像等等，這些教程經(jīng)驗(yàn)帖在網(wǎng)上隨便一搜，到處都是;那么今天小編將給大家簡單講講python爬蟲的入門。以下是小編為你整理的python學(xué)習(xí)怎么學(xué) ?
步驟一：python的下載 ?
python爬蟲，首先需要本地電腦上安裝有python，這里我簡單說一下python的安裝，我相信學(xué)爬蟲的同學(xué)們肯定有一定的python基礎(chǔ)了。 ?
首先，進(jìn)入到python官網(wǎng)，你可以直接輸入python主頁，也可以從百度搜索框進(jìn)入到python的主頁，這里方法很多，我不在一一例舉了，然后在主頁上面可以看見Downloads字樣，點(diǎn)擊下載，然后跳轉(zhuǎn)出下載界面。
跳轉(zhuǎn)出python下載界面，選擇一個版本進(jìn)行下載，這里的我3.X和2.7.X版本的差別還是蠻大的，這里我就不在累贅了，python2.7的支持包要更加全面完善，python3的包擴(kuò)展可能比較少，但是正在慢慢開發(fā);python2.7預(yù)計(jì)在202X停止更新了;但是由于小編的習(xí)慣，這里我選擇的是2.7版本。 ?
安裝好后，按windos鍵加R鍵，彈出運(yùn)行窗口，在運(yùn)行窗口輸入cms進(jìn)入到命令行界面，然后輸入python，如果安裝成功，即可進(jìn)入到python交互界面，如果沒有則表示python沒有安裝成功。 ?
如何讓輸出不換行輸出
程序中如何讓輸出不換行輸出，例如如何使用range輸出1,2,3,4,5,使他們在同一行上，其實(shí)很簡單，只要在print語句后面加一個逗號 ?
程序中怎樣換行，而不影響輸出結(jié)果。(一般用于語句過長時)可以用分開語句。 ?
\表示字符串中的\n表示字符串中的換行 ?
'表示單引號，"表示雙引號 ?
程序中"""很厲害，兩個"""中可以有'和",并且不會影響輸出結(jié)果，可以將'和"輸出。(python中'和"的用法完全一樣，也就是說這里的三引號也可以是''') ?
*說一下在程序中怎么輸出5排*****，這里使用兩個for 循環(huán)嵌套，這個肯定不用說了，我想提的是怎么每輸出5個*就換行，其實(shí)就是讓第二個print的縮進(jìn)和內(nèi)層的for是一樣的，這表明它是外層for循環(huán)中的語句，每次i的循環(huán)中，它會執(zhí)行一次。第二個print后面沒有寫任何東西，是起到換行的作用，這樣，每輸出5個*，就會換行。 ?
python的作用
【階段一】Python編程 ?
Python基礎(chǔ) ?
Python概述 Python簡史 、Python應(yīng)用場景 、Python當(dāng)前發(fā)展 ?
語法基礎(chǔ) 變量類型 、 分支語句 、 循環(huán)語句 ?
函數(shù) 函數(shù)初步 、 細(xì)說參數(shù) 、 變量作用域 、 遞歸調(diào)用 ?
面向?qū)ο缶幊?OOP) OOP基礎(chǔ) 、 公有私有問題 、 繼承 、 組合& Mixin ?
數(shù)據(jù)結(jié)構(gòu)初步 列表(list) 、 元組(tuple) 、 字典(dict) 、 集合(set) ?
異常處理 異常概述 、 try/except 、 Finally 、 Raise 、 with ?
擴(kuò)展課程 Linux系統(tǒng)運(yùn)維 、 Python圖形界面(GUI)開發(fā) 、 (qt或者tkinter任選) ?
階段貫穿項(xiàng)目：計(jì)算器 隨機(jī)抽獎 壓縮軟件 猜數(shù)字 ?
【階段二】Python高級特性 ?
Python高級特性 ?
Python模塊 模塊基本使用 、 搜索路徑問題 、 DIY自己的模塊 ?
調(diào)試技術(shù) 調(diào)試技術(shù)簡介 、 Pdb調(diào)試 、 Pycharm中的調(diào)試 ?
魔法函數(shù) 魔法函數(shù)概述 、 構(gòu)造類魔法函數(shù) 、 運(yùn)算類魔法函數(shù) ?
多線程 多線程/進(jìn)程簡介 、 Python的多線程 ?
Net編程 Socket編程 、 Urllib庫 、 Requests庫 、 Mail處理 ?
序列化 文件(file)處理 、 XML編程 、 Pickle模塊 ?
其他常用模塊 commands 、 sys 模塊 、 os模塊 、 time 、 random ?
擴(kuò)展課程 Pygame 、 微信公眾號開發(fā)-API使用 、 Shelve模塊 、 JSON格式 、 多線程-協(xié)程，gevent ?
階段課程項(xiàng)目：飛機(jī)大戰(zhàn)(OOP,GUI) WebServer模擬(HTTP協(xié)議) 自動郵件發(fā)送軟件(Net編程) 聊天室(Net編程) ?
【階段三】軟件核心算法&全棧 ?
軟件核心算法&全棧 ?
核心算法 代碼規(guī)范 、 數(shù)據(jù)結(jié)構(gòu) 、 設(shè)計(jì)模式 、 版本控制 ?
數(shù)據(jù)庫 數(shù)據(jù)庫簡介 、 Mysql 、 MongoDB 、 Redis ?
前端技術(shù) HTML+CSS 、 Javascript 、 Ajax 、 jQuery ?
擴(kuò)展課程 Memcached 、 Bootstrap 、 其他常見設(shè)計(jì)模式 ?
階段課程項(xiàng)目：商城界面模擬 ?
【階段四】WEB框架 ?
WEB框架 ?
Django Django的路由模塊 、 Django中的View 、 ORM在django中的應(yīng)用 、 模板系統(tǒng)介紹 、 Django常用安全控制 ?
Tornado Tornado的路由 、 Tornado使用的模板系統(tǒng) 、 Views模塊 、 Tornado對數(shù)據(jù)庫的支持 、 Tornado的異步處理 ?
擴(kuò)展課程 Flask框架 、 RESTful開發(fā) 、 Celery使用 ?
AJAX ?
Ajax AJAX簡介、XMLHttpRequest對象詳解、JQuery的AJAX、Ajax處理服務(wù)端返回的文本、XML和JSON格式的數(shù)據(jù) ?
WEB高級 ?
Web強(qiáng)化 MD5加密、分頁、文件上傳、下載、動態(tài)代理 ?
項(xiàng)目管理 ?
SVN&Maven 掌握SVN的配置和使用，Maven介紹及依賴管理;安裝配置;核心概念、與第三方Eclipse的整合、Maven管理Web應(yīng)用;Maven管理SSH應(yīng)用;使用Maven進(jìn)行測試及集成;掌握Maven在Java Web應(yīng)用的配置、管理和使用等技術(shù)。 ?
階段貫穿項(xiàng)目：在線商城 開源在線服務(wù)系統(tǒng) Tornado Web后臺處理 ?
?
【階段五】大數(shù)據(jù)&人工智能 ?
大數(shù)據(jù)&人工智能 ?
爬蟲 爬蟲原理 、 Urllib爬取技術(shù) 、 Requests爬取技術(shù) 、 Scrapy框架 ?
大數(shù)據(jù) 數(shù)據(jù)科學(xué)簡介 、 數(shù)據(jù)操作工具使用 、 數(shù)據(jù)呈現(xiàn)工具使用 、 基本數(shù)據(jù)分析算法 ?
人工智能(AI) 人工智能簡介 、 Tensoflow使用 、 AI算法 ?
階段貫穿項(xiàng)目： 知識圖譜繪制(某創(chuàng)業(yè)項(xiàng)目)、跨境電商BI數(shù)據(jù)分析 ?
畢業(yè)項(xiàng)目：元器件識別系統(tǒng)、爬蟲爬取互聯(lián)網(wǎng)數(shù)據(jù)、手寫筆跡識別 ?
如何發(fā)起爬蟲請求
大家知道，爬蟲實(shí)際上就是模擬瀏覽器請求，然后把請求到的數(shù)據(jù)，經(jīng)過我們的分析，提取出我們想要的內(nèi)容，這也就是爬蟲的實(shí)現(xiàn) ?
首先，我們要寫爬蟲，可以借鑒一些工具，我們先從簡單的入門，首先說到請求，我們就會想到python中，非常好用的requests，然后說到分析解析就會用到bs4，然后我們可以直接用pip命令來實(shí)現(xiàn)安裝，假如安裝的是python3，也可以用pip3 ?
安裝好這兩個類庫之后，然后我們就可以先請求數(shù)據(jù)，查看下新聞的內(nèi)容，這個時候我們有可能看到的是亂碼 ?
怎么處理亂碼呢?我們可以拿瀏覽器打開網(wǎng)頁，右鍵查看網(wǎng)頁源代碼，我們可以看到編碼格式為utf-8 ?
然后我們在輸出的時候添加編碼格式，就可以查看到正確編碼的數(shù)據(jù)了 ?
拿到數(shù)據(jù)之后，我們需要先分析數(shù)據(jù)，看我們想要的數(shù)據(jù)在哪里，我們打開瀏覽器，右鍵審查，然后按示例圖操作，就可以看到我們新聞所在的標(biāo)簽，假如是windows系統(tǒng)，選擇開發(fā)中工具里面一樣
