濮阳杆衣贸易有限公司

主頁(yè) > 知識(shí)庫(kù) > 用Python爬取某乎手機(jī)APP數(shù)據(jù)

用Python爬取某乎手機(jī)APP數(shù)據(jù)

熱門(mén)標(biāo)簽:地圖標(biāo)注自己和別人標(biāo)注區(qū)別 海外網(wǎng)吧地圖標(biāo)注注冊(cè) 打電話機(jī)器人營(yíng)銷(xiāo) ai電銷(xiāo)機(jī)器人的優(yōu)勢(shì) 騰訊地圖標(biāo)注沒(méi)法顯示 商家地圖標(biāo)注海報(bào) 孝感營(yíng)銷(xiāo)電話機(jī)器人效果怎么樣 南陽(yáng)打電話機(jī)器人 聊城語(yǔ)音外呼系統(tǒng)

一、配置抓包工具

1.安裝軟件

本文選擇的抓包工具:Fiddler  

具體的下載安裝這里不詳細(xì)贅述!(網(wǎng)上搜Fiddler安裝,一大堆教程),本文以實(shí)戰(zhàn)為例,就不再這里浪費(fèi)時(shí)間了!

2.配置Fiddler

安裝好之后,接下來(lái)就開(kāi)始配置Fiddler工具(這里是關(guān)鍵,仔細(xì)閱讀!

配置Connections

打開(kāi)Fiddler后,點(diǎn)擊Tools->Options

點(diǎn)擊Connections

勾選上對(duì)應(yīng)的選項(xiàng)

配置HTTPS

由于目前大部分APP都是https加密,包括本文實(shí)戰(zhàn)『某乎』案例也是https加密,因此配置HTTPS,來(lái)抓取https數(shù)據(jù)包!

勾選上對(duì)應(yīng)的選項(xiàng)

最后抓包工具Fiddler就配置好了

記得重啟Fiddler!重啟Fiddler!重啟Fiddler!不然可能不生效

二、配置手機(jī)代理

 1.設(shè)置代理

準(zhǔn)備工作

首先看一下安裝Fiddler主機(jī)ip(電腦和手機(jī)必須處于同一局域網(wǎng)

查看ip命令

window:ipconfig

開(kāi)始配置

目標(biāo)代理主機(jī)信息
ip:192.168.31.195

端口:8888

在wifi無(wú)線網(wǎng)處進(jìn)去,點(diǎn)擊配置代理

填寫(xiě)好相關(guān)代理信息

2.安裝證書(shū)

在瀏覽器輸入:

http://192.168.31.195:8888

點(diǎn)擊下載證書(shū)后,下面就開(kāi)始安裝(看圖操作

ok,這樣手機(jī)端就配置完成,下面開(kāi)始抓取數(shù)據(jù)!??!

三、抓取數(shù)據(jù)

1.打開(kāi)某乎app

2.查看數(shù)據(jù)包列表

打開(kāi)app之后,F(xiàn)iddler就已經(jīng)抓取到數(shù)據(jù)了

這里可以看到app發(fā)送和接收了哪些數(shù)據(jù)包

為了更加精準(zhǔn)定位到某乎(只看目標(biāo)的數(shù)據(jù)包),添加一個(gè)過(guò)濾條件

這樣我們獲取的數(shù)據(jù)包列表就都是過(guò)濾條件內(nèi)的目標(biāo)網(wǎng)址

3.查找數(shù)據(jù)包

比如點(diǎn)擊熱榜

對(duì)應(yīng)的https加密數(shù)據(jù)包如下:

數(shù)據(jù)包中的數(shù)據(jù)如下:

提取出url鏈接

https://api.zhihu.com/topstory/hot-list?limit=10reverse_order=0

拿到url之后,接著開(kāi)始編程爬取保存數(shù)據(jù)。

4.編寫(xiě)爬蟲(chóng)程序

# -*- coding: utf-8 -*-

ok這樣就可以將數(shù)據(jù)獲取下來(lái)!

四、總結(jié)

1.配置抓包工具Fiddler(重點(diǎn))。

2.ios蘋(píng)果手機(jī)配置證書(shū)和設(shè)置代理(安卓手機(jī)也類似)。

3.簡(jiǎn)單使用Fiddler(過(guò)濾數(shù)據(jù)包、查看數(shù)據(jù)包等)。

4.本文以某乎為實(shí)戰(zhàn),實(shí)現(xiàn)了python爬取手機(jī)app數(shù)據(jù)

到此這篇關(guān)于用Python爬取某乎手機(jī)APP數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python爬取APP數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Python自動(dòng)化爬取天眼查數(shù)據(jù)的實(shí)現(xiàn)
  • Python爬蟲(chóng)實(shí)戰(zhàn)之爬取京東商品數(shù)據(jù)并實(shí)實(shí)現(xiàn)數(shù)據(jù)可視化
  • Python爬蟲(chóng)之自動(dòng)爬取某車(chē)之家各車(chē)銷(xiāo)售數(shù)據(jù)
  • 教你如何使用Python快速爬取需要的數(shù)據(jù)
  • Python爬蟲(chóng)之爬取我愛(ài)我家二手房數(shù)據(jù)
  • python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說(shuō)網(wǎng)數(shù)據(jù)

標(biāo)簽:揚(yáng)州 南寧 楊凌 聊城 六盤(pán)水 牡丹江 迪慶 撫州

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《用Python爬取某乎手機(jī)APP數(shù)據(jù)》,本文關(guān)鍵詞  用,Python,爬取,某乎,手機(jī),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《用Python爬取某乎手機(jī)APP數(shù)據(jù)》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于用Python爬取某乎手機(jī)APP數(shù)據(jù)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    兴国县| 冀州市| 酒泉市| 吉木萨尔县| 鹰潭市| 新田县| 德安县| 全南县| 正镶白旗| 昔阳县| 平安县| 微山县| 台东县| 望谟县| 苏尼特左旗| 黄骅市| 临湘市| 滦平县| 诸城市| 景泰县| 潞城市| 慈利县| 招远市| 龙海市| 枞阳县| 承德县| 丹棱县| 界首市| 化德县| 南郑县| 扬中市| 会宁县| 高淳县| 隆子县| 庐江县| 西充县| 台北市| 梅河口市| 东阳市| 本溪市| 黄骅市|