Selenium获取浏览器Network数据包

一.概述

我们有时候在爬取jsp动态网站时,发现爬取的数据是不完整的。这时候我们就要获取浏览器F12里面的Network数据包,这样才能得到完整的数据。下面我们用python的Selenium模块配合Browsermob-Proxy抓取Network数据包。


二.环境

1.python3.10

2.pycharm2021.1

3.Browsermob-Proxy2.1.4

1
2
下载地址:
https://github.com/lightbody/browsermob-proxy/releases/tag/browsermob-proxy-2.1.4

4.Chrome和对应版本的chromedriver.exe


三.爬取

1.使用百度搜索python,查看network包

2.我们一般是要拿url和response部分

3.我们上代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
import time
import json
import re
import requests
from browsermobproxy import Server
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def main():
# 开启代理
BMPserver = Server(r'.\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
BMPserver.start()
BMPproxy = BMPserver.create_proxy()

# 配置代理启动webdriver
chrome_options = Options()
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--proxy-server={}'.format(BMPproxy.proxy))
# 隐藏窗口
# chrome_options.add_argument("--headless")
# chrome_options.add_argument(
# '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36')
# chrome_options.add_argument('--no-sandbox')
# chrome_options.add_argument('--disable-gpu')
# chrome_options.add_argument('--disable-dev-shm-usage')
brosver = webdriver.Chrome(options=chrome_options)

# 获取返回内容
url = "https://www.baidu.com/"
BMPproxy.new_har("video",options={'captureContent': True,'captureContent': True})

# 模拟浏览器
brosver.get(url)
brosver.find_element_by_xpath('//*[@id="kw"]').send_keys("python")
brosver.find_element_by_xpath('//*[@id="su"]').click()

json_data = BMPproxy.har
#将json数据存储到本地
#result_json = json.dumps(json_data,indent=4)
#with open("baidu.json", "w", errors="igone") as f:
#f.write(result_json)

for entry in json_data['log']['entries']:
# 根据URL找到数据接口
entry_url = entry['request']['url']
# 获取接口返回内容
print(entry_url)
main()

​ 这里是通过browsermob-proxy进行代理,抓取network数据包,工作原理和fiddler差不多。抓到的数据会以json格式输出,然后通过循环把需要的内容(url、response)打印出来

4.json文件格式

5.上面代码输出结果

6.同理,改变参数可以获取其他数据。在这里我们会发现response部分进行了编码,但是不影响,当你用python打印出来的时候,它会自动解码。

-------------end    感谢您的阅读-------------