Selenium获取浏览器Network数据包

一.概述

我们有时候在爬取jsp动态网站时，发现爬取的数据是不完整的。这时候我们就要获取浏览器F12里面的Network数据包，这样才能得到完整的数据。下面我们用python的Selenium模块配合Browsermob-Proxy抓取Network数据包。

二.环境

1.python3.10

2.pycharm2021.1

3.Browsermob-Proxy2.1.4

1 2	下载地址： https://github.com/lightbody/browsermob-proxy/releases/tag/browsermob-proxy-2.1.4

4.Chrome和对应版本的chromedriver.exe

三.爬取

1.使用百度搜索python，查看network包

2.我们一般是要拿url和response部分

3.我们上代码。

import time
import json
import re
import requests
from browsermobproxy import Server
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def main():
    # 开启代理
    BMPserver = Server(r'.\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
    BMPserver.start()
    BMPproxy = BMPserver.create_proxy()

    # 配置代理启动webdriver
    chrome_options = Options()
    chrome_options.add_argument('--ignore-certificate-errors')
    chrome_options.add_argument('--proxy-server={}'.format(BMPproxy.proxy))
    # 隐藏窗口
    # chrome_options.add_argument("--headless")
    # chrome_options.add_argument(
    #     '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36')
    # chrome_options.add_argument('--no-sandbox')
    # chrome_options.add_argument('--disable-gpu')
    # chrome_options.add_argument('--disable-dev-shm-usage')
    brosver = webdriver.Chrome(options=chrome_options)

    # 获取返回内容
    url = "https://www.baidu.com/"
    BMPproxy.new_har("video",options={'captureContent': True,'captureContent': True})

    # 模拟浏览器
    brosver.get(url)
    brosver.find_element_by_xpath('//*[@id="kw"]').send_keys("python")
    brosver.find_element_by_xpath('//*[@id="su"]').click()

    json_data = BMPproxy.har
    #将json数据存储到本地
    #result_json = json.dumps(json_data,indent=4)
    #with open("baidu.json", "w", errors="igone") as f:
        #f.write(result_json)
    
    for entry in json_data['log']['entries']:
        # 根据URL找到数据接口
        entry_url = entry['request']['url']
        # 获取接口返回内容
        print(entry_url)
main()