Python爬虫怎么抓取需要登录的网站_使用浏览器Cookie缓存实现
浏览器Cookie不能直接复制使用,因校验SameSite、HttpOnly等;应通过browsercookie3读取并解密本地Cookie数据库,再用requests.Session自动管理会话更新。
登录后怎么把浏览器 Cookie 传给 Python 请求
直接拿浏览器开发者工具里复制的 Cookie 字符串发请求,大概率会失败——网站通常校验 SameSite、HttpOnly 标志,或绑定 user-agent 和 TLS 指纹。更可靠的做法是复用浏览器当前会话的 Cookie 缓存,而不是手动拼接。
核心思路:让 Python 的 requests 使用和浏览器一致的 Cookie 存储路径(如 Chrome 的 Default/Cookies SQLite 文件),读取已登录态的加密 Cookie。
- Chrome / Edge 用户:Cookie 存在
%LOCALAPPDATA%\Google\Chrome\User Data\Default\Cookies(Windows)或~/Library/Application Support/Google/Chrome/Default/Cookies(macOS) - 需要先关闭对应浏览器进程(否则 SQLite 被锁,读取失败)
- Cookie 值是 AES 加密的(Windows 用 DPAPI,macOS 用 Keychain,Linux 用 libsecret),不能直接读明文;必须调用系统 API 解密
- 推荐用
browsercookie3库自动处理解密逻辑,它已封装各平台适配
用 browsercookie3 自动提取已登录 Cookie
browsercookie3 是目前最省心的方案,它不依赖 Selenium,也不抓包,纯读取本地 Cookie 数据库并解密。安装后一行代码就能拿到带登录态的 requests.Session。
实操步骤:
- 运行
pip install browsercookie3 - 确保目标网站已在 Chrome(或 Firefox/Edge)中完成登录且未退出
- 关闭所有 Chrome 窗口(包括后台进程,可在任务管理器里确认
chrome.exe是否还存在) - Python 中这样用:
import requests import browsercookie3自动读取 Chrome 的登录 Cookie(支持 Firefox/Edge 需指定函数名)
cj = browsercookie3.chrome() # 或 browsercookie3.firefox()
session = requests.Session() session.cookies.update(cj)
现在发请求就带着有效登录态
resp = session.get("https://www.kunjuke.com/link/fad68ee497f1cf9108b630e7ce630e6c") print(resp.status_code) # 200 表示成功
requests.Session 为什么比 requests.get 更关键
很多新手直接对每个 requests.get(url, cookies=...) 单独传 Cookie,这会丢失会话维持所需的动态字段(比如 _xsrf、sessionid 更新、重定向跳转中的 Cookie 合并)。网站登录态往往依赖多轮响应头里的 Set-Cookie 自动更新。
-
requests.Session()会自动管理 Cookie jar,接收服务端返回的Set-Cookie并合并进后续请求 - 手动传
cookies=参数是“只读”行为,不会更新,下次请求仍用旧值 - 尤其注意:某些网站登录后会立即跳转(302),再返回新 Cookie;不用 Session 就抓不到这个关键更新
常见失败原因和绕过技巧
即使 Cookie 正确,也可能返回 403 或跳回登录页——这不是 Cookie 无效,而是服务端做了额外校验。
- 检查请求头是否缺失
User-Agent:Chrome 默认值和requests默认值不同,加一句session.headers.update({"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..."}) - 某些网站校验
Referer:比如从/login跳转到/dashboard,首次请求需带Referer: https://example.com/login - JavaScript 渲染的 Token(如
__RequestVerificationToken)无法从 Cookie 获取,得先 GET 登录页,用BeautifulSoup提取隐藏字段再 POST - 如果网站用 Cloudflare 或 Akamai,光有 Cookie 不够,还需模拟完整浏览器指纹(这时就得上
playwright或undetected-chromedriver)
真正难的不是“怎么传 Cookie”,而是识别哪些字段是静态缓存的、哪些是每次请求动态生成的、哪些校验根本绕不过去——得看响应头、Network 面板里的真实请求链路,而不是只盯着登录按钮点一下就完事。
