Python爬虫怎么抓取需要登录的网站_使用浏览器Cookie缓存实现

浏览器Cookie不能直接复制使用,因校验SameSite、HttpOnly等;应通过browsercookie3读取并解密本地Cookie数据库,再用requests.Session自动管理会话更新。

登录后怎么把浏览器 Cookie 传给 Python 请求

直接拿浏览器开发者工具里复制的 Cookie 字符串发请求,大概率会失败——网站通常校验 SameSiteHttpOnly 标志,或绑定 user-agent 和 TLS 指纹。更可靠的做法是复用浏览器当前会话的 Cookie 缓存,而不是手动拼接。

核心思路:让 Python 的 requests 使用和浏览器一致的 Cookie 存储路径(如 Chrome 的 Default/Cookies SQLite 文件),读取已登录态的加密 Cookie。

  • Chrome / Edge 用户:Cookie 存在 %LOCALAPPDATA%\Google\Chrome\User Data\Default\Cookies(Windows)或 ~/Library/Application Support/Google/Chrome/Default/Cookies(macOS)
  • 需要先关闭对应浏览器进程(否则 SQLite 被锁,读取失败)
  • Cookie 值是 AES 加密的(Windows 用 DPAPI,macOS 用 Keychain,Linux 用 libsecret),不能直接读明文;必须调用系统 API 解密
  • 推荐用 browsercookie3 库自动处理解密逻辑,它已封装各平台适配

用 browsercookie3 自动提取已登录 Cookie

browsercookie3 是目前最省心的方案,它不依赖 Selenium,也不抓包,纯读取本地 Cookie 数据库并解密。安装后一行代码就能拿到带登录态的 requests.Session

实操步骤:

  • 运行 pip install browsercookie3
  • 确保目标网站已在 Chrome(或 Firefox/Edge)中完成登录且未退出
  • 关闭所有 Chrome 窗口(包括后台进程,可在任务管理器里确认 chrome.exe 是否还存在)
  • Python 中这样用:
import requests
import browsercookie3

自动读取 Chrome 的登录 Cookie(支持 Firefox/Edge 需指定函数名)

cj = browsercookie3.chrome() # 或 browsercookie3.firefox()

Python爬虫怎么抓取需要登录的网站_使用浏览器Cookie缓存实现
AlibabaWOOD

阿里巴巴打造的多元电商视频智能创作平台

下载

session = requests.Session() session.cookies.update(cj)

现在发请求就带着有效登录态

resp = session.get("https://www.kunjuke.com/link/fad68ee497f1cf9108b630e7ce630e6c") print(resp.status_code) # 200 表示成功

requests.Session 为什么比 requests.get 更关键

很多新手直接对每个 requests.get(url, cookies=...) 单独传 Cookie,这会丢失会话维持所需的动态字段(比如 _xsrfsessionid 更新、重定向跳转中的 Cookie 合并)。网站登录态往往依赖多轮响应头里的 Set-Cookie 自动更新。

  • requests.Session() 会自动管理 Cookie jar,接收服务端返回的 Set-Cookie 并合并进后续请求
  • 手动传 cookies= 参数是“只读”行为,不会更新,下次请求仍用旧值
  • 尤其注意:某些网站登录后会立即跳转(302),再返回新 Cookie;不用 Session 就抓不到这个关键更新

常见失败原因和绕过技巧

即使 Cookie 正确,也可能返回 403 或跳回登录页——这不是 Cookie 无效,而是服务端做了额外校验。

  • 检查请求头是否缺失 User-Agent:Chrome 默认值和 requests 默认值不同,加一句 session.headers.update({"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..."})
  • 某些网站校验 Referer:比如从 /login 跳转到 /dashboard,首次请求需带 Referer: https://example.com/login
  • JavaScript 渲染的 Token(如 __RequestVerificationToken)无法从 Cookie 获取,得先 GET 登录页,用 BeautifulSoup 提取隐藏字段再 POST
  • 如果网站用 Cloudflare 或 Akamai,光有 Cookie 不够,还需模拟完整浏览器指纹(这时就得上 playwrightundetected-chromedriver

真正难的不是“怎么传 Cookie”,而是识别哪些字段是静态缓存的、哪些是每次请求动态生成的、哪些校验根本绕不过去——得看响应头、Network 面板里的真实请求链路,而不是只盯着登录按钮点一下就完事。

相关推荐:

Cloudflare 细化网络爬虫屏蔽管理,将默认禁止 AI 代理与训练爬虫访问广告页面

7月2日消息,互联网基础服务企业Cloudflare当地时间1日宣布细化网络爬虫屏蔽管理,根据其行为对爬虫机器人赋予搜索、代理(智能体)、训练等一系列标签,并计划在2026年9月15日默认禁止AI代理与训练爬虫访问含广告的网页。Cloudflare表示,大多数网站所有者都希望自己的内容既能够被人工智...

AI 芯片新创 Etched 完成流片:低电压提升实际算力表现,SRAM + HBM 缓存

7月1日消息,AI芯片初创企业Etched当地时间昨日宣布其推理加速器芯片完成A0步进流片和首批机架构建。该企业获得超10亿美元订单和8亿美元B轮融资,首批机架产品预计2026年夏天出货。Etched表示,现有AI芯片在高负载下会产生大量废热,引发频率下降,最终导致实际的推理吞吐量仅有理论峰值的一半...

大地视频app电视剧缓存方法

大地视频app如何下载电视剧,用户在本站下载安装好软件,点击手机桌面图标,打开大地视频,比如小编随机点击一部剧,点击下载,点击我们想要缓存的集数即可。 大地视频app电视剧缓存方法: 1.打开大地视频,比如小编随机点击一部剧。 2.点击下载。 3.点击我们想要缓存的集数即可。 以上就是小编整理带来的...

酷狗大字版app歌曲缓存教程

酷狗大字版app怎么下载歌曲,在本站下载安装好的软件,在音乐界面找到并点击红色方框内的选项,在弹出的信息框中找到并点击“下载”选项,然后,继续选择下载类型之后就开始下载了。 酷狗大字版app歌曲缓存教程: 1、首先,打开在本站下载安装好的软件,在音乐界面找到并点击红色方框内的选项; 2、在弹出的信息...

腾讯云下调DeepSeekV4系列模型调用价,缓存费用最高降幅达97.5%

【昆居客快讯】腾讯云今日正式宣布,自明日零时起,将对deepseekv4系列大模型的api调用资费结构进行优化调整,涉及推理输入、推理输出以及缓存命中三项核心计费维度。 ☞☞☞AI智能聊天,问答助手,AI智能搜索,多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜ 依据最新定价策略,DeepSeek-...
· AI · 188969

小书包app如何清理缓存

在使用小书包app的过程中,随着使用时间增长,缓存数据会不断累积,逐渐占用大量手机存储空间,进而拖慢设备整体运行效率。无需焦虑,接下来就为你详细介绍如何高效清除小书包app缓存,助你的手机轻装上阵,操作更顺滑、体验更畅快。 清理缓存前的准备工作 请先确认手机已接入稳定网络环境,并确保小书包App已升...