Python异步爬虫如何应对封IP_结合asyncio与代理池实现轮询请求
asyncio.run()仅适用于单次顶层协程启动，爬虫主循环需用run_until_complete或while True+sleep；代理接入需区分HTTP/HTTPS/SOCKS5，配合Connector限流、Semaphore控制并发，并通过响应头精准识别封禁后分级降级。
asyncio.run() 里直接跑爬虫会卡死？别这么用
异步爬虫启动点错了，整个请求队列就卡在第一个 await 上不动——不是代码逻辑错，是事件循环没管住生命周期。
常见错误现象：RuntimeError: asyncio.run() cannot be called from a running event loop，或者请求发出去后程序秒退、没等响应就结束。
- 用
asyncio.run()只能调用一次顶层协程，适合脚本式启动；爬虫主循环（比如无限轮询代理+请求）得自己用asyncio.get_event_loop().run_until_complete()或封装成while True:+await asyncio.sleep() - 别在
asyncio.run()里嵌套另一个asyncio.run()，会爆循环嵌套错误 - 如果用
aiohttp，记得给ClientSession加timeout参数，否则 DNS 卡住或目标无响应时整个协程就挂起
代理池怎么接进 aiohttp 的 request 流程？
不是把代理 URL 塞进 proxy 参数就完事了；aiohttp 对 HTTP/HTTPS 代理支持不同，且不自动重试失效代理。
使用场景：每轮请求从代理池取一个可用代理，失败后换下一个，避免单点封禁扩散到全量请求。
-
aiohttp.ClientSession的proxy参数只接受字符串，如"http://user:pass@1.2.3.4:8080"；若代理需认证但没带用户信息，会直接报407 Proxy Authentication Required - HTTP 代理可直接用
proxy="http://..."；HTTPS 目标地址下，HTTP 代理仍可工作（aiohttp 默认走隧道），但 SOCKS5 代理必须用aiohttp-socks第三方库 - 别在每次
session.get()都新建ClientSession，开销大还容易触发连接数限制；代理切换应在 session 层外做，比如封装一个get_with_proxy()函数，内部按需传入proxy=...
轮询代理时遇到 “Too many open files” 错误怎么办？
这不是磁盘文件问题，是操作系统对单进程打开 socket 连接数的硬限制被 async 爬虫暴力突破了。
ARTi.PiCS
ARTi.PiCS是一款由AI驱动的虚拟头像生产器，可以生成200多个不同风格的酷炫虚拟头像
性能影响明显：并发设 100，实际可能只建出 30 多个有效连接，其余全卡在 ConnectionRefusedError 或超时。
- Linux 下用
ulimit -n查当前限制，默认常为 1024；临时调高用ulimit -n 65535，但要同步改/etc/security/limits.conf才持久 - aiohttp 的
Connector必须显式限制并发数：aiohttp.TCPConnector(limit=50, limit_per_host=10)，否则默认不限，疯建连接 - 代理池本身也要限流：别一上来就把 500 个代理全扔进 asyncio.gather，用
asyncio.Semaphore(20)包一层，控制同时验证/使用的代理数量
封IP后如何让请求自动降级到备用策略？
单纯换代理不够——有些站点封的是行为指纹（如 User-Agent 频率、请求间隔、JS 渲染缺失），代理只是第一道防线。
容易踩的坑：把所有“非 200”都当成 IP 被封，结果把 429 Too Many Requests、503 Service Unavailable 也一股脑切代理，反而加速触发风控。
- 优先检查响应头：
response.headers.get("X-Banned")或response.url.path == "/blocked"这类自定义封禁标识，比状态码更准 - 对同一 IP（或代理），连续 3 次返回
403或空 body +text/html且含 “check browser” 字样，才标记该代理失效 - 降级顺序建议：换代理 → 加随机 delay（
asyncio.sleep(random.uniform(1.5, 4.0))）→ 换User-Agent→ 最后考虑暂停该代理 5 分钟（用字典记录 last_used 时间戳）
真实环境里，代理质量波动、目标站反爬策略更新、DNS 解析抖动，三者叠加时最容易漏判。轮询逻辑里留一手日志钩子——比如把每次请求的 proxy、status、elapsed、body_len 打点记录，比死盯控制台报错有用得多。