Python怎么批量查IP_多线程并发查询海量IP网络归属地运营商并导出到CSV
应使用 ThreadPoolExecutor(max_workers=10–20) 控制并发，避免直接创建大量线程；优先选用 ipapi.co 或 ipinfo.io 等稳定 API 并设置 timeout 和重试；CSV 导出采用流式写入并规范编码与空值处理。
用 concurrent.futures.ThreadPoolExecutor 控制并发数，别直接开几百个线程
Python 默认的 threading 没有内置并发数限制，一上来就 for ip in ips: Thread(...).start() 容易把系统拖慢、触发 API 限流甚至被封 IP。真实场景下，10–50 个线程足够压满大多数 HTTP 查询瓶颈，再往上吞吐不增反降。
实操建议：
- 用
ThreadPoolExecutor(max_workers=20)稳住并发节奏，max_workers建议从 10 试起，观察 CPU/网络占用和响应延迟 - 每个线程内必须加
try/except包住请求逻辑，否则一个失败会中断整个线程池 - 避免在
submit()里传入未序列化的对象（比如带 socket 或文件句柄的类实例），只传纯数据和函数 - 别用
map()直接喂大列表——内存扛不住；改用as_completed()流式收结果
选对 API：优先用 ipapi.co 或 ipinfo.io，别硬啃 ip-api.com 免费版
ip-api.com 免费接口每分钟 45 次请求，超限返回 403 Forbidden，且不支持 HTTPS 批量头，实际跑批量时大概率卡死。而 ipapi.co 免费档允许 1000 次/天（需注册拿 token），返回字段全、结构稳定；ipinfo.io 则连 token 都不用，但每小时限 50000 次，IP 多了也得自己控速。
实操建议：
- 调用前拼 URL 要严格：比如
https://ipapi.co/{ip}/json/，别漏斜杠或大小写错成/JSON/ - 务必加
timeout=(3, 7)（连接 3 秒，读取 7 秒），防止某个 IP 死等拖垮整批 - 对空响应或
429 Too Many Requests，要 sleep 随机秒数再重试，别固定等 1 秒 - 拿到 JSON 后先检查
response.get('country_name')是否为None，有些 IP（如内网、保留段）根本没归属地
导出 CSV 用 csv.writer 写行，别用 pandas.DataFrame.to_csv 加载全量内存
查 10 万 IP 的结果如果全塞进 DataFrame 再一次性 to_csv，内存轻松破 2GB，还容易因某列类型推断错导致编码异常（比如把 "CN" 当数字转成 NaN）。而流式写 CSV 只占几 MB 内存，且可控格式。
AI帮个忙
多功能AI小工具，帮你快速生成周报、日报、邮、简历等
下载
实操建议：
- 打开文件用
open(... , newline='')，Windows 下漏newline=''会导致空行 - 用
writer.writerow([ip, data.get('country_name', ''), data.get('org', '')])显式控制字段顺序和空值填充 - 别在循环里反复
open(..., 'a')追加——磁盘 IO 拖垮性能；一次性打开写入 - 中文字段导出前确认终端或 Excel 能识别 UTF-8 BOM，必要时开头写
\ufeff
处理异常 IP 和网络抖动：记录失败日志比抛错更重要
海量 IP 里总有私有地址（10.0.0.0/8）、保留地址（0.0.0.0、127.0.0.1）、超长响应或 DNS 解析失败，这些不是代码 bug，是数据常态。硬抛错会让整批中断，而静默跳过又没法回溯问题源头。
实操建议：
- 单独开个
failed.log文件，每行记f"{ip}\t{error_type}\t{str(e)}"，用 tab 分隔方便后续awk或 Excel 查看 - 对
socket.gaierror（DNS 失败）和requests.exceptions.ConnectionError区分对待：前者可跳过，后者可能需换代理或重试 - 最终 CSV 里失败的 IP 行不要留空字段，统一填
"N/A"或"INVALID"，避免下游解析误判为缺失值 - 跑完后用
grep -c "N/A" output.csv快速估算失败率，超过 5% 就该查是不是并发太高或 API 凭证失效了
事情说清了就结束。真正卡住你的往往不是语法，而是并发节奏没控好、API 返回字段没兜底、CSV 写法和编码混在一起——这三处一错，跑一晚上也白搭。