·
编程学习 ·
189933
nginx访问量统计
0.查询某个时间段的日志
cat appapi.dayutang.cn.access.log |grep \'POST\'|grep \'2019:10\' > 20191059.log
1.根据访问IP统计UV
awk \'{print $1}\' 20190959.log|sort | uniq -c |wc -l
2.统计访问URL统计PV
awk \'{print $8}\' 20190959.log|wc -l
3.查询访问最频繁的URL
awk \'{print $8}\' 20190959.log|sort | uniq -c |sort -n -k 1 -r|more
4.查询访问最频繁的IP
awk \'{print $1}\' 20190959.log|sort | uniq -c |sort -n -k 1 -r|more
5.根据时间段统计查看日志
cat 20190959.log| sed -n \'/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p\'|more
6.查询每秒请求
awk \'{print $4}\' 20190959.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100
最直接用scipy.stats.chi2_contingency做卡方检验:输入2×2列联表(如[[a_converted,a_not_converted],[b_converted,b_not_converted]]),自动返回卡方值、p值、自由度和期望频数;注意每格期望频数≥5,否则改用fish...
直接用Counter读完整文件会内存爆炸,因为open(file).read().split()先将整个文件加载进内存再切词;应逐行或分块读取并用update()增量更新,避免一次性加载和重建字典。 为什么直接用Counter读完整文件会内存爆炸? 因为Counter本身不负责分块或流式处理——你传...
SQLAlchemy中N+1查询源于relationship默认lazy='select',实操应优先用joinedload或selectinload优化,并通过SQL日志、EXPLAIN分析、索引检查及合理session管理来根治。 SQLAlchemy里relationship默认懒加载,一查列...
Django适合中型业务系统,因其开箱即用的admin、ORM、auth等组件;Flask适合轻量、嵌入式或高度定制场景,如微服务或IoT网关。 什么时候该用Django而不是Flask 如果你要快速上线一个带用户管理、后台编辑、数据库迁移、API和权限控制的中型业务系统,Django是更省力的选择...
pytube因youtube后端接口变更频繁触发http400错误,根本原因在于其请求结构已过时;升级至最新版可临时缓解,但长期推荐迁移到维护更活跃、兼容性更强的yt-dlp或pytubefix。 pytube因youtube后端接口变更频繁触发http400错误,根本原因在于其请求结构已过时;升级...
pytube因youtube后端接口变更频繁触发http400错误,本质是请求结构失效;升级至最新版pytube可快速修复,但长期应转向更活跃维护的替代方案(如pytubefix或yt-dlp)并增强错误处理机制。 pytube因youtube后端接口变更频繁触发http400错误,本质是请求结构失...
PySAL与geopandas组合是地理感知聚类的务实选择,能尊重地球曲率、构建空间权重、识别空间自相关;sklearn直接对经纬度聚类会因纬度差异导致距离失真,结果不可解释。 PySAL和geopandas的组合,是做真正地理感知聚类(而非简单把经纬度当平面坐标扔进sklearn.DBSCAN)的...
本文介绍如何在Pandas中基于多条件过滤(如colC>0且colB属于指定集合),按colA分组统计colB的唯一值个数,并仅保留计数大于2的分组,最终导出对应原始数据子集。 本文介绍如何在pandas中基于多条件过滤(如`colc>0`且`colb`属于指定集合),按`cola`分组...