日志数据杂乱？先从字段清洗开始
打开服务器日志文件时，很多人第一反应是头大。一行行密密麻麻的数据里夹着IP地址、时间戳、请求路径、状态码，还有各种莫名其妙的编码字符。比如你看到这样一串：
192.168.1.100 - - [15/Jan/2024:08:23:15 +0800] "GET /product?id=%E4%BA%A7%E5%93%81 HTTP/1.1" 200 1024 "-" "Mozilla/5.0"这里面的 %E4%BA%A7%E5%93%81 实际上就是“产品”两个字的URL编码。如果不处理，后续统计访问路径时就会多出一堆看不懂的记录。
拆分字段：把一整行掰开看
原始日志通常是一整行文本，第一步是按固定格式切分成独立字段。常见的Nginx或Apache日志使用空格和引号分隔，可以用正则表达式提取：
^([^ ]+) [^ ]+ [^ ]+ \[([^\]]+)\] "([^\"]+)" ([0-9]+) ([0-9]+)这条规则能抓出客户端IP、时间、请求方法与路径、状态码和响应大小。在Python里配合re模块跑一遍，原本混乱的一行就变成结构化的字典数据了。
清理异常编码：让中文正常显示
很多日志里的中文路径被URL编码过，直接看是乱码。这时候需要解码处理。例如上面的 %E4%BA%A7%E5%93%81，用Python的urllib.parse.unquote就能还原：
from urllib.parse import unquote
path_encoded = "/product?id=%E4%BA%A7%E5%93%81"
decoded_path = unquote(path_encoded) # 结果为 /product?id=产品这一步做完，再做页面访问排行时，“产品详情页”就不会被当成一堆特殊字符漏掉了。
过滤无效内容：去掉干扰项
日志里常混着爬虫、健康检查、测试请求这些非用户行为。比如某个接口每分钟被调用一次，来源是内部监控系统，这类记录如果不清除，会拉高接口访问量的统计值。可以通过User-Agent或IP段识别并过滤：
if user_agent.startswith("monitor-bot") or ip.startswith("10.0.0."):
continue # 跳过该条日志类似的还有404错误页面、静态资源请求（如.js、.css），根据分析目标决定是否保留。
标准化时间格式：统一时间基准
日志中的时间戳五花八门，有的带时区，有的不带。分析时必须统一成标准时间格式。比如把 [15/Jan/2024:08:23:15 +0800] 转成ISO格式的 2024-01-15T08:23:15，方便后续按小时聚合活跃趋势。
用Python的datetime.strptime配合strftime就能完成转换，注意处理时区偏移，避免出现时间错位。
补全缺失字段：别让空值影响分析
有些日志行可能缺少关键字段，比如User-Agent为空，或者状态码丢失。这种情况可以设置默认值填充，比如将空User-Agent标记为“unknown”，状态码缺失设为000。这样在可视化图表中也能体现异常情况的存在，而不是直接丢弃整条数据。