使用Python解析nginx日志文件

项目的一个需求是解析nginx的日志文件。
简单的整理如下:


日志规则描述

首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式:

其中一条真实记录样例如下:

其中,客户端型号信息用XXXXXXX代替。

项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下:

并且所有的日志文件存放在统一路径下。

解决思路


获取所有日志文件path

这里使用Python的glob模块来获取日志文件path

获取日志文件中每一行的内容

使用Python的linecache模块来获取文件行的内容

注意:linecache模块使用了缓存,所以存在以下问题:

  1. 在使用linecache模块读取文件内容以后,如果文件发生了变化,那么需要使用linecache.updatecache(filename)来更新缓存,以获取最新变化。
  2. linecache模块使用缓存,所以会耗费内存,耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。

当然,作为优化,这里可以利用生成器来进行优化。暂且按下不表。

处理日志条目

一条日志信息就是一个特定格式的字符串,因此使用正则表达式来解析,这里使用Python的re模块。
下面,一条一条建立规则:

规则

解析

这样,就可以得到日志条目中各个要素的原始数据。


格式及内容转化

得到日志原始数据之后,需要根据业务要求,对原始数据进行格式及内容转化。
这里需要处理的内容包括:时间,request,userAgent

时间格式转化

在日志信息原始数据中存在Dec这样的信息,利用Python的time模块可以方便的进行解析

解析request

在日志信息原始数据中得到的request的内容格式为:

这里只需要根据协议取出XXXXXX即可。
这里仍然采用Python的re模块

接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码,然后再利用struct模块解构内容:

解析userAgent

在日志信息原始数据中userAgent数据的格式为:

根据业务要求,只需要取出最后一项即可。
这里采用re模块来解析。


至此,nginx日志文件解析基本完成。
剩下的工作就是根据业务需要,对获得的基本信息进行处理。
(完)

 

1 2 收藏 评论

相关文章

可能感兴趣的话题



直接登录
跳到底部
返回顶部