AWStats 对于集成来自多个服务器的访问日志非常有用
我是系统部的山田。
这次,我们将讨论如何将分布在多个 Web 服务器上的 Apache 访问日志合并为一个。
事情的开始
有一天,我要分析某个站点的访问日志,结果
发现在一个Web服务器平衡的环境中存在多个站点。
当然,每个服务器的访问日志都是不同的。
该网站已经存在很长时间了,甚至没有像 fluidd 这样好的工具。
因此,由于这是一个有点紧急的需求,我想快速将每个时间序列集成到一个文件中。
有。有。一个很好的工具。
“logresolvemerge.pl”
这是一个包含在名为“awstats”的访问分析工具中的脚本,我最近没有见过。
如今,说到访问分析,“Google Analytics”非常有名,但
我记得前一段时间,“awstats”被理所当然地使用。 (山田研究)
我想知道我能用这个做什么。
这会在命令行中运行 logresolvemerge 以打开一个或多个
服务器日志文件以合并它们(按日期排序)和/或进行反向
DNS 查找(如果要求)结果日志文件将在标准输出上发送。logresolvemerge 在命令行上工作,
合并一个或多个 Web 服务器日志文件(按日期排序)并
(可选)执行反向 DNS 查找。执行结果的日志内容输出到标准输出。
来源: AWStats 日志文件分析器 7.5 文档
哦!这个这个!
用法: logresolvemerge.pl [options] file(仅对一个文件进行日期排序) logresolvemerge.pl [options] file1 ... filen(对多个文件进行日期排序和合并) logresolvemerge.pl [options] *.*(对多个文件进行日期排序)多个文件(按日期排序并合并所有日志) perl logresolvemerge.pl [options] *.* > newfile (按日期排序并合并目录中的所有日志并写入 newfile) 选项: -dnslookup 对 IP 地址进行反向 DNS 查找 -dnslookup=n 与并行线程相同,而不是串行请求 -dnscache=file 在网络查找之前首先从缓存文件进行 DNS 查找(在网络查找之前从缓存文件“文件”执行 DNS 查找) -showsteps 每 8192 行打印一次 stderr 基准信息(每 8192 行输出 stderr 基准信息) -addfilenum 如果 -addfilename 如果与多个文件一起使用,则可以在输出文件的第一个字段中添加文件名 这可用于添加一个文件。当日志文件来自多台负载平衡计算机时的集群 ID -stoponfirsteof 当任何日志文件到达文件末尾时停止处理(到达多个文件中任意一个的最后一行时停止处理。) -printfields 对于 IIS 或 W3C 日志。 ,在日志文件条目之间切换时打印当前日志文件的最新字段标头,以便解析器可以自动确定哪些字段可用(对于 IIS 或 W3C 日志,输出最新的字段标头。)
作为警告,它指出“不能保证”、“排序不准确”以及“它不是用于对单个文件进行排序的工具。”
这是一个免费工具,因此如果您遇到任何问题,请不要生气。
我们来试试吧
首先,安装
幸运的是,该服务器上安装了“awstats”,但
如果您的服务器上没有安装它,请使用以下命令安装它。
cd /usr/src/ wget http://prdownloads.sourceforge.net/awstats/awstats-7.3.tar.gz tar zxvf awstats-7.3.tar.gz
如果您想使用 yum 安装,请单击此处。 (说实话,如果你只想使用 logresolvemerge.pl,我认为你可以只使用源代码。)
yum install --enablerepo=epel awstats
现在让我们实际使用该工具。
日志集成
工作目录设置为[/var/tmp],但请根据情况进行更改。
*当作为源输入时,awstats 的安装目录为“/usr/src/awstats-7.3”。
现在,我们假设必要的访问日志放置在工作目录中。
开始了!访问日志集成!
cd /var/tmp/ perl /usr/src/awstats-7.3/tools/logresolvemerge.pl web01-access_log web02-access_log > merged-access_log 少 merged-access_log
我的天啊!
顺便说一句,awstats 工具目录下似乎还有各种其他工具。
maillogconvert.pl … 将 postfix、sendmail 和 qmail 日志转换为人类可读的格式 urlaliasbuilder.pl … 从 URL 列表文件生成 URL 别名文件
喜欢的话请作为参考!
您可以放弃涉及麻烦的日志分析的服务器管理