AWStats 对于集成来自多个服务器的访问日志非常有用

我是系统部的山田。
这次，我将讲解如何将分布在多个Web服务器上的Apache访问日志合并到一个日志中。

开始

前几天，我需要分析某个网站的访问日志，
该网站在均衡的环境中拥有多个 Web 服务器。

当然，每台服务器的访问日志都不一样。
这是一个非常老的网站，甚至连像fluentd这样的高级工具都没有安装。

由于需求比较紧急，我希望尽快将数据按时间顺序整合到一个文件中。
我找到了！我找到了！一个很棒的工具！

"logresolvemerge.pl"

这是访问分析工具“awstats”中的一段脚本，该工具最近已不太常用。
如今，“Google Analytics”是最知名的访问分析工具，但我
记得不久前，“awstats”还很常用。（山田的研究）

你可以用它做以下事情：

该命令通过命令行运行 logresolvemerge，打开一个或多个
服务器日志文件并将它们合并（按日期排序），和/或执行反向
DNS 查询（如果需要）。合并后的日志文件将输出到标准输出。

logresolvemerge 在命令行运行，
合并一个或多个 Web 服务器日志文件（按日期排序），并
（可选）进行 DNS 反向查找。合并后的日志输出到标准输出。
来源： AWStats 日志文件分析器 7.5 文档

哦！就是这里！

用法：logresolvemerge.pl [选项] file（仅按日期排序单个文件） logresolvemerge.pl [选项] file1 ... filen（按日期排序并合并多个文件） logresolvemerge.pl [选项] *.*（按日期排序并合并目录中的所有日志） perl logresolvemerge.pl [选项] *.* > newfile（按日期排序并合并目录中的所有日志，然后写入 newfile）选项：-dnslookup 对 IP 地址进行反向 DNS 查询（从 DNS 反向查找 IP 地址）-dnslookup=n 使用并行线程而不是串行请求执行相同的操作（使用 n 个并行线程运行 dnslookup）-dnscache=file 在进行网络查询之前，先从缓存文件进行 DNS 查询（在进行网络查询之前，先从缓存文件“file”执行 DNS 查询）-showsteps 每 8192 行在 stderr 上打印基准测试信息（每 8192 行在 stderr 上输出基准测试信息）-addfilenum 如果用于多个文件，可以在文件开头添加文件编号。-addfilename 如果用于多个文件，可以在输出文件的第一个字段中添加文件名。当日志文件来自多个负载均衡的计算机时，可以使用此选项添加集群 ID。-stoponfirsteof 当任何日志文件到达文件末尾时停止处理。 -printfields 对于 IIS 或 W3C 日志，在切换日志文件条目时，打印当前日志文件的最新字段头，以便解析器可以自动确定哪些字段可用。-ignoremissing 如果日志文件缺失，则不会失败。 

需要注意的是，它声明“不保证一定有效”、“排序并不严格”以及“它并非用于对单个文件进行排序”。
这是一个免费工具，所以如果出现任何问题，请不要生气。

我们来试试吧

首先，安装

幸运的是，这台服务器已经安装了“awstats”，但
如果您的服务器上没有安装，请使用以下命令安装它。

cd /usr/src/ wget http://prdownloads.sourceforge.net/awstats/awstats-7.3.tar.gz tar zxvf awstats-7.3.tar.gz

如果你想用 yum 安装，请点击这里。（说实话，如果你只想使用 logresolvemerge.pl，我认为你只需要源代码。）

yum install --enablerepo=epel awstats

现在让我们实际使用这个工具。

日志整合

工作目录已设置为 [/var/tmp]，但请根据需要进行更改。
*如果您是从源代码安装的 awstats，则其安装目录设置为“/usr/src/awstats-7.3”。
目前，我们假设必要的访问日志位于工作目录中。

让我们整合访问日志吧！

cd /var/tmp/ perl /usr/src/awstats-7.3/tools/logresolvemerge.pl web01-access_log web02-access_log > merged-access_log less merged-access_log

顺便
说一下，AWStats 工具目录下似乎还有很多其他工具。

maillogconvert.pl……将postfix、sendmail和qmail日志转换为人类可读的格式。urlaliasbuilder.pl……根据URL列表文件生成URL别名文件。

请随意参考！
繁琐的服务器管理和日志分析工作就交给