AWStats 对于整合来自多个服务器的访问日志非常有用

我是系统部的山田。
今天，我将讨论如何将分布在多个 Web 服务器上的 Apache 访问日志合并到一个日志文件中。

开始

前几天，我有机会分析某个网站的访问日志，
发现该网站在一个均衡的环境中存在于多个网络服务器上。

当然，每台服务器的访问日志都不一样。
这是一个运营了很久的网站，甚至连像fluentd这样高级的工具都没有安装。

由于需求比较紧急，我只想尽快将所有内容按时间顺序整合到一个文件中。然后
我找到了！我找到了一个很棒的工具！

"logresolvemerge.pl"

这是来自一款名为“awstats”的访问分析工具的脚本，这款工具最近不太常见了。
如今，“Google Analytics”是最知名的访问分析工具，但
我记得“awstats”以前很常用。（根据山田的研究）

你可以用它做以下事情：

该命令通过命令行运行 logresolvemerge，打开一个或多个
服务器日志文件并将它们合并（按日期排序），和/或执行反向
DNS 查询（如果需要）。合并后的日志文件将输出到标准输出。

logresolvemerge 是一个命令行工具，用于合并一个
或多个 Web 服务器日志文件（按日期排序），并
（可选）执行反向 DNS 查询。输出日志将打印到标准输出。（
来源： AWStats 日志文件分析器 7.5 文档）

哦！就是这里！

用法：logresolvemerge.pl [选项] file（仅按日期排序单个文件） logresolvemerge.pl [选项] file1 ... filen（按日期排序并合并多个文件） logresolvemerge.pl [选项] *.*（按日期排序并合并目录中的所有日志） perl logresolvemerge.pl [选项] *.* > newfile（按日期排序并合并目录中的所有日志，然后写入 newfile）选项：-dnslookup 对 IP 地址进行反向 DNS 查询（从 DNS 反向查找 IP 地址）-dnslookup=n 使用并行线程而不是串行请求执行相同的操作（使用 n 个并行线程运行 dnslookup）-dnscache=file 在进行网络查询之前，先从缓存文件进行 DNS 查询（在进行网络查询之前，先从缓存文件“file”执行 DNS 查询）-showsteps 每 8192 行在 stderr 上打印基准测试信息（每 8192 行在 stderr 上输出基准测试信息）-addfilenum 如果用于多个文件，可以在文件开头添加文件编号。-addfilename 如果用于多个文件，可以在输出文件的第一个字段中添加文件名。当日志文件来自多个负载均衡的计算机时，可以使用此选项添加集群 ID。-stoponfirsteof 当任何日志文件到达文件末尾时停止处理。 -printfields 对于 IIS 或 W3C 日志，在切换日志文件条目时，打印当前日志文件的最新字段头，以便解析器可以自动确定哪些字段可用。-ignoremissing 如果日志文件缺失，则不会失败。 

请注意，本工具不提供任何形式的担保，排序结果并不精确，且并非用于对单个文件进行排序。
由于是免费工具，如有任何问题，敬请谅解。

我们来试试吧

首先，安装

幸运的是，这台服务器已经安装了“awstats”，但
如果您的服务器上没有安装，请使用以下命令安装它。

cd /usr/src/ wget http://prdownloads.sourceforge.net/awstats/awstats-7.3.tar.gz tar zxvf awstats-7.3.tar.gz

如果你想用 yum 安装，请点击这里。（说实话，如果你只想使用 logresolvemerge.pl，我认为你只需要源代码。）

yum install --enablerepo=epel awstats

现在让我们实际使用这个工具。

日志整合

工作目录默认设置为 [/var/tmp]，但请根据需要进行更改。
*如果从源代码安装，则 awstats 的安装目录假定为“/usr/src/awstats-7.3”。
目前，我们假设必要的访问日志位于工作目录中。

让我们整合访问日志吧！

cd /var/tmp/ perl /usr/src/awstats-7.3/tools/logresolvemerge.pl web01-access_log web02-access_log > merged-access_log less merged-access_log

真是没想到！
顺便一提，awstats 工具目录中似乎还有很多其他工具。

maillogconvert.pl……将postfix、sendmail和qmail日志转换为人类可读的格式。urlaliasbuilder.pl……根据URL列表文件生成URL别名文件。

请随意参考！
将繁琐的日志分析等服务器管理工​​作您甚至可以