【大阪 / 横浜 / 徳島】インフラ / サーバーサイドエンジニア募集中!

【大阪 / 横浜 / 徳島】インフラ / サーバーサイドエンジニア募集中!

【導入実績 500社以上】AWS 構築・運用保守・監視サービス

【導入実績 500社以上】AWS 構築・運用保守・監視サービス

【CentOS 後継】AlmaLinux OS サーバー構築・移行サービス

【CentOS 後継】AlmaLinux OS サーバー構築・移行サービス

【WordPress 専用】クラウドサーバー『ウェブスピード』

【WordPress 専用】クラウドサーバー『ウェブスピード』

【fluentd】IDCFのオブジェクトストレージに投げるのにハマった話

インフラエンジニアの指原です。

先日IDCFさんの環境でサーバを構築する機会があり、その時にオブジェクトストレージにログを格納するというのがあったんですが、ドハマりしたのでその時のメモです。

構成はこんな感じ

APIサーバ(fluentd) ⇒ log集約サーバ(fluentd) ⇒ オブジェクトストレージ

一般的な構成だと思います。

最初の設定

IDCFさんの公式に手順があったので、それを参考に設定を進めていました。

S3互換のストレージなのでfluent-s3-pluginを使用しています。

初めの設定はこんな感じ

1
2
3
4
5
6
7
8
9
10
11
12
13
<store>
   type s3
   aws_key_id XXXXXXXXXXXXXXXXXXXX
   aws_sec_key XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
   s3_bucket bucket_name
   check_apikey_on_start false
   s3_object_key_format %{path}%{time_slice}_%{index}.%{file_extension}
   path logs/
   buffer_path /var/log/fluent/idcf/buffer/
   flush_interval 60s
   time_slice_format %Y%m%d/%Y%m%d-%H
</store>

ただなぜかオブジェクトストレージにアップロードされない。。

バッファファイルの作成は問題なし

エラーを調べてみてもよくわからず・・・

かなりハマりました・・・

 

答えはfluent-plugin-s3のドキュメントに書いてあった

fluent-plugin-s3のgithubに書いてありました。

signature_version

Signature version for API request. s3 means signature version 2 and v4 means signature version 4. Default is nil(Following SDK's default). It would be useful when you use S3 compatible storage that accepts only signature version 2.

要はAPIリクエストの署名バージョンについて

  • 署名バージョン2を使うときはs3、バージョン4を使うときはv4を指定してね
  • 署名バージョン2のS3互換ストレージに使うと便利ですよ。
  • デフォルトはSDKのバージョンに準拠するよ

という感じでしょうか。使用するストレージの署名バージョンに合わせて設定を入れる必要があるようです。

オブジェクトストレージは署名バージョン2のみをサポートしているようだったので

1
signature_version s3

これを追加したらあっさりいけました。

S3の署名バージョンが4をサポートしたのに合わせてfluent-s3-plugin側でも対応したみたいです。

まとめ

署名バージョンについては他環境のS3互換ストレージでも流用できるので勉強になりました。

今回に限らず公式のドキュメントは英語が多く敬遠しがちですが、やはり答えが書いてあることが多いですね。

英語力を上げていきましょう!

この記事がお役に立てば【 いいね 】のご協力をお願いいたします!
0
読み込み中...
0 票, 平均: 0.00 / 10
613
X facebook はてなブックマーク pocket
【2026.6.30 Amazon Linux 2 サポート終了】Amazon Linux サーバー移行ソリューション

【2026.6.30 Amazon Linux 2 サポート終了】Amazon Linux サーバー移行ソリューション

この記事をかいた人

About the author