ログストリームの「最終イベント時刻」に記載されている日時より大きく遅延して表示/反映される現象

Question

東京リージョンにてAWS①と②の2つのAWSアカウントを使用しており、AWS①は毎日１回13時30分ごろに①が保有するS3に対象ファイルを格納した事をS3の通知機能を利用してAWS②に通知を行っている。②のevent bridgeがこの通知を検知してGlueのワークフローを起動するように設定している。
起動したGlue JOBにて処理日確認の機能を入れており、①から連携された通知のログストリームに記載されている最新のログの「最終イベント時刻」を参照している。この日付が暦日と異なるとエラーが発生するように設定している。
いつもの通りS3へのファイル格納完了の通知を受け、Glueワークフローが起動したがこのGlueJOBの処理の中で「当日に通知されたログストリームが存在しない」というエラーが発生した。13時32分にGlueJOBが処理を開始したが上記エラーが発生した通知を受け13時40分にログストリーム一覧を確認した所、当日に連携されてきているS3通知のログストリームが一覧画面には存在せず、最新のログストリームは前日の日付であった。その後ログストリーム一覧の更新を1分毎に手動で行っていたところ13時50分に対象のログストリームが一覧に表示され、この時のログストリームの「最終イベント時刻」は13時30分で記録されていた。

上記現象のようにログストリームが実際に記録されている時間に表示されず、遅延して一覧に表示されるバグ（バグと呼んで良いのでしょうか？）は他の方にもよく見られるケースでしょうか？
画面に表示されるのが遅延していたとしても内部的には通知ログに記載の通り13時30分のログが存在し処理が正常に動いてくれるのであれば問題ないのですが内部的な反映まで遅れると後続の処理にも影響しますので問題です。
こちら同様の現象を調べて見ましたが私の検索能力が低いのかそれともログストリームのログ日付を確認する処理の設定をしていること自体が珍しいのか参考となるウェブサイトが見つかりません。
当該現象はAWS側に起因する遅延だと考えていますが断定する為のエビデンスを探しています。
お力をお貸しいただけますと幸いです。

使用リージョン：東京

re:Post Agent · Answer

ご質問いただいた現象について、ログストリームの表示や反映が遅延する問題は、AWS CloudWatchの一般的な動作の一部であり、必ずしもバグとは言えません。

CloudWatchログは、通常、リアルタイムではなく、数分から最大15分程度の遅延を伴って処理されることがあります。これは、AWSがログデータを収集、処理、そして表示するまでの時間が必要なためです。

ご説明の状況では、ログストリームが実際に記録された時間（13:30頃）と、CloudWatchの画面上で表示された時間（13:50頃）の間に約20分の遅延があったようです。これは通常の遅延範囲をやや超えていますが、完全に異常とは言えません。

この遅延は、AWSのインフラストラクチャの負荷、ネットワークの状態、データ量など、様々な要因によって変動する可能性があります。特に東京リージョンのような高負荷なリージョンでは、時折このような遅延が発生することがあります。

ただし、ログストリームの表示遅延が後続の処理に影響を与える可能性がある場合、以下の対策を検討することをお勧めします：

1. CloudWatch Logsの代わりに、より即時性の高いAmazon EventBridgeを使用して、S3のイベントを直接GlueJobにトリガーさせる。

2. S3オブジェクトの作成時刻を直接確認する方法を実装する。

3. 処理の開始を遅らせる、または一定間隔で再試行するロジックを実装する。

4. AWSサポートに連絡し、この遅延について詳細な調査を依頼する。

これらの対策により、ログストリームの遅延による影響を最小限に抑えることができるでしょう。  
**Sources**  
[AWS Incident Detection and Response now available in Japanese - AWS](https://aws.amazon.com/about-aws/whats-new/2024/10/aws-incident-detection-response-japanese/)  
[Case study - AWS Prescriptive Guidance](https://docs.aws.amazon.com/prescriptive-guidance/latest/ml-quantifying-uncertainty/case-study.html)

ログストリームの「最終イベント時刻」に記載されている日時より大きく遅延して表示/反映される現象

関連するコンテンツ