コンテンツにスキップ

Amazon CloudWatch

はじめに

本サイトにつきまして、【IT技術の知見】はじめに - 俺の技術ノート をご認識のほど宜しくお願いいたします。


01. 概要

メトリクスやログを収集・分析し、AWS リソースやアプリケーションの状態を監視するサービスである。


02. 仕組み

03. セットアップ

Terraformによる構築 (SES 監視用アラーム)

module "cloudwatch_metric_alarm_ses_foo_bounce" {
  source  = "terraform-aws-modules/cloudwatch/aws//modules/metric-alarms-by-multiple-dimensions"
  version = "= 5.3.0"

  alarm_name          = "ses-foo-Bounce-"
  metric_name         = "Bounce"
  comparison_operator = "GreaterThanOrEqualToThreshold"
  evaluation_periods  = 1
  namespace           = "AWS/SES"
  period              = 300
  statistic           = "Sum"
  threshold           = 1.0
  treat_missing_data  = "notBreaching"
  alarm_description   = "SES foo Bounce: SESから外部メールサーバーへのメール送信に失敗しました"
  alarm_actions       = ["arn:aws:sns:ap-northeast-1:123456789012:foo-notifications"]
  tags                = { Environment = "dev" }

  dimensions = {
    ConfigurationSet = {
      ConfigurationSet = "foo"
    }
  }
}

module "cloudwatch_metric_alarm_ses_foo_reject" {
  source  = "terraform-aws-modules/cloudwatch/aws//modules/metric-alarms-by-multiple-dimensions"
  version = "= 5.3.0"

  alarm_name          = "ses-foo-Reject-"
  metric_name         = "Reject"
  comparison_operator = "GreaterThanOrEqualToThreshold"
  evaluation_periods  = 1
  namespace           = "AWS/SES"
  period              = 300
  statistic           = "Sum"
  threshold           = 1.0
  treat_missing_data  = "notBreaching"
  alarm_description   = "SES foo Reject: SESへのメール送信に失敗しました"
  alarm_actions       = ["arn:aws:sns:ap-northeast-1:123456789012:foo-notifications"]
  tags                = { Environment = "dev" }

  dimensions = {
    ConfigurationSet = {
      ConfigurationSet = "foo"
    }
  }
}

04. メトリクスの収集と集約

Amazon CloudWatch Metrics とは

AWS リソースで発生したメトリクスの元になるデータポイントを収集する。


メトリクスの集約

▼ メトリクスの集約とは

Amazon CloudWatch は、データポイントからメトリクスの元になるデータポイントを作成しつつ、特定のグループ (例:ディメンション、名前空間) に集約できる。

metrics_namespace_dimension

▼ 集約の種類

集約名 説明
ディメンション インスタンスの設定値をグループとした集約のこと (例:インスタンス ID、スペック、AZ など) 。ディメンションが大きすぎると、異なる種類のデータポイントがごちゃまぜに集約される (例えば、Amazon EC2 のストレージで、/var/lib/foo パーティションのディスク使用率のデータポイントが 30%だとする。Amazon EC2 のインスタンス ID をディメンションにした場合に、/var/lib/foo 以外のパーティションが 30%より低いため、インスタンス ID のディメンション全体としては 10% ほどのディスク使用率になる) 。Amazon CloudWatch アラームではディメンションしか指定できず、ディメンションを正確に集約する必要がある。
名前空間 AWS リソースをグループとした集約のこと (例:Amazon EC2、Amazon RDS、AWS ALB など) 。AWS リソース名で表す。cloudwatch エージェントでカスタムメトリクスの元になるデータポイントを収集すると、名前空間は CWAgent になる。

▼ 集約の確認方法

Amazon CloudWatch Metrics 上では、各集約を以下のように確認できる。

cloudwatch_namespace_metric_dimension


インサイトメトリクス

▼ インサイトメトリクスは

異なるメトリクスを再集約し、性能に関するメトリクスとして提供する。

▼ パフォーマンスインサイト

RDS (Amazon Aurora、Amazon RDS) の性能に関するメトリクスの元になるデータポイントを収集する。

特定の集約 (例:各クエリ) で監視できるようになる。

パラメーターグループの performance_schema を有効化する必要がある。

対応するエンジンバージョンとインスタンスタイプについては、以下のリンクを参考にせよ。

▼ Container インサイト

コンテナに関する AWS リソース (例:Amazon ECS クラスター、Amazon ECS サービス、Amazon ECS タスク、Amazon ECS コンテナ、EKS Cluster) の性能に関するメトリクスの元になるデータポイントを収集する。

作成したメトリクスを特定の集約 (例:各コンテナ) で扱えるになる。

また、コンテナ間の繋がりをコンテナマップで視覚化できるようになる。

Amazon ECS、EKS のアカウント設定で Container インサイトを有効化する必要がある。

Container インサイトのメトリクスは、『ContainerInsights』という名前空間を使って一括でクエリできる。また、『ClusterName』などのディメンションを使用して、データポイントをフィルタリングできる。

▼ AWS Lambda インサイト

AWS Lambda の性能に関するメトリクスの元になるデータポイントを収集する。


埋め込みメトリクスフォーマット

Amazon CloudWatch Logs 上で構造化ログのログイベントを自動的に集約し、Amazon CloudWatch Metrics 上でカスタムメトリクスを生成してくれる。

Amazon CloudWatch Logs に送る構造化ログには、metrics オブジェクトを定義する必要がある。

// 構造化ログ
{
  "message": "hello world"
  // metrics オブジェクト
  "metrics": [
    {
      "namespace": "MyApp"
      "name": "NumRequests"
      "unit": "Count"
      "value": 155
    }
  ]
}


05. ログの収集

Amazon CloudWatch Logs とは

クラウドログサーバーとして働く。

AWS リソースで作成されたログを収集できる。


ログ収集の設定

▼ コンソール画面の場合

▼ 設定項目と説明
設定項目 説明 補足
ロググループ ログストリームをグループ化して収集するか否かを設定する。 基本的に、ログファイルはグループ化せずに、1 個のロググループには 1 個のログストリームしか含まれないようにする。マイクロサービスアーキテクチャでは、すべてのマイクロサービスを同じロググループで定義するとよい。
メトリクスフィルター フィルターパターンに合致した文字列を持つログをトリガーとして、データポイントを発生させる。このデータポイントを集約し、メトリクスとして使用できる。
サブスクリプションフィルター
データ保護 ログに含まれる機密性の高い情報を保護するために、ログをマスキングする。 ・https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/mask-sensitive-log-data.html


フィルターパターン

▼ フィルターパターンとは

ログ内で検知する文字列を設定する。

大文字と小文字を区別するため、網羅的に設定する必要がある。

▼ OR 条件

次のログを検出する。

  • OR 条件
  • 大文字小文字を網羅
  • 『<ログレベル>:』が含まれる

ここでコロンを含まているのは、ログに含まれるファイル名やメソッド名が誤って検知されないようするためである。

?"WARNING:" ?"Warning:" ?"ERROR:" ?"Error:" ?"CRITICAL:" ?"Critical:" ?"EMERGENCY:" ?"Emergency:" ?"ALERT:" ?"Alert:"

次のログを検出する。

  • OR 条件
  • namespace が foo または bar
  • 大文字小文字を網羅
  • 『<ログレベル> message』が含まれる
?"WARNING message" ?"Warning message" ?"ERROR message" ?"Error message" ?"CRITICAL message" ?"Critical message" ?"EMERGENCY message" ?"Emergency message" ?"ALERT message" ?"Alert message"

次のログを検出する。

  • OR 条件
  • JSON ログ
  • 大文字小文字を網羅
  • 『<ログレベル>』が含まれる
{($.kubernetes.namespace_name = foo || $.kubernetes.namespace_name = bar) && ($.data.level = error || $.data.level = ERROR || $.data.level = fatal || $.data.level = FATAL || $.data.level = critical || $.data.level = CRITICAL)}

▼ 除外条件

次のログを検出する。

  • 『ERROR:』が含まれる
  • 『MethodNotAllowedHttpException』が含まれない

OR 条件と除外条件を組み合わせようとすると、OR 条件が認識されずに除外条件だけが適用されてしまう。

そのため、ここでは OR 条件を使用していない。

"ERROR:" -MethodNotAllowedHttpException


Amazon CloudWatch Logs エージェント (非推奨)

▼ Amazon CloudWatch Logs エージェントとは

インスタンス内で稼働するデーモンのこと。

インスタンス内のデータを収集し、Amazon CloudWatch Logs へ送信する。

執筆時点 (2020/10/05) では非推奨で、cloudwatch エージェントへの設定の移行が推奨である。

▼ /var/awslogs/etc/awslogs.conf ファイル

Amazon CloudWatch Logs エージェントを設定する。

OS、ミドルウェア、アプリケーションに分類して設定するとよい。

# ------------------------------------------
# Amazon CloudWatch Logs (CentOS)
# ------------------------------------------
[/var/log/messages]

# タイムスタンプ
# (例) Jan 1 00:00:00
datetime_format = %b %d %H:%M:%S
# (例) 2020-01-01 00:00:00
# datetime_format = %Y-%m-%d %H:%M:%S

# 収集したいログファイル。ここでは、CentOSのログを設定する。
file = /var/log/messages

# 文字コードutf_8として送信する。文字コードが合わないと、Amazon CloudWatch Logsの画面上で文字化けする。
encoding = utf_8

# バッファーに蓄える期間
buffer_duration = 5000

# ログファイルの先頭から読み込みを開始する。
initial_position = start_of_file

# インスタンスID
log_stream_name = {instance_id}

# AWS上で管理するロググループ名
log_group_name = /var/log/messages

# ------------------------------------------
# Amazon CloudWatch Logs (Nginx)
# ------------------------------------------
[/var/log/nginx/error.log]
file             = /var/log/nginx/error.log
buffer_duration  = 5000
log_stream_name  = {instance_id}
initial_position = start_of_file
log_group_name   = /var/log/nginx/error_log.production

# ------------------------------------------
# Amazon CloudWatch Logs (Application)
# ------------------------------------------
[/var/www/project/app/storage/logs/laravel.log]
file             = /var/www/project/app/storage/logs/laravel.log
buffer_duration  = 5000
log_stream_name  = {instance_id}
initial_position = start_of_file
log_group_name   = /var/www/project/app/storage/logs/laravel_log.production

▼ コマンド

設定後、awslogs コマンドでプロセスを起動する。

# cloudwatchエージェントの再起動
# 注意: restartだとAmazon CloudWatchに反映されない時がある。
$ service awslogs restart

# もしくは
$ service awslogs stop
$ service awslogs start

# ログが新しく作成されないと変更が適用されないことがあるため、ログファイルに適当な文字列行を増やしてみる。


06. ログの検索と分析

Log インサイトとは

クエリを使用して、ロググループ単位でログを抽出する。

関数

関数 説明
fields 検索結果に表示する列を設定する。
filter フィルタリングする列を設定する。
sort 並び順を設定する。
limit 表示数を設定する。

クエリ例

汎用的なクエリを示す。

@message で、小文字と大文字を区別せずに Error を含むログを検索する。

fields @timestamp, @message, @logStream
| filter @message like /(?i)(Error)/
| filter stream like /(stderr)/
| sort @timestamp desc
| limit 100

構造化ログであれば、log フィールドがあるかもしれない。

fields @timestamp, @message, @logStream
| filter log like /(?i)(Error)/
| filter stream like /(stderr)/
| sort @timestamp desc
| limit 100

構造化ログであれば、stream フィールドがあるかもしれない。

fields @timestamp, @message, @logStream
| filter stream like /(?i)(stderr)/
| sort @timestamp desc
| limit 100

@message フィールドに like を使用して、小文字と大文字を区別せずに Warning または Error を含むログを検索する。

fields @timestamp, @message, @logStream
| filter @message like /(?i)(Warning|Error)/
| sort @timestamp desc
| limit 100

JSON がネストになっている場合、filter では . (ドット) でつなぐ。

ここでは foo-app コンテナを集計している。

fields @timestamp, @message, @logStream
| filter kubernetes.container_name like /(foo-app)/
| filter @message like /(?i)(Error)/
| filter stream like /(stderr)/
| sort @timestamp desc
| limit 100

like の代わりに書き方として、=~ で正規表現を使用できる。

fields @timestamp, @message, @logStream
| filter kubernetes.container_name=~"foo-app"
| sort @timestamp desc
| limit 100

閾値以上の実行時間のスロークエリを実行時間の昇順で取得する。

parse() 関数で Query_time の値を抽出している。

fields @timestamp, @message
| parse @message /Query_time:\s*(?<Query_time>[0-9]+(?:\.[0-9]+)?)\s*[\s\S]*?;/
| display @timestamp, Query_time, @message
| sort Query_time desc
| limit 100


07. エージェントによるデータ収集

cloudwatch エージェントとは

インスタンス系 AWS リソース (EC2、Amazon ECS、EKS、AWS Lambda) 内で稼働するデーモンのこと。

インスタンス内のメトリクスの元になるデータポイントやログを収集し、Amazon CloudWatch に送信する。

多くの場合、インスタンス系リソースは基本的なメトリクスの元になるデータポイントを収集するが、一部のメトリクス (例:EC2 のメモリ使用率やディスク使用率) やログそのものを収集しない。

cloudwatch エージェントを使用することで、カスタムメトリクスの元になるデータポイントやログを収集できるようにする。

プロセスは、デーモン化しておくとよい。

$ systemctl list-unit-files --type=service | grep amazon-cloudwatch-agent

$ systemctl status amazon-cloudwatch-agent

● amazon-cloudwatch-agent.service - Amazon CloudWatch Agent
   Loaded: loaded (/etc/systemd/system/amazon-cloudwatch-agent.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2022-06-13 19:04:56 JST; 42min ago
 Main PID: 2959 (amazon-cloudwat)
   CGroup: /system.slice/amazon-cloudwatch-agent.service
           └─2959 /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent -config /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.toml -envconfig /opt/aws/amazon-cloudwatch-agent/etc/env-config.json -pidfile /opt/aws/amazon-cloudwatch-agent/var/amazon-cloudwatch-agent.pid

Oct 13 19:04:56 *** systemd[1]: Started Amazon CloudWatch Agent.
Oct 13 19:04:57 *** start-amazon-cloudwatch-agent[2959]: /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json does not exist or cannot read. Skipping it.
Oct 13 19:04:57 *** start-amazon-cloudwatch-agent[2959]: I! Detecting run_as_user...


インストール

▼ yum リポジトリから

$ yum install amazon-cloudwatch-agent -y

# カスタムメトリクスの元になるデータポイントの収集のために、collectdパッケージを使用する場合
$ yum install collectd -y


設定ファイルの配置

▼ ウィザードの場合

ウィザードを使用して設定ファイル (amazon-cloudwatch-agent.json ファイル) をセットアップする場合、ウィザードは amazon-cloudwatch-agent.json ファイルを /opt/aws/amazon-cloudwatch-agent/bin ディレクトリ配下に自動的に作成する。

▼ 手動の場合

手動で設定ファイル (amazon-cloudwatch-agent.json ファイル) をセットアップする場合、amazon-cloudwatch-agent.json ファイルを指定されたディレクトリに配置する必要がある。

OS 配置先のパス
Linux /opt/aws/amazon-cloudwatch-agent/etc
Windows $Env:ProgramData\Amazon\AmazonCloudWatchAgent


amazon-cloudwatch-agent.json ファイル

▼ amazon-cloudwatch-agent.json ファイルとは

cloudwatch エージェントのオプションを設定する。セットアップ方法ごとに、設定後、amazon-cloudwatch-agent-ctl コマンドで設定ファイルを読み込ませる。

すべてのセクションを設定する必要はなく、logs セクションまたは metrics セクションのいずれかのみを設定でもよい (例:cloudwatch エージェントを使用して Amazon CloudWatch にログファイルを送信するのみであれば、log セッションのみ) 。

注意点として、cloudwatch エージェントは、起動後に amazon-cloudwatch-agent.json ファイルを /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.d/file_amazon-cloudwatch-agent.json ファイルとして移動してしまい、元々の amazon-cloudwatch-agent.json ファイルは無くなってしまう。

▼ amazon-cloudwatch-agent-ctl コマンド

amazon-cloudwatch-agent-ctl コマンドを使用して、設定ファイルを読み込みつつ、cloudwatch エージェントを起動できる。

設定ファイルを読み込み、EC2 上の cloudwatch エージェントを起動/再起動する。

$ /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl \
    -a fetch-config \
    -m ec2 \
    -c file:/opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json \
    -s

cloudwatch エージェントをデーモンとして起動するためのユニットファイルが、自動的に作成される。

[Unit]
Description=Amazon CloudWatch Agent
After=network.target

[Service]
Type=simple
ExecStart=/opt/aws/amazon-cloudwatch-agent/bin/start-amazon-cloudwatch-agent
KillMode=process
Restart=on-failure
RestartSec=60s

[Install]
WantedBy=multi-user.target

プロセスのステータスを確認する。

$ /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl \
    -m ec2 \
    -a status

▼ agent セクション

cloudwatch エージェント全体を設定する。

ウィザードを使用した場合、このセクションの設定はスキップされる。

実装しなかった場合、デフォルト値が適用される。

{
  "agent": {
      `// プロセスのユーザー名を設定する。`
      "run_as_user": "cwagent",
      "metrics_collection_interval": 60,
      `// 別の AWS アカウントにログを送信する場合に、必要な認可スコープを付与した AWS IAM ロール`
      "credentials": "arn:aws:iam::<AWSアカウントID>:role/<AWS IAMロール名>",
    }}

▼ metrics セクション

AWS リソースが標準で収集しないカスタムメトリクスの元になるデータポイントの収集について設定する。

ウィザードを使用した場合、このセクションの設定はスキップされる。

実装しなかった場合、何も設定されない。

{
  "agent": {"run_as_user": "cwagent"},
  // メトリクス
  "metrics": {
    // メトリクスの集約とする名前空間のユーザー定義名
    // デフォルトで CWAgent になる。
    "namespace": "CWAgent",
    // メトリクスの集約とするディメンション
    "aggregation_dimensions": [
      [
        // インスタンス ID
        "InstanceId",
        // パーティションに紐づくファイルシステムのパス
        "path"
      ]
    ],
    // ディメンションのユーザー定義名
    "append_dimensions": {
      "AutoScalingGroupName": "${aws:AutoScalingGroupName}",
      "ImageId": "${aws:ImageId}",
      "InstanceId": "${aws:InstanceId}",
      "InstanceType": "${aws:InstanceType}"
    },
    // メモリ上のバッファーの保管時間
    "force_flush_interval": 60,
    // 収集対象のカスタムメトリクスの一覧 (collectd パッケージまたは StatsD パッケージを使用する場合)
    "metrics_collected": {
      // collectd パッケージの使用を宣言する。必ず設定する必要がある。
      "collectd": {"metrics_aggregation_interval": 60},
      // ストレージ系
      "disk": {
        "measurement": [
          // ディスク使用率メトリクス
          "used_percent"
        ],
        "metrics_collection_interval": 60,
        // マウントポイントを設定する。
        "resources": ["*"]
      },
      // メモリ系
      "mem": {
        // 計測
        "measurement": [
          // メモリ使用率メトリクス
          "mem_used_percent"
        ],
        // 計測間隔
        "metrics_collection_interval": 60
      }
    }
  }
}

▼ logs セクション

ログの収集について設定する。

{
  "agent": {"run_as_user": "cwagent"},
  // ログ
  "logs": {
    // メモリ上のバッファーの保管時間
    "force_flush_interval": 60,
    "logs_collected": {
      "files": {
        // 収集対象のログの一覧
        "collect_list": [
          {
            // 収集対象のログのディレクトリ
            "file_path": "/var/log/nginx/error.log",
            // Amazon CloudWatch Logs 上でのロググループ名
            "log_group_name": "/foo-www/var/log/nginx/error_log",
            // Amazon CloudWatch Logs 上でのログストリーム名
            "log_stream_name": "{instance_id}"
          },
          {
            "file_path": "/var/log/php-fpm/error.log",
            "log_group_name": "/foo-www/var/log/php-fpm/error_log",
            "log_stream_name": "{instance_id}"
          }
        ]
      }
    }
  }
}


ログ

▼ amazon-cloudwatch-agent.log ファイル

cloudwatch エージェントのプロセスに関するログを出力する。

$ tail -f /opt/aws/amazon-cloudwatch-agent/logs/amazon-cloudwatch-agent.log

▼ configuration-validation.log ファイル

cloudwatch エージェントの設定ファイルの構文チェックに関するログを出力する。

$ tail -f /opt/aws/amazon-cloudwatch-agent/logs/configuration-validation.log


AWS IAM ロール

▼ Amazon EC2 の場合

EC2 で cloudwatch エージェントを稼働させる場合、CloudWatchAgentServerPolicy が付与された AWS IAM ロールを EC2 に紐付ける必要がある。

▼ AWS 以外のサーバーの場合

AWS 以外 (オンプレミス、他のクラウドプロバイダー) のサーバーで cloudwatch エージェントを稼働させる場合、CloudWatchAgentServerPolicy が付与された AWS IAM ロールを cloudwatch エージェント用の AWS IAM ユーザーに紐付ける必要がある。


08. アラーム

Amazon CloudWatch アラームとは

Amazon CloudWatch のメトリクスを監視し、閾値を超えた場合にアラートを発火させ、通知や AWS リソースに対するアクションを実行する。


アラームの設定

▼ コンソール画面の場合

▼ ログが監視対象の場合
設定項目 説明 補足
名前空間 紐付くロググループが所属する名前空間を設定する。Amazon CloudWatch Logs が、設定した名前空間に対して、値を発行する。
メトリクス 紐付くロググループが所属する名前空間内のメトリクスを設定する。Amazon CloudWatch Logs が、設定したメトリクスに対して、値を発行する。
メトリクス値 フィルターパターンでログが検知されたときに、データポイントとして発生させる値のこと。 例えば『検出数』を発行する場合は、『1』を設定する。
▼ メトリクスが監視対象の場合
▼ 条件
設定項目 説明 補足
閾値の種類
アラートを実行するデータポイント アラートを発生させるデータポイント数を設定する。
欠落データの処理 データポイントが発生しないことをどう判定するかを設定する。 データポイントが何も発生しないことを正常とし、これが発生することを異常とする場合 (例:エラーイベントなど) は『notBreaching』とする。反対に、データポイントが継続的に発生することを正常とし、これが発生しないことを異常とする場合 (例:CPU 使用率、メモリ使用率など) は、『breaching』とする。
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html#alarms-and-missing-data


09. 外形監視

Amazon CloudWatch シンセティックとは

合成監視を行えるようになる。