Exporter＠Prometheus¶
はじめに¶
本サイトにつきまして、以下をご認識のほど宜しくお願いいたします。
01. Exporter¶
Exporterとは¶
PrometheusがPull型通信でメトリクスのデータポイントを収集するためのエンドポイントとして動作する。
基本的にはデータポイントを収集したいNode内で稼働させるが、一部のExporter (例：外形監視のblack-exporter) は、Node外で稼働させる。
Pull型通信により、アプリケーションはPrometheusの存在を知る必要がなく、関心を分離できる。収集したいメトリクスに合わせて、ExporterをKubernetesのNodeに導入する必要がある。
また、各Exporterは待ち受けるエンドポイントやポート番号が異なっており、Prometheusが各Exporterにリクエストを送信できるように、各Nodeでエンドポイントやポート番号へのインバウンド通信を許可する必要がある。
確認¶
Nodeで稼働しているExporterを確認する。
$ ps -aux | grep exporter
Exporterのデザインパターン¶
▼ デザインパターン¶
Exporterには、KubernetesのNode上でどう稼働させるかに応じて、デザインパターンがある。
| タイプ | 配置方法 |
|---|---|
| DaemonSetパターン | 各Node上にDaemonSetとして配置する。 |
| Deploymentパターン | 各Node上にDeploymentとして配置する。 |
| Pod内サイドカーパターン | Pod内にサイドカーとして配置する。 |
| 埋め込み型パターン | ライブラリとして、アプリケーション内に埋め込む。 |
▼ DaemonSetパターン¶
| Exporter名 | 説明 | 待ち受けポート番号 | 待ち受けエンドポイント | メトリクス名 |
|---|---|---|---|---|
| Node Exporter | Nodeに関するメトリクスのデータポイントを収集する。 | 9100 |
/metrics |
node_* |
| Process Exporter | Nodeの非コンテナのプロセスに関するメトリクスのデータポイントを収集する。収集対象のプロセス名はconfig.yamlファイルで設定できる。 ・https://qiita.com/kkentaro/items/c01b8cf332da893791bb |
9256 |
同上 | namedprocess_* |
▼ Deploymentパターン¶
| Exporter名 | 説明 | 待ち受けポート番号 | 待ち受けエンドポイント | メトリクス名 |
|---|---|---|---|---|
| kube-state-metrics | Kubernetesのソース単位でメトリクスのデータポイントを収集する。似た名前のツールにmetrics-serverがあるが、metrics-serverはNodeとPodのみを対象としており、またapiserverとして稼働する。 ・https://tech-blog.abeja.asia/entry/2016/12/20/202631 ・https://amateur-engineer-blog.com/kube-state-metrics-and-metrics-server/ |
8080 |
同上 | kube_* |
| Blackbox Exporter | 指定したプロトコルで外形監視を実施する。外形監視のため、リクエストは一度Cluster外に出る。リクエストの成否以外にも、各種メトリクス (レスポンスタイム、HTTPステータスなど) を収集できる。 ・https://handon.hatenablog.jp/entry/2019/01/29/005935 ・https://medium.com/@lambdaEranga/monitor-kubernets-services-endpoints-with-prometheus-blackbox-exporter-a64e062c05d5 |
9115 |
同上 | |
| Elasticsearch Exporter | ElasticSearchに関するメトリクスのデータポイントを収集する。 | 9114 |
同上 |
▼ Pod内サイドカーパターン¶
| Exporter名 | 説明 | 待ち受けポート番号 | 待ち受けエンドポイント | メトリクス名 |
|---|---|---|---|---|
| Nginx Vts Exporter | Nginxに関するメトリクスのデータポイントを収集する。 | 9113 |
同上 | |
| Apache Exporter | Apacheに関するメトリクスのデータポイントを収集する。 | 9117 |
同上 | |
| Mysqld Exporter | MySQL/MariaDBに関するメトリクスのデータポイントを収集する。 | 9104 |
同上 | |
| Postgres Exporter | PostgreSQLに関するメトリクスのデータポイントを収集する。 ・https://grafana.com/oss/prometheus/exporters/postgres-exporter/#metrics-usage |
9187 |
同上 | |
| Oracledb Exporter | Oracleに関するメトリクスのデータポイントを収集する。 | 9121 |
同上 | |
| Redis Exporter | Redisに関するメトリクスのデータポイントを収集する。 | 9121 |
同上 |
▼ 埋め込み型パターン¶
| Exporter名 | 説明 | 待ち受けポート番号 | 待ち受けエンドポイント | メトリクス名 |
|---|---|---|---|---|
| open-telemetryのSDK |
セットアップ¶
▼ チャートとして¶
チャートリポジトリから複数のチャートを一括でインストールし、Kubernetesリソースを作成する。
kube-prometheus-stackは、いくつかのExporterをサブチャートとしてインストールしてくれる。
$ helm repo add <チャートリポジトリ名> https://prometheus-community.github.io/helm-charts
$ helm repo update
$ kubectl create namespace prometheus
$ helm install <Helmリリース名> <チャートリポジトリ名>/kube-prometheus-stack -n prometheus --version <バージョンタグ>
02. MySQL Exporter¶
セットアップ¶
▼ チャートとして¶
チャートリポジトリからチャートをインストールし、Kubernetesリソースを作成する。
$ helm repo add <チャートリポジトリ名> https://prometheus-community.github.io/helm-charts
$ helm repo update
$ kubectl create namespace prometheus
$ helm install <Helmリリース名> <チャートリポジトリ名>/prometheus-mysql-exporter -n prometheus --version <バージョンタグ>
メトリクスの一覧¶
▼ 確認方法¶
PostgreSQL Exporterの場合は、Nodeの『127.0.0.1:9104/metrics』をコールすると、PromQLで使用できるメトリクスを取得できる。
# Node内でコールする。
$ curl http://127.0.0.1:9104/metrics
...
postgres_exporter_build_info{branch="",goversion="go1.15.8",revision="",version="0.0.1"} 1
...
03. PostgreSQL Exporter¶
メトリクスの一覧¶
▼ 確認方法¶
PostgreSQL Exporterの場合は、Nodeの『127.0.0.1:9187/metrics』をコールすると、PromQLで使用できるメトリクスを取得できる。
# Node内でコールする。
$ curl http://127.0.0.1:9187/metrics
...
mysqld_exporter_build_info{branch="HEAD",goversion="go1.12.7",revision="48667bf7c3b438b5e93b259f3d17b70a7c9aff96",version="0.12.1"} 1
...
PromQLを使用したメトリクス分析¶
▼ PostgreSQLのプロセスのステータス¶
PostgreSQLのプロセスのステータスを表す。
pg_upは、PostgreSQLのプロセスのステータスを表す。
正常な場合に1、異常な場合に0となる。
pg_up == 0
▼ PostgreSQLの連続稼働時間¶
pg_postmaster_start_time_secondsは、PostgreSQLのマスタープロセス (postmasterプロセス) の連続稼働時間を表す。
time() - pg_postmaster_start_time_seconds
▼ DBインスタンス間のデータ同期の遅延¶
PostgreSQLで、RepmgrによるDBクラスターを採用している場合に、DBインスタンス間のデータ同期の遅延を表す。
pg_replication_lagは、DBインスタンス間のデータ同期にかかる時間を表す。
pg_replication_lag > 10
▼ 残骸タプルサイズ¶
DBにたまっている残骸タプルのデータサイズを表す。
pg_stat_user_tables_n_dead_tup{datname="<DB名>"}
04. Process Exporter¶
セットアップ¶
▼ バイナリとして¶
バイナリファイルをインストールする。
# GitHubのバイナリファイルのリリースページから、テキストのURLを取得する。
# tmpディレクトリ配下にダウンロードする。
$ curl -L https://github.com/ncabatoff/process-exporter/releases/download/v0.7.10/process-exporter-0.7.10.linux-amd64.tar.gz -o /tmp/process-exporter-0.7.10.linux-amd64.tar.gz
$ tar -xvf /tmp/process-exporter-0.7.10.linux-amd64.tar.gz -C /tmp
▼ チャートとして¶
執筆時点 (2023/03/26) 時点で、Process Exporterのチャートはない。
メトリクスの一覧¶
▼ 確認方法¶
Process Exporterの場合は、Nodeの『127.0.0.1:9256/metrics』をコールすると、PromQLで使用できるメトリクスを取得できる。
# Node内でコールする。
$ curl http://127.0.0.1:9256/metrics
...
process_exporter_build_info{build_date="2021-03-11-03:26:58",commit_sha="d0597c841d2c9fa30ce8b6ded6251d1994822e27",golang_version="go1.16.1",version="v1.18.0"} 1
...
05. Redis Exporter¶
メトリクスの一覧¶
▼ 確認方法¶
Redis Exporterの場合は、Nodeの『127.0.0.1:9121/metrics』をコールすると、PromQLで使用できるメトリクスを取得できる。
# Node内でコールする。
$ curl http://127.0.0.1:9121/metrics
...
redis_exporter_build_info{build_date="2021-03-11-03:26:58",commit_sha="d0597c841d2c9fa30ce8b6ded6251d1994822e27",golang_version="go1.16.1",version="v1.18.0"} 1
...