データ処理ワークフロー¶
はじめに¶
本サイトにつきまして、【IT技術の知見】はじめに - 俺の技術ノート をご認識のほど宜しくお願いいたします。
01. ETL パターン¶
次の処理フェーズをマイクロサービスで構成する。
- データソースから生データを取得するマイクロサービス（業務マイクロサービス、バッチサービスなど）
- 生データを処理しやすいように事前に加工するマイクロサービス
- 必要であればストレージに一度永続化し、データ共有方式で後続のマイクロサービスに渡す
- 加工されたデータから、何らかの指標（例：メトリクスなど）を計測する
- 必要であればストレージに一度永続化し、データ共有方式で後続のマイクロサービスに渡す
- 計測値の構造を整理し、監視フロントエンドやクライアントに提供する
ちょっとしたデータ処理ワークフローであれば、マイクロサービスとして切り分けずに、モノリスアプリケーションのユースケース層でこれらのフローを実施する
02. CDC パターン¶
データソースの DB で発生した変更を検知し、変更内容をイベントとして後続のマイクロサービスに渡す。