現在の
この作業は
目次
- 業務、
作業の 名称ラベル化、 定義に ついて - 関連記事/文献
- DMBOK/データ品質管理
- ツールに
ついて
業務、 作業の 名称ラベル化、 定義に ついて
業務名、
実施内容を 短く 言うと
SQLを
業務名、 作業名に ついて
以下のような
- アプリケーションデータ監視
- サービスデータ監視
- アプリケーションデータ品質監視(管理)
- サービスデータ品質監視(管理)
- 業務データモニタリング
Web検索してみた
作業の 定義付け
以下、
- RDBに
限らず、 データストレージに アクセスできる クエリ言語を、 定期的に 手動、 または 自動で 実行して データの 状態を 確認する。 - データに
異常が ある 場合は、 データを 直接更新して データの 異常を 修復するか、 Webアプリケーションを 介して データを 更新する。 - データの
修復に 関して、 社内の 業務担当者、 エンドユーザとの 調整が 必要な ケースも ある。 - データ異常は、
イベント、 インシデントと して 記録され、 SREで いうSLIの 項目の 一つとして 扱われる。 - データ異常の
発生の 原因は 以下のような パターンが ある。 - データ移行の
失敗に よる データ異常 - マイクロサービスの
サービス間データ連携失敗に よる データ不整合 - アプリケーションの
バグに 由来する データ異常 - 予算都合(ROI)で、
あえて 機能を 作らなかった ために 発生する データ不整合
- データ移行の
- インシデント検知から
対応までの 作業は、 SREの トイルに 該当する 作業となる。 - クエリの
実行、 インシデントしての 記録、 通知、 レポート作成の 基盤と して 自作の ツールや、 オープンソース、 Saas等が 使用される。
関連記事/文献
まさに
SQLを
定期的に
DMBOK/データ品質管理業務に ついて
検索していて、
関連しそうですので、
データマネジメントの
ツールに ついて
個人的に
Jenkinsで SQL実行、 実行結果を 条件に 応じて 通知
Jenkinsは、
SQL実行して、
SQL の
実行 Jenkinsから
Slackへの 通知 ビルド結果での
条件分岐 Jenkins Declarative Pipeline 〜 whenを 使い倒す!〜 - Qiita
Rundeckで SQL実行、 実行結果を 条件に 応じて 通知
SQLプラグイン
Rundeckから
Slackへの 通知 エラーハンドリング/条件分岐
Redashの Alert機能を 使う
Redashの
Supersetの Alert機能を 使う
RedashでできるならSupersetでもできるのでは?と
Data Observability Tool の 機能を 使用する
以下、
6 Best Data Observability Tools: Comparing Usability & Features
これらも
特に
sodadata/soda-sql: Data profiling, testing, and monitoring for SQL accessible data.
ちなみに、
- data-quality-monitoring · GitHub Topics
- data-quality-checks · GitHub Topics
- data-monitoring · GitHub Topics
個人的にはどうするか?
個人的には
SQLを
参考
以下、
個人的な
以上です。
コメント