Google Cloud Spanner のスロークエリ(的なもの)を集める spanner-query-stats-collector を作った

この記事は公開されてから1年以上経過しており、最新の内容に追従できていない可能性があります。

こちらです。 sters/spanner-query-stats-collector: Google Cloud Spanner's query stats collector


Google Cloud Spanner には発行されたクエリがどれくらい CPU をつかったのか、どれだけのスキャンをしたかといった情報が記録されていくテーブルがあります。 Query statistics tables | Cloud Spanner | Google Cloud

このテーブルは GCP コンソール Spanner 上からでも参照できますし、実際に存在しているテーブルのようなので SELCT して取得することもできます MySQL でいうところのスローログをテーブルに書き出しているような状態です。 これを見ることによって CPU をよく使うクエリが出ていないか、スキャンが多すぎるのでインデックスの最適化ができるのではないか、などといった Spanner を利用することに関して改善していくことができるようになります。または、開発/検証環境として使える Spanner データベースがあれば、そこでの様子を定期的にウォッチすることで、本番に出す前のクエリの怪しさも一定見ることができる、かもしれません。 (本番の場合はレコード数や発行回数が異なりすぎて、参考にならないかもしれませんが。。)

と、いうところから、これを作りました。

cmd 以下の main では 1 分おきに 1 分間のクエリ統計テーブルを参照し JSON で標準出力へと書き出します Dockerfile として作ったものはそれの docker 化したものです。 Credential さえ入ればクエリが発行できるので、例えば GCP の各種コンピューティングリソース(GCE GKE CloudRun などなど)からの利用は容易にできるはずです Spanner を参照できる権限を付与したサービスアカウントがあれば使えると思います(手元の認証情報でしか試してないので。。)

サイト案内

運営してるひと: @sters9

最近は Go, Ruby, Rails, Kubernetes, GCP, Datadog あたりをしていますがもっといろいろやりたい!

サイト案内

開発環境の紹介

プライバシーポリシー

tools.gomiba.co

サイト内検索

アーカイブ

2024/09 (3) 2024/07 (1) 2024/06 (3) 2024/05 (1) 2024/04 (7) 2024/03 (4) 2024/01 (3)

2023/12 (1) 2023/11 (3) 2023/10 (1) 2023/09 (1) 2023/08 (2) 2023/05 (4) 2023/04 (4) 2023/03 (4) 2023/02 (2) 2023/01 (1)

2022/12 (2) 2022/11 (4) 2022/10 (3) 2022/09 (2) 2022/08 (4) 2022/07 (5) 2022/06 (4) 2022/05 (9) 2022/04 (8) 2022/03 (10) 2022/02 (21) 2022/01 (8)

2021/12 (11) 2021/11 (1) 2021/10 (4) 2021/09 (2) 2021/08 (1) 2021/07 (2) 2021/06 (5) 2021/05 (10) 2021/04 (1) 2021/03 (8) 2021/02 (12) 2021/01 (8)

2020/05 (2) 2020/04 (2) 2020/02 (2) 2020/01 (1)

2019/12 (3) 2019/11 (2) 2019/10 (5) 2019/09 (3) 2019/07 (6) 2019/06 (4) 2019/04 (3) 2019/01 (2)

2018/12 (6) 2018/10 (4) 2018/09 (6) 2018/08 (7) 2018/07 (16) 2018/06 (7) 2018/05 (7) 2018/04 (5) 2018/03 (3) 2018/02 (10) 2018/01 (6)

2017/12 (8) 2017/11 (6) 2017/10 (10) 2017/09 (12) 2017/08 (12) 2017/07 (3) 2017/06 (1) 2017/01 (4)

2016/12 (5) 2016/10 (3) 2016/09 (1) 2016/07 (2) 2016/06 (1) 2016/04 (1) 2016/02 (1) 2016/01 (2)

2015/12 (1) 2015/10 (1) 2015/09 (3) 2015/06 (1) 2015/01 (1)

2014/08 (2) 2014/07 (3) 2014/05 (1) 2014/01 (7)

2013/12 (2) 2013/11 (4) 2013/10 (1) 2013/09 (1) 2013/08 (3) 2013/07 (4) 2013/06 (5) 2013/05 (2) 2013/04 (7) 2013/03 (1)