この記事は公開されてから1年以上経過しており、最新の内容に追従できていない可能性があります。
https://qiita.com/advent-calendar/2021/datadog の1記事です。 共有するか迷うほどのミニtipです。
何かしらのレイテンシに寄与する改善をしたとき、いまいち効果があったのかなかったのかわからない、というケースがある。
Datadogで見るときには、autosmoothと、day_beforeやweek_beforeなどを使うと明確にわかることが多いけれど、Cumlative Sum で見るというのはいいアイデアなのかもしれないな、と思ったメモ。
Cumulative Sumは累積、積み上げのことで、レイテンシで見るということは、ある期間において、トータルのレイテンシがどのように上がっていったか、を見ることになる。 何かしらレイテンシに改善があった場合、積み上げる量が減るので、以前のものと比べたときに徐々にトータル値に差が開いていくはずである。
具体的にはこんな形になる。
そのままのときとautosmoothしたときのグラフはこんな様子。
autosmoothでも差が出ていることがわかるので、そうだね、という気はするけれど。。Cumulative Sumだと積み上げの差がどんどん広がっていく様子が見えるのでよさそう。
ただ、前提として、比較する期間の呼び出し回数（記録された数）がほぼ同じである必要がある。呼び出し回数減る場合には積み上げる量も少なくなるし、逆に呼び出し回数が多いなら積み上げる量も多い。時間帯、曜日、月末月初、季節といった要因がなるべく排除される必要があると思う。たいていの場合はweek_beforeでまかなえそう。