監視基盤 パラメータシート（製品非依存）

監視基盤（Prometheus / Grafana / Zabbix ほか）のパラメータシート。監視の仕組みそのものをどう組むかを決めます。製品には依存しません（何を使っても決めることは同じです）。ここから先は Prometheus / Grafana / Zabbix などを想定しています）。★「監視項目一覧」が何を監視するかの表なのに対し、本書は仕組みの側です。監視項目一覧に書いた項目を、この基盤で実際に見られるようにします。★核は3枚です。（1）監視の監視 … 最も重い枚です。監視基盤が止まっても、止まったことを知らせる相手が居ません。「アラートが来ない」は「異常が無い」ではなく「監視が死んでいる」かもしれません。静かなほど安心に見えるので、気づくまでに何日もかかります。（2）保存と容量 … 時系列のデータは増え続けます。保存期間を決めていないとディスクが尽き、ある日突然この基盤自体が落ちます。しかも「過去のデータが要る」と気づくのは障害の後です。（3）通知の設計 … 設定しただけで、実際に届くか試していない例が多くあります。抑制（メンテナンス中の停止）を解除し忘れると、以降ずっと黙ります。★既定値は製品と版で変わるため、確証のあるものだけを記載し、それ以外は「要確認」と明記しています。

★監視基盤そのものを、別の経路から監視してください。同じ基盤の上で自分を監視しないでください。★一定時間、何も来なければ異常として扱ってください。異常が「来ない」ことは、正常の証拠になりません。★月に1回、わざと試験のアラートを出して実際に届くことを確かめてください。通知の経路は静かに壊れます。★抑制は必ず期限付きにしてください。解除し忘れると以降ずっと黙り、黙っていることに気づけません。★監視基盤自身の容量を監視項目一覧に入れてください。監視しているのに自分の容量だけ見ていない、が最も抜けやすい形です。★保存期間は「障害のときに何日前まで遡れれば足りるか」から決めてください。気づくのは障害の後です。★収集の失敗を異常として扱ってください。空欄と正常を区別しないと、その機器だけ静かに落ちます。グラフが平らなのは「安定」ではなく「取れていない」かもしれません。★登録数を機器一覧と毎月突き合わせてください。増設した機器が登録されないまま動きます。★通知は重大度を分け、同じ原因はまとめてください。全部を同じ重さで出すと全部が無視されます。