# global：全局配置，主要配置告警方式，如郵件、webhook等。
global:
  resolve_timeout: 5m    # 超時,默認5min
  smtp_smarthost: 'smtp.163.com:465'    # 這里為 QQ 郵箱 SMTP 服務地址，官方地址為 smtp.qq.com 端口為 465 或 587，同時要設置開啟 POP3/SMTP 服務。
  smtp_from: 'pengdadi@163.com'
  smtp_auth_username: 'pengdadi@163.com'
  smtp_auth_password: 'VCBJAACBYEZ'    # 這里為第三方登錄 QQ 郵箱的授權碼，非 QQ 賬戶登錄密碼，否則會報錯，獲取方式在 QQ 郵箱服務端設置開啟 POP3/SMTP 服務時會提示。
  smtp_require_tls: false    # 是否使用 tls，根據(jù)環(huán)境不同，來選擇開啟和關閉。如果提示報錯 email.loginAuth failed: 530 Must issue a STARTTLS command first，那么就需要設置為 true。著重說明一下，如果開啟了 tls，提示報錯 starttls failed: x509: certificate signed by unknown authority，需要在 email_configs 下配置 insecure_skip_verify: true 來跳過 tls 驗證。

templates:    #  # 模板
  - '/data/alertmanager/alert.tmp'

# route：用來設置報警的分發(fā)策略。Prometheus的告警先是到達alertmanager的根路由(route)，alertmanager的根路由不能包含任何匹配項，因為根路由是所有告警的入口點。
# 另外，根路由需要配置一個接收器(receiver)，用來處理那些沒有匹配到任何子路由的告警（如果沒有配置子路由，則全部由根路由發(fā)送告警），即缺省
# 接收器。告警進入到根route后開始遍歷子route節(jié)點，如果匹配到，則將告警發(fā)送到該子route定義的receiver中，然后就停止匹配了。因為在route中
# continue默認為false，如果continue為true，則告警會繼續(xù)進行后續(xù)子route匹配。如果當前告警仍匹配不到任何的子route，則該告警將從其上一級(
# 匹配)route或者根route發(fā)出（按最后匹配到的規(guī)則發(fā)出郵件）。查看你的告警路由樹，https://www.prometheus.io/webtools/alerting/routing-tree-editor/,
# 將alertmanager.yml配置文件復制到對話框，然后點擊"Draw Routing Tree"
route:
  group_by: ['alertname']    # 用于分組聚合，對告警通知按標簽(label)進行分組，將具有相同標簽或相同告警名稱(alertname)的告警通知聚合在一個組，然后作為一個通知發(fā)送。如果想完全禁用聚合，可以設置為group_by: [...]
  group_wait: 30s    # 當一個新的告警組被創(chuàng)建時，需要等待'group_wait'后才發(fā)送初始通知。這樣可以確保在發(fā)送等待前能聚合更多具有相同標簽的告警，最后合并為一個通知發(fā)送。
  group_interval: 2m    # 當?shù)谝淮胃婢ㄖl(fā)出后，在新的評估周期內(nèi)又收到了該分組最新的告警，則需等待'group_interval'時間后，開始發(fā)送為該組觸發(fā)的新告警，可以簡單理解為，group就相當于一個通道(channel)。
  repeat_interval: 10m    # 告警通知成功發(fā)送后，若問題一直未恢復，需再次重復發(fā)送的間隔。
  receiver: 'email'        #  配置告警消息接收者，與下面配置的對應。例如常用的 email、wechat、slack、webhook 等消息通知方式。

receivers:    # 配置報警信息接收者信息。
- name: 'email'    # 警報接收者名稱
  email_configs:
  - to: '{{ template "email.to"}}'  # 接收警報的email（這里是引用模板文件中定義的變量）
    html: '{{ template "email.to.html" .}}' # 發(fā)送郵件的內(nèi)容（調(diào)用模板文件中的）
#    headers: { Subject: " {{ .CommonLabels.instance }} {{ .CommonAnnotations.summary }}" }    # 郵件標題，不設定使用默認的即可
    send_resolved: true        # 故障恢復后通知

groups:
- name: 服務器實例存活告警規(guī)則
  rules:
  - alert: 實例存活告警         # 告警規(guī)則的名稱（alertname）
    expr: up == 0               # expr 是計算公式，up指標可以獲取到當前所有運行的Exporter實例以及其狀態(tài)，即告警閾值為up==0
    for: 30s    # for語句會使 Prometheus 服務等待指定的時間, 然后執(zhí)行查詢表達式。（for 表示告警持續(xù)的時長，若持續(xù)時長小于該時間就不發(fā)給alertmanager了，大于該時間再發(fā)。for的值不要小于prometheus中的scrape_interval，例如scrape_interval為30s，for為15s，如果觸發(fā)告警規(guī)則，則再經(jīng)過for時長后也一定會告警，這是因為最新的度量指標還沒有拉取，在15s時仍會用原來值進行計算。另外，要注意的是只有在第一次觸發(fā)告警時才會等待(for)時長。）
    labels:             # labels語句允許指定額外的標簽列表，把它們附加在告警上。
      severity: Disaster
    annotations:                # annotations語句指定了另一組標簽，它們不被當做告警實例的身份標識，它們經(jīng)常用于存儲一些額外的信息，用于報警信息的展示之類的。
      summary: "節(jié)點失聯(lián)"
      description: "服務器實例節(jié)點斷聯(lián)已超過1分鐘！"
- name: 服務器實例內(nèi)存告警規(guī)則
  rules:
  - alert: "內(nèi)存使用率告警"
    expr: (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Buffers_bytes+node_memory_Cached_bytes )) / node_memory_MemTotal_bytes * 100 > 99        # 告警閾值為當內(nèi)存使用率大于75%
    for: 30s
    labels:
      severity: warning
    annotations:
      summary: "服務器內(nèi)存報警"
      description: "服務器實例內(nèi)存資源利用率大于75%！(當前值: {{ $value }}%)"
- name: 服務器實例磁盤報警規(guī)則
  rules:
  - alert: 磁盤使用率告警
    expr: (node_filesystem_size_bytes - node_filesystem_avail_bytes) / node_filesystem_size_bytes * 100 > 80    # 告警閾值為某個掛載點使用大于80%
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "服務器 磁盤報警"
      description: "服務器實例磁盤設備使用超過80%！(掛載點: {{ $labels.mountpoint }} 當前值: {{ $value }}%)"
- name: 服務器實例CPU報警規(guī)則
  rules:
  - alert: CPU使用率告警
    expr: ( 100 - (avg by (instance)(irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100))  > 70    # 告警閾值為CPU使用大于80%
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "服務器 CPU報警"
      description: "服務器實例CPU使用超過80%!當前值: {{ $value }}%"
- name: 服務器實例磁盤I/O讀報警規(guī)則
  rules:
  - alert: 磁盤讀 I/O 超過 30MB/s
    expr: irate(node_disk_read_bytes_total{device="sda"}[1m]) > 30000000
    for: 30s
    labels:
      severity: warning
    annotations:
      summary: "磁盤讀I/O 讀負載 告警通知"
      description: "服務器實例I/O 每分鐘讀已超過 30MB/s,當前值: {{ $value }}"
- name: 服務器實例磁盤I/O寫報警規(guī)則
  rules:
  - alert: 磁盤寫 I/O 超過 30MB/s
    expr: irate(node_disk_written_bytes_total{device="sda"}[1m]) > 30000000
    for: 30s
    labels:
      severity: warning
    annotations:
      summary: "磁盤寫I/O 寫負載 告警通知"
      description: "服務器實例I/O 每分鐘寫已超過 30MB/s,當前值: {{ $value }}"
- name: 服務器實例網(wǎng)卡流出速率報警規(guī)則
  rules:
  - alert: "網(wǎng)卡流出速率大于 10MB/s"
    expr: (irate(node_network_transmit_bytes_total{device!~"lo"}[1m]) / 1000) > 10000000
    for: 30s
    labels:
      severity: warning
    annotations:
      summary: "服務器實例 網(wǎng)卡流量負載 告警通知"
      description: "網(wǎng)卡流量已經(jīng)超過 10MB/s, 當前值: {{ $value }}"
- name: 服務器實例負載報警規(guī)則
  rules:
  - alert: "服務器負載大于4"
    expr: node_load5 > 4
    for: 30s
    labels:
      severity: warning
    annotations:
      summary: "服務器實例 負載 告警通知"
      description: "服務器實例負載已大于4, 當前值: {{ $value }}"