欢迎光临,赤鹿小组
记录过程,分享经验

Zabbix监控告警ELK

概述

Zabbix允许自定义监控项,使用ansible批量安装zabbix-agent,在部署有ansible工具的机器上编写监控ELK端口,ES集群状态,索引数量脚本,然后编写ansible-playbook发送脚本到所有agent机器上;当监控项被触发时,自动发送告警到钉钉机器人和企业微信号上;告警的次数是5次,告警的频率是每隔5分钟告警一次。

本文跳过ansible,zabbix和elk的部署操作,旨在呈现zabbix的相关功能!


准备环境

主机名 设备IP 角色 系统版本
es1 192.168.6.10 es,zabbix-server,zabbix-agent CentOS 7.6
es2 192.168.6.11 es,logstash,zabbix-agent CentOS 7.6
es3 192.168.6.12 es,kibana,zabbix-agent CentOS 7.6

本文的ELK全家桶版本为7.0.0,Zabbix版本为4.2.5


修改zabbix服务端的配置文件

主要参数说明:

StartPollers             处理zabbix数据的进程数
StartPollersUnreachable  recheck的进程数
StartTrappers            建立agent连接传输进程数
StartHTTPPollers         http检测
startDBSyncers           写入db进程
CacheSize                增加主机,监控项等配置缓存
DBName                   数据库名称
DBUser                   数据库用户名
DBPassword               数据库密码
StartDiscoverers         自动发现功能的进程数
AlertScriptsPath         告警脚本的存放路径
ExternalScripts          外部脚本的存放路径
StatsAllowedIP           服务端IP地址

具体的优化配置,根据自身环境来决定:

[[email protected] zabbix]# cat > /etc/zabbix/zabbix_server.conf <<EOF 
LogFile=/var/log/zabbix/zabbix_server.log
StartPollers=160
StartPollersUnreachable=80
StartTrappers=20
StartHTTPPollers=60
startDBSyncers=16
CacheSize=1024M
LogFileSize=0
PidFile=/var/run/zabbix/zabbix_server.pid
SocketDir=/var/run/zabbix
DBName=zabbix
DBUser=zabbix
DBPassword=123456
StartDiscoverers=30
SNMPTrapperFile=/var/log/snmptrap/snmptrap.log
Timeout=4
AlertScriptsPath=/usr/lib/zabbix/alertscripts
ExternalScripts=/usr/lib/zabbix/externalscripts
LogSlowQueries=3000
StatsAllowedIP=218.201.205.211
EOF

修改agent节点的配置文件

主要参数说明:

Server                  开启被动模式,配置为zabbix-server的IP地址
ServerActive            开启主动模式,配置为zabbix-server的IP地址
Hostname                配置为本地主机名
UnsafeUserParameters    允许自定义监控项功能

所有agent节点上都需要修改:

[[email protected] zabbix]# cat > /etc/zabbix/zabbix_agentd.conf <<EOF
PidFile=/var/run/zabbix/zabbix_agentd.pid
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=0
Server=192.168.6.10
ServerActive=192.168.6.10
Hostname=es1
Include=/etc/zabbix/zabbix_agentd.d/*.conf
UnsafeUserParameters=1
EOF

编写监控es端口脚本

脚本主要实现将端口json格式化,其他的服务端口监控脚本也类似,根据服务器来修改portarray的端口号即可!

[[email protected] zabbix]# cat > /etc/zabbix/es_port_alert.sh <<EOF
#!/bin/bash
portarray=(9200 9300)
PortDiscovery(){
    length=${#portarray[@]}
    printf "{\n" 
    printf '\t'"\"data\":["
    for ((i=0;i<$length;i++))
    do
            printf '\n\t\t{'
            printf "\"{#TCP_PORT}\":\"${portarray[$i]}\"}"
            if [ $i -lt $[$length-1] ];then
                    printf ','
            fi
    done
    printf "\n\t]\n"
    printf "}\n"
}
PortDiscovery
EOF

编写监控索引数据量脚本

使用python的elasticsearch模块编写dsl语句,得出每5分钟内指定索引的数据量,监控其他索引也类似,该脚本只需部署在一台服务器上即可!

[[email protected] zabbix]# cat > /etc/zabbix/index_alert.py <<EOF
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import time
import pytz
from datetime import datetime
from tzlocal import get_localzone
from elasticsearch import Elasticsearch

tz = get_localzone()
utc = pytz.utc
now = datetime.today()

loc_dt = tz.localize(now)
utc_dt = loc_dt.astimezone(utc)
today = datetime.strftime(utc_dt,'%Y%m')

index_today=("index_%s" % today)
es = Elasticsearch("http://192.168.6.10:9200")

def get_indices_nums():
    global index_today
    global es
    querybody_warn = {
         "size": 0,
         "query": {
             "bool": {
                  "filter": {
                       "range": {
                            "@timestamp": {
                                  "gte": "now-5m/m",
                                  "lte": "now/m"
                            }
                       }
                  }
              }
         }
    }
    response_warn = es.search(index=index_today, body=querybody_warn)
    reqsum = response_warn['hits']['total']['value']
    print reqsum

if __name__ == '__main__':
   get_indices_nums()
EOF

自定义key,将脚本定义为监控命令

除了事先定义好脚本的方式,还能用命令取值的方式来定义key!

[[email protected] zabbix]# cat > /etc/zabbix/zabbix_agentd.d/elk_alert.conf <<EOF
UserParameter=get_es_port,/etc/zabbix/es_port_alert.sh
UserParameter=get_index,/etc/zabbix/index_alert.py
UserParameter=get_es_status,curl -s -XGET 'http://localhost:9200/_cluster/health?pretty' | grep "status" | awk -F'"' '{print $4}' | grep -c 'red'
EOF

修改脚本相关权限,并重启服务

修改脚本的属主和组,赋予脚本执行权限,最后重启zabbix相关服务!

[[email protected] zabbix]# chown -R zabbix:zabbix /etc/zabbix/es_port_alert.sh
[[email protected] zabbix]# chown -R zabbix:zabbix /etc/zabbix/index_alert.py
[[email protected] zabbix]# chown -R zabbix:zabbix /etc/zabbix/zabbix_agentd.d/elk_alert.conf
[[email protected] zabbix]# chmod +x /etc/zabbix/es_port_alert.sh /etc/zabbix/index_alert.py
[[email protected] zabbix]# chmod +x /etc/zabbix/zabbix_agentd.d/elk_alert.conf

[[email protected] zabbix]# systemctl restart zabbix-server
[[email protected] zabbix]# systemctl restart zabbix-agent

测试自定义key

在zabbix服务器上操作,可测试所有客户端agent,-s后指定客户端地址,-k后指定自定义的key!

[[email protected] zabbix]# zabbix_get -s 192.168.6.10 -k get_es_port

配置ansible-playbook

通过编写ansible-playbook文件,完成其他agent节点的脚本批量部署!

[[email protected] zabbix]# cat > /etc/ansible/zabbix_agent.yml <<EOF
- hosts: elkservers
  remote_user: root
  tasks:
     - name: copying zabbix_agentd.conf
       copy:
          src: /etc/zabbix/zabbix_agentd.conf
          dest: /etc/zabbix/zabbix_agentd.conf
          owner: root
          group: root
          mode: 0644
    - name: copying es_port_alert.sh
      copy:
          src: /etc/zabbix/es_port_alert.sh
          dest: /etc/zabbix/es_port_alert.sh
          owner: zabbix
          group: zabbix
          mode: 0754
    - name: copying elk_alert.conf
      copy:
          src: /etc/zabbix/zabbix_agentd.d/elk_alert.conf
          dest: /etc/zabbix/zabbix_agentd.d/elk_alert.conf
          owner: zabbix
          group: zabbix
          mode: 0644
EOF

[[email protected] zabbix]# ansible-playbook /etc/ansible/zabbix_agent.yml

编写相关告警脚本

在zabbix服务器上操作,脚本要放在指定路径下;本文主要呈现钉钉机器人和企业微信号告警功能,告警内容使用了markdown格式;企业微信告警需要先安装python3环境;钉钉告警需要先获取自定义机器人webhook,可参考 https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq/9e91d73c

钉钉机器人告警

[[email protected] zabbix]# cat > /usr/lib/zabbix/alertscripts/dingding.py <<EOF
#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
import json
import requests
import sys

def send_msg(url, remiders, text):
    headers = {'Content-Type': 'application/json; charset=utf-8'}
    data = {
        "msgtype": "markdown",
        "markdown": {
             "title": "ELK告警",
             "text": text + "@13475333688 @18756668888"        # @手机号码,指定接收人
        },
        "at": {
            "atMobiles": remiders,
            "isAtAll": False
        }
    }
    r = requests.post(url, data=json.dumps(data), headers=headers).json()
    return r

if __name__ == '__main__':
    url = 'https://oapi.dingtalk.com/robot/send?access_token=bawfasaf8c023197526c29ddddd'
    remiders = ['13475333688', '18756668888']
    text = sys.argv[1]
    print(send_msg(url, remiders, text))
EOF

企业微信号告警

[[email protected] zabbix]# cat > /usr/lib/zabbix/alertscripts/weixin.py <<EOF
#!/usr/bin/python3
# -*- coding:utf-8 -*-
import requests
import json
import sys

# 企业号及应用相关信息
corp_id = 'ww730dff80343abcdf'
corp_secret = 'iufX35rEGz4Q9qJezIhHCT4S-k_f331kP69D3abcdef'
agent_id = '1000001'

# 存放access_token文件路径
file_path = '/tmp/access_token.log'

# 读取文本里记录的token
def get_access_token_from_file():
    try:
        f = open(file_path, 'r+')
        this_access_token = f.read()
        print('get success %s' % this_access_token)
        f.close()
        return this_access_token
    except Exception as e:
        print(e)

# 获取token函数,文本里记录的token失效时调用
def get_access_token():
    get_token_url = 'https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=%s&corpsecret=%s' % (corp_id, corp_secret)
    print(get_token_url)
    r = requests.get(get_token_url)
    request_json = r.json()
    this_access_token = request_json['access_token']
    print(this_access_token)
    r.close()

    # 把获取到的access_token写入文本
    try:
        f = open(file_path, 'w+')
        f.write(this_access_token)
        f.close()
    except Exception as e:
        print(e)

    # 返回获取到的access_token值
    return this_access_token

##发送消息
# 死循环,直到消息成功发送
flag = True
while(flag):
    # 从文本获取access_token
    access_token = get_access_token_from_file()
    try:
        to_user = '@all'
        message = sys.argv[1]
        send_message_url = 'https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=%s' % access_token
        print(send_message_url)
        message_params = {
            "touser": to_user,
            "msgtype": "markdown",
            "agentid": agent_id,
            "markdown": {
                "content": message
            },
            "safe": 0
        }
        r = requests.post(send_message_url, data=json.dumps(message_params))
        print('post success %s' % r.text)

        # 判断是否发送成功,如不成功则抛出异常,让其执行异常处理里的函数
        request_json = r.json()
        errmsg = request_json['errmsg']
        if errmsg != 'ok': raise

        # 消息成功发送,则停止死循环
        flag = False
    except Exception as e:
        print(e)
        access_token = get_access_token()
EOF

修改相关权限,并重启zabbix服务

[[email protected] zabbix]# chown -R zabbix:zabbix /usr/lib/zabbix/alertscripts/dingding.py
[[email protected] zabbix]# chown -R zabbix:zabbix /usr/lib/zabbix/alertscripts/weixin.py
[[email protected] zabbix]# chmod +x /usr/lib/zabbix/alertscripts/dingding.py
[[email protected] zabbix]# chmod +x /usr/lib/zabbix/alertscripts/weixin.py

[[email protected] zabbix]# systemctl restart zabbix-server
[[email protected] zabbix]# systemctl restart zabbix-agent

Zabbix中文界面操作

监控端口(以配置ES端口监控模板为例)

配置 --> 模板 --> 创建模板 --> 添加
模板名称     ES_Port_Alert
可见的名称   ES端口监控
群组        Linux server


配置 --> 模板(ES端口监控) --> 自动发现规则 --> 创建发现规则 --> 添加
名称      ES_Port_Discovey
类型      Zabbix客户端(主动式)
键值      get_es_port    # 该键值名称必须与自定义的key名一致
更新间隔  30s            # 数据采集的频率,此处指30s采集一次


配置 --> 模板(ES端口监控) --> 自动发现规则 --> 监控项原型 --> 创建监控项原型 --> 添加
名称                {#TCP_PORT}端口
类型                Zabbix客户端(主动式)
键值                net.tcp.listen[{#TCP_PORT}]
信息类型            数字(无正负)
新的应用程序原型     port-alert


配置 --> 模板(ES端口监控) --> 自动发现规则 --> 触发器类型 --> 创建触发器原型 --> 添加
名称            端口{#TCP_PORT} down,请检查
严重性          严重
表达式          {ES_Port_Alert:net.tcp.listen[{#TCP_PORT}].last()}<>1 and {ES_Port_Alert:net.tcp.listen[{#TCP_PORT}].nodata(15m)}=1
允许手动关闭
描述            监控结果不等于1,并且端口断开持续15分钟,即表示es端口未被监控到!


配置ES集群状态监控模板

配置 --> 模板 --> 创建模板 --> 添加
模板名称     ES_Status_Alert
可见的名称   ES集群状态监控
群组        Linux servers


配置 --> 模板(ES集群状态监控) --> 应用集 --> 创建应用集 --> 添加
名称      ES_Health


配置 --> 模板(ES集群状态监控) --> 监控项 --> 创建监控项 --> 添加
名称      ES_Status_Check
类型      Zabbix客户端(主动式)
键值      get_es_status
信息类型  数字(无正负)
应用集    ES_Health


配置 --> 模板(ES集群状态监控) --> 触发器 --> 创建触发器 --> 添加
名称           ES_Cluster_Health
严重性         灾难
表达式         {ES_Status_Alert:get_es_status.last()}<>0 and {ES_Status_Alert:get_es_status.nodata(15m)}=1
允许手动关闭
描述           状态值不为0,并且持续15分钟,即表示集群状态为Red


配置ES索引监控模板

配置 --> 模板 --> 创建模板 --> 添加
模板名称     Indices_index_Alert
可见的名称   回填索引监控
群组        Linux servers


配置 --> 模板(回填索引监控) --> 应用集 --> 创建应用集 --> 添加
名称      index_*


配置 --> 模板(回填索引监控) --> 监控项 --> 创建监控项 --> 添加
名称      索引index_gz
类型      Zabbix客户端(主动式)
键值      get_index
信息类型  数字(无正负)
应用集    index_*


配置 --> 模板(回填索引监控) --> 触发器 --> 创建触发器 --> 添加
名称      回填索引入库数据=0
严重性    严重
表达式    {Indices_index_Alert:get_index.last(#1)}<=0 and {Indices_index_Alert:get_index.nodata(15m)}=1
允许手动关闭
描述      最近5分钟的回填索引 index_* 数量小于等于0,且持续15分钟


自动发现主机,添加发现主机,为主机关联模板 以下以主机es1为例

配置 --> 自动发现 --> 创建发现规则 --> 添加
名称      Local network
IP范围    192.168.6.0-254
更新间隔  1h
检查     新的(检查类型:Zabbix客户端,端口范围:10050,键值:system.uname) --> 添加


配置 --> 主机 --> 创建主机 --> 添加
主机名称            es1
群组                Linux servers
agent代理程序的接口  (IP地址:192.168.6.10,连接到:IP地址,端口:10050) --> 添加


配置 --> 主机(es1) --> 模板 --> 更新
链接指示器(选择对应模板)--> 添加


实现钉钉机器人告警功能 企业微信号告警配置与此雷同

管理--> 报警媒介类型 --> 创建媒体类型 --> 添加
名称      dingalert_script
类型      脚本
脚本名称  dingding.py      # 该名称必须与服务端上创建的一致
脚本参数  {ALERT.MESSAGE}  --> 添加


管理--> 用户(Admin) --> 报警媒介 --> 添加 --> 更新
类型      dingalert_script
收件人    Admin


配置 --> 动作 --> 创建动作 --> 添加
名称   alert_to_ding
操作 --> 新的 --> 添加
恢复操作 --> 新的 --> 添加(与操作类似)



测试钉钉机器人告警功能

管理 --> 报警媒介类型 --> 测试
收件人    Admin
主题      Test subject
消息      This is the test message from Zabbix


真实告警案例


Zabbix监控告警ELK相关内容已到此为止,上面的演示都是针对es服务,其他的logstash和kibana也是差不多操作,仔细瞧瞧吧!

赞(2)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址