基于InfluxDB+Grafana打造大数据监控利器

正文

请到「今天看啥」查看全文

mobile_num=21 1493571600000000000"

说明：

• db=Interne是指使用Interne数据库；

• --data-binary后面是需插入数据，其中：

1. Internet_users：表名（measurement）

2. tag字段：users和mobile,值分别为：小区上网用和移动端上网用户

3. field key字段：users_num和mobile_num，值分别为56和21

4. 时间戳（timestamp）：1493571600000000000

这样，就向Interne数据库的Internet_users表中插入了一条数据。

需要注意，DB参数必须指定一个数据库中已经存在的数据库名，数据体的格式遵从InfluxDB规定格式，首先是表名，后面是tags，然后是field，最后是时间戳。tags、field和时间戳三者之间以空格相分隔。

InfluxDB 数据可视化工具

InfluxDB 用于存储基于时间的数据，比如监控数据，因为InfluxDB本身提供了Http API，所以可以使用InfluxDB很方便的搭建了个监控数据存储中心。对于InfluxDB中的数据展示，这里不得不提数据展示利器-Grafana。

二、Grafana

一个纯粹的HTML/JS应用，其功能非常强大，访问InfluxDB时不会有跨域访问的限制。只要配置好数据源为InfluxDB之后就可以，剩下的工作就是配置图表。

配置数据源：

设置查询条件：

展示数据：

Grafana 告警功能

没有比”可视化“更好的一个词能来概括运维的本质，我想Grafana也是深知广大运维人员的痛处：如何用可视化数据说话？ 所以Grafana在 4.0以后版本：新增报警功能（Alerting），根据官网介绍，Grafana报警方式也有很多种，常见的Email、Slack即时通讯、webhook等。

下图为目前集群Grafana监控界面，主要包含对集群主机CPU、内存配合Grafana的阈值预警功能：

主机内存和CPU使用率监控：

通过规则配置，可配置相关监控规则，包含相关逻辑与时间跨度以及监控告警条件。目前，仅支持一种条件类型—— Query 。可以指定Query字母，时间跨度和聚合函数。字母指定你在Metrics tab里设置的聚合函数。Query的结果和聚合函数将会是一个单一的值，用于后面判断是否超过了阈值。

规则配置完成后可在报警列表里统一查看报表状态：

三、实践案例

1、数据采集规划

目前采集数据主要来源于Hadoop的jmx监控，获取相关Cluster、Queue等Metrics信息以及部分Oracle日志信息，通过相关接口写入InfluxDB数据库，根据来源及日志信息从数据库层进行独立管理设计，以便后续维护。

2 、InfluxDB数据库权限配置

InfluxDB自带权限控制，权限分别为：

• ADMIN：所有者

• READ :只读 （精确到库与表）

• WRITE：只写 （精确到库与表）

• ALL (READ 和 WRITE ) ：读和写

鉴于源数据流，目前只会用到三个角色，对于这三个角色分工如下：

• ADMIN：维护人员

• READ：数据展示与后台查询（Grafana上设置的Influnxdb为只读）

• WRITE：外部程序（插入数据至Influnxdb）

配置数据库权限需开启相关认证，操作如下：

vi /etc/InfluxDB/InfluxDB.conf

请到「今天看啥」查看全文