mysql能监控和分析(如何实时监控mysql中的SQL语句的执行情况)

一、如何设计一个mysql性能监控的软件

首先介绍下 pt-stalk，它是 Percona-Toolkit工具包中的一个工具，说起 PT工具包大家都不陌生，平时常用的 pt-query-digest、 pt-online-schema-change等工具都是出自于这个工具包，这里就不多介绍了。

pt-stalk的主要功能是在出现问题时收集 OS及 MySQL的诊断信息，这其中包括：

1. OS层面的 CPU、IO、内存、磁盘、网络等信息；

2. MySQL层面的行锁等待、会话连接、主从复制，状态参数等信息。

而且 pt-stalk是一个 Shell脚本，对于我这种看不懂 perl的人来说比较友好，脚本里面的监控逻辑与监控命令也可以拿来参考，用于构建自己的监控体系。

三、使用

接着我们来看下如何使用这个工具。

pt-stalk通常以后台服务形式监控 MySQL并等待触发条件，当触发条件时收集相关诊断数据。

触发条件相关的参数有以下几个：

function：

∘默认为 status，代表监控 SHOW GLOBAL STATUS的输出；

∘也可以设置为 processlist，代表监控 show processlist的输出；

variable：

∘默认为 Threads_running，代表监控参数，根据上述监控输出指定具体的监控项；

threshold：

∘默认为 25，代表监控阈值，监控参数超过阈值，则满足触发条件；

∘监控参数的值非数字时，需要配合 match参数一起使用，如 processlist的 state列；

cycles：

∘默认为 5，表示连续观察到五次满足触发条件时，才触发收集；

连接参数：host、password、port、socket。

其他一些重要参数：

iterations：该参数指定 pt-stalk在触发收集几次后退出，默认会一直运行。

run-time：触发收集后，该参数指定收集多长时间的数据，默认 30秒。

sleep：该参数指定在触发收集后，sleep多久后继续监控，默认 300秒。

interval：指定状态参数的检查频率，判断是否需要触发收集，默认 1秒。

dest：监控数据存放路径，默认为/var/lib/pt-stalk。

retention-time：监控数据保留时长，默认 30天。

daemonize：以后台服务运行，默认不开启。

log：后台运行日志，默认为/var/log/pt-stalk.log。

collect：触发发生时收集诊断数据，默认开启。

∘collect-gdb：收集 GDB堆栈跟踪，需要 gdb工具。

∘collect-strace：收集跟踪数据，需要 strace工具。

∘collect-tcpdump：收集 tcpdump数据，需要 tcpdump工具。

二、mysql 5.0与5.5在那些方面不同

MySQL 4.1/5.0/5.1/5.5/5.6各版本的主要区别

1、4.1增加了子查询的支持，字符集增加UTF-8，GROUP BY语句增加了ROLLUP，mysql.user表采用了更好的加密算法。

2、5.0增加了Stored procedures、Views、Cursors、Triggers、XA transactions的支持，增加了INFORATION_SCHEMA系统数据库。

3、5.1增加了Event scheduler，Partitioning，Pluggable storage engine API，Row-based replication、Global级别动态修改general query log和slow query log的支持。

4、5.5的新特征

1)默认存储引擎更改为InnoDB

2)提高性能和可扩展性

a.提高了默认线程并发数(innodb_thread_concurrency)

b.后台输入/输出线程控制（innodb_read_io_threads、innodb_write_io_threads）

c.主线程输入/输出速率控制（innodb_io_capacity）

d.操作系统内存分配程序使用控制(innodb_use_sys_malloc)

e.适应性散列索引(Hash Index)控制，用户可以关闭适应性散列功能。

f.插入缓冲（Insert Buffering）控制，用户可以关闭innodb的插入缓冲功能。

g.通过快速加锁算法提高可扩展性，innodb不在使用代理(posix)线程,而是使用原生的独立操作来完成互斥和读写锁定。

h.恢复组提交（Restored Group Commit）

i.提高恢复性能

j.多缓冲池实例

k.多个回滚段（Multiple Rollback Segments）,之前的innodb版本最大能处理1023个并发处理操作，现在mysql5.5可以处理高达128K的并发事物，

l. Linux系统固有的异步输入/输出，mysql5.5数据库系统也提高了linux系统的输入输出请求的并发数。

m.扩展变化缓冲：添加了删除缓冲和清除缓冲

n.改善了日志系统互斥和单独刷新（Flush）列表互斥

o.改善清除程序进度，在mysql5.5中清楚操作线程是独立的线程，并支持并发，可以使用innodb_purge_treads配置。

p.改善事务处理中的元数据锁定。例如，事物中一个语句需要锁一个表，会在事物结束时释放这个表，而不是像以前在语句结束时释放表。

3)提高实用性

a.半同步复制（Semi-synchronous Replication）

b.复制Heartbeat

c.中继日志自动恢复（Automatic Relay Log Recovery）

d.根据服务器过滤项复制（Replication Per Server Filtering）

e.从服务器复制支持的数据类型转换（Replication Slave Side Data Type Conversions）

4)提高易管理性和效率

a.建立快速索引（Faster Index Creation）

b.高效的数据压缩（Efficient Data Compression）

c.为大物件和可变长度列提供高效存储

d.增加了INFORMATION_SCHEMA表，新的表提供了与InnoDB压缩和事务处理锁定有关的具体信息。

5)提高可用性

a.针对SIGNAL/RESIGNAL的新SQL语法

b.新的表/索引分区选项。MySQL5.5将表和索引RANG和LIST分区范围扩展到了非整数列和日期，并增加了在多个列上分区的能力。

6)改善检测和诊断

Mysql5.5引入了一种新的性能架构(performancn_shema,P_S),用于监控mysql监控服务器运行时的性能。

5、5.6的新特征 1)InnoDB现在可以限制大量表打开的时候内存占用过多的问题（比如这里提到的）(第三方已有补丁)

2)InnoDB性能加强。如分拆kernel mutex;flush操作从主线程分离;多个perge线程;大内存优化等

3)InnoDB死锁信息可以记录到 error日志，方便分析

4)MySQL5.6支持延时复制，可以让slave跟master之间控制一个时间间隔，方便特殊情况下的数据恢复。

5)表分区功能增强

6)MySQL行级复制功能加强，可以降低磁盘、内存、网络等资源开销（只记录能确定行记录的字段即可）

7)Binlog实现 crash-safe

8)复制事件采用crc32校验，增强master/slave复制数据一致性

9)新增 log_bin_basename（以前variables里面没有binlog位置信息，对数据库的监管很不方便）

三、如何实时监控mysql中的SQL语句的执行情况

首先介绍下 pt-stalk，它是 Percona-Toolkit工具包中的一个工具，说起 PT工具包大家都不陌生，平时常用的 pt-query-digest、 pt-online-schema-change等工具都是出自于这个工具包，这里就不多介绍了。

pt-stalk的主要功能是在出现问题时收集 OS及 MySQL的诊断信息，这其中包括：

1. OS层面的 CPU、IO、内存、磁盘、网络等信息；

2. MySQL层面的行锁等待、会话连接、主从复制，状态参数等信息。

而且 pt-stalk是一个 Shell脚本，对于我这种看不懂 perl的人来说比较友好，脚本里面的监控逻辑与监控命令也可以拿来参考，用于构建自己的监控体系。

三、使用

接着我们来看下如何使用这个工具。

pt-stalk通常以后台服务形式监控 MySQL并等待触发条件，当触发条件时收集相关诊断数据。

触发条件相关的参数有以下几个：

function：

∘默认为 status，代表监控 SHOW GLOBAL STATUS的输出；

∘也可以设置为 processlist，代表监控 show processlist的输出；

variable：

∘默认为 Threads_running，代表监控参数，根据上述监控输出指定具体的监控项；

threshold：

∘默认为 25，代表监控阈值，监控参数超过阈值，则满足触发条件；

∘监控参数的值非数字时，需要配合 match参数一起使用，如 processlist的 state列；

cycles：

∘默认为 5，表示连续观察到五次满足触发条件时，才触发收集；

连接参数：host、password、port、socket。

其他一些重要参数：

iterations：该参数指定 pt-stalk在触发收集几次后退出，默认会一直运行。

run-time：触发收集后，该参数指定收集多长时间的数据，默认 30秒。

sleep：该参数指定在触发收集后，sleep多久后继续监控，默认 300秒。

interval：指定状态参数的检查频率，判断是否需要触发收集，默认 1秒。

dest：监控数据存放路径，默认为/var/lib/pt-stalk。

retention-time：监控数据保留时长，默认 30天。

daemonize：以后台服务运行，默认不开启。

log：后台运行日志，默认为/var/log/pt-stalk.log。

collect：触发发生时收集诊断数据，默认开启。

∘collect-gdb：收集 GDB堆栈跟踪，需要 gdb工具。

∘collect-strace：收集跟踪数据，需要 strace工具。

∘collect-tcpdump：收集 tcpdump数据，需要 tcpdump工具。