关于MySQL 通用查询日志和慢查询日志分析

代码狂魔 2018-11-13 13:38:45 ⋅ 527 阅读

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。

1)通用查询日志:记录建立的客户端连接和执行的语句。

2)慢查询日志:记录所有执行时间超过longquerytime秒的所有查询或者不使用索引的查询

(1)通用查询日志

在学习通用日志查询时,需要知道两个数据库中的常用命令:

1) show variables like ‘%general%’;

可以查看,当前的通用日志查询是否开启,如果general_log的值为ON则为开启,为OFF则为关闭(默认情况下是关闭的)。

1) show variables like ‘%log_output%’;

查看当前慢查询日志输出的格式,可以是FILE(存储在数数据库的数据文件中的hostname.log),也可以是TABLE(存储在数据库中的mysql.general_log)

问题:如何开启MySQL通用查询日志,以及如何设置要输出的通用日志输出格式呢?

开启通用日志查询: set global general_log=on;

关闭通用日志查询: set global general_log=off;

设置通用日志输出为表方式: set global log_output=’TABLE’;

设置通用日志输出为文件方式: set global log_output=’FILE’;

设置通用日志输出为表和文件方式:set global log_output=’FILE,TABLE’;

(注意:上述命令只对当前生效,当MySQL重启失效,如果要永久生效,需要配置 my.cnf)

my.cnf文件的配置如下:

general_log=1  #为1表示开启通用日志查询,值为0表示关闭通用日志查询

log_output=FILE,TABLE#设置通用日志的输出格式为文件和表

(2)慢查询日志

MySQL的慢查询日志是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阈值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中(日志可以写入文件或者数据库表,如果对性能要求高的话,建议写文件)。默认情况下,MySQL数据库是不开启慢查询日志的,long_query_time的默认值为10(即10秒,通常设置为1秒),即运行10秒以上的语句是慢查询语句。

一般来说,慢查询发生在大表(比如:一个表的数据量有几百万),且查询条件的字段没有建立索引,此时,要匹配查询条件的字段会进行全表扫描,耗时查过long_query_time,

则为慢查询语句。

问题:如何查看当前慢查询日志的开启情况?

在MySQL中输入命令:

show variables like ‘%quer%’;

主要掌握以下的几个参数:

(1)slow_query_log的值为ON为开启慢查询日志,OFF则为关闭慢查询日志。

(2)slow_query_log_file 的值是记录的慢查询日志到文件中(注意:默认名为主机名.log,慢查询日志是否写入指定文件中,需要指定慢查询的输出日志格式为文件,相关命令为:show variables like ‘%log_output%’;去查看输出的格式)。

(3)long_query_time 指定了慢查询的阈值,即如果执行语句的时间超过该阈值则为慢查询语句,默认值为10秒。

(4)log_queries_not_using_indexes 如果值设置为ON,则会记录所有没有利用索引的查询(注意:如果只是将log_queries_not_using_indexes设置为ON,而将slow_query_log设置为OFF,此时该设置也不会生效,即该设置生效的前提是slow_query_log的值设置为ON),一般在性能调优的时候会暂时开启。

问题:设置MySQL慢查询的输出日志格式为文件还是表,或者两者都有?

通过命令:show variables like ‘%log_output%’;

通过log_output的值可以查看到输出的格式,上面的值为TABLE。当然,我们也可以设置输出的格式为文本,或者同时记录文本和数据库表中,设置的命令如下:

#慢查询日志输出到表中(即mysql.slow_log)

set globallog_output=’TABLE’;

#慢查询日志仅输出到文本中(即:slow_query_log_file指定的文件)

setglobal log_output=’FILE’;

#慢查询日志同时输出到文本和表中

setglobal log_output=’FILE,TABLE’;  

关于慢查询日志的表中的数据个文本中的数据格式分析:

慢查询的日志记录myql.slow_log表中,格式如下:

慢查询的日志记录到hostname.log文件中,格式如下:

可以看到,不管是表还是文件,都具体记录了:是那条语句导致慢查询(sql_text),该慢查询语句的查询时间(query_time),锁表时间(Lock_time),以及扫描过的行数(rows_examined)等信息。

问题:如何查询当前慢查询的语句的个数?

在MySQL中有一个变量专门记录当前慢查询语句的个数:

输入命令:show global status like ‘%slow%’;

 

注意:上述所有命令,如果都是通过MySQL的shell将参数设置进去,如果重启MySQL,所有设置好的参数将失效,如果想要永久的生效,需要将配置参数写入my.cnf文件中)。

补充知识点:如何利用MySQL自带的慢查询日志分析工具mysqldumpslow分析日志?

perlmysqldumpslow –s c –t 10 slow-query.log

具体参数设置如下:

-s 表示按何种方式排序,c、t、l、r分别是按照记录次数、时间、查询时间、返回的记录数来排序,ac、at、al、ar,表示相应的倒叙;

-t 表示top的意思,后面跟着的数据表示返回前面多少条;

-g 后面可以写正则表达式匹配,大小写不敏感。

上述中的参数含义如下:

Count:414            语句出现了414次;

Time=3.51s(1454)  执行最长时间为3.51s,累计总耗费时间1454s;

Lock=0.0s(0)           等待锁最长时间为0s,累计等待锁耗费时间为0s;

Rows=2194.9(9097604) 发送给客户端最多的行数为2194.9,累计发送给客户端的函数为90976404

注意:mysqldumpslow脚本是用perl语言写的,具体mysqldumpslow的用法后期再讲)

问题:实际在学习过程中,如何得知设置的慢查询是有效的?

很简单,我们可以手动产生一条慢查询语句,比如,如果我们的慢查询log_query_time的值设置为1,则我们可以执行如下语句:

selectsleep(1);

该条语句即是慢查询语句,之后,便可以在相应的日志输出文件或表中去查看是否有该条语句。

---------------END----------------

后续的内容同样精彩

长按关注“IT实战联盟”哦



全部评论: 0

    我有话说:

    专业解决 MySQL 查询速度与性能差

    什么影响了数据库查询速度?关于数据库性能并不是DBA才关心的事。

    「转载」微服务分布式架构中,如何实现日志链路跟踪?

    背景 开发排查系统问题用得最多的手段就是查看系统日志,在分布式环境中一般使用ELK来统一收集日志,但是在并发大时使用日志定位问题还是比较麻烦,我们来看下面的图     上图

    「性能与架构」MySQL 8 查询优化新工具 Explain Analyze

    Explain 是我们常用的查询分析工具,可以对查询语句的执行方式进行评估,给出很多有用的线索。

    GoAccess 1.4.4 发布,日志分析工具

    GoAccess 1.4.4 发布了。GoAccess 是一个基于终端的快速日志分析器。其核心思想是实时快速分析查看 Web 服务器统计信息,而无需使用浏览器,适合希望通过 SSH 快速分析访问日

    Mysql优化---订单查询优化(1):视图优化+索引创建

    本文针对电商的订单业务进行的Mysql优化

    「开源资讯」MySQL 8.0.22 GA发布,有变化

      MySQL 最新版本 8.0.22 于2020年10月19日正式发布。 主要新变化 改进审计日志:对于JSON格式的日志文件,MySQL企业审计支持使用audit_log_read

    MySql 8 新特性 - CTE 通用表表达式(先睹为快)

    前言Mysql 8 正式发布了,新增了很多优秀特性,之后我会挑些重点来分享。下面大家一起熟悉下 CTE......

    Plumelog 3.3-RELEASE 已经发布,分布式日志组件

    ,设置链路ID,方便查询关联日志 基于ela...

    Apache SkyWalking 8.2.0 发布:新增浏览器端监控指标分析语言、使用标签查询

    Apache SkyWalking 8.2.0 已发布,SkyWalking 是观察性分析平台应用性能管理系统 (APM),提供分布式追踪、服务网格遥测分析、度量聚合可视化一体化解决方案,支持

    xrkmonitor 字符云监控系统 v3.3 日志系统增强

    该版本主要增强日志系统功能,包括引入通用日志文件监控插件,核心代码上日志系统新增日志日志类型统计图表,日志系统按配置大小自动滚动日志;插件架构上,插件配置项通过引用排序权重可实现排序显示,插件的

    Java Web实战篇-轻松提高千万级数据库查询效率

    通过优化数据库设计、java后台数据库优化达到提高千万级数据查询的效率。

    58技术:基于Elastic Stack的海量日志分析平台实践

    背景 随着58集团业务的飞速发展,日志数量也呈现指数级增长。传统的日志处理方案,已不再适用,此时急需一套功能强大、稳定可靠的日志处理系统。 ​为解集团燃眉之急,DB部门自2018年初着手调研解决方案

    为什么说作为程序员分库分表的必要性一定要掌握?

      互联网大厂程序员必须掌握海量数据高并发问题处理技能,期望进入大厂的程序员一定要仔细看这篇! MySQL 分库分表是做什么的? 相信很多程序员对 MySQL 都比较熟悉了,目前国内

    日志分析工具 GoAccess v1.3 发布,支持简体中文

    GoAccess 是一个专门用来分析日志的工具,既可以在终端中展示结果,也可以生成 HTML 报表在浏览器中查看。GoAccess 最吸引人的一点就是它生成的 HTML 足够炫酷(ÒωÓױ)。

    MySql实战篇:正确理解并使用MySql索引

    索引是存储引擎用于快速查找记录的一种数据结构,通过合理的使用数据库索引可以大大提高系统......

    MySQL可视化管理后台,phpMyAdmin 4.9.3 5.0.0 发布,

    phpMyAdmin是一个非常受欢迎的基于web的MySQL数据库管理工具。

    MySql实战篇:写一个简单的存储过程,完成订单定时任务

    前言之前我们分享MySql的性能优化、索引详解等内容,本篇文章主要是针对想要入门MySql存储过程的读者,主要实现的业务是订单库里面的超过30分钟没有支付的订单全部置为失效订单......

    SpringBoot+kafka+ELK分布式日志收集

    Elasticsearch是一个高度可扩展的开源全文搜索分析引擎。它允许您快速、实时地存储、搜索分析大量数据。