运维要失业了？机器学习可自动优化你的数据库管理系统（DBMS）

云头条 · 公众号 · 科技媒体 · 2017-06-04 22:14

正文

请到「今天看啥」查看全文

在新的调优会话的开始阶段，用户告诉OtterTune优化哪个特定目标（比如延迟或吞吐量）。客户端控制器连接至目标DBMS，并收集Amazon EC2实例类型和当前目标。

然后，控制器开始了第一个观察期，在此期间它观察DBMS，并记录特定目标。观察期结束后，控制器收集来自DBMS的内部度量指标，比如MySQL针对从磁盘读取的页面和写入到磁盘的页面的计数。控制器将特定目标和内部度量指标都返回给调优管理器。

OtterTune的调优管理器收到度量指标后，将它们存储在资料库中。OtterTune使用结果来计算控制器应安装到目标DBMS上的下一个配置。调优管理器将该配置返回给控制器，并通过实际运行来估计预期的改进。用户可以决定继续调优会话，还是终结调优会话。

说明

OtterTune为它支持的每个DBMS版本维护一份按钮黑名单。该黑名单包括没必要调优的按钮（比如DBMS存储文件的路径名称），或者可能有严重后果或隐性后果的按钮（比如可能会引起DBMS丢失数据）。在每次调优会话的开始阶段，OtterTune向用户提供黑名单，那样用户就能添加他们想要OtterTune避免调优的其他任何按钮。

OtterTune作出某些假设，可能会限制其对一些用户而言的用处。比如说，它假设用户拥有管理员权限，让控制器可以修改DBMS的配置。如果用户没有管理员权限，那么他们可以将数据库的第二个副本部署到其他硬件上，以便OtterTune的调优试验。这要求用户重放工作负载跟踪，或者转发来自生产级DBMS的查询。想了解假设和限制方面的完整讨论，请参阅我们的论文（http://db.cs.cmu.edu/papers/2017/tuning-sigmod2017.pdf）。

机器学习管道

下面这张图显示了数据在通过OtterTune的机器学习管道传输时如何加以处理。所有观察结果都放在OtterTune的资料库中。

OtterTune先把观察结果传送到Workload Characterization组件。该组件识别一小批最准确地采集性能变化和不同工作负载独特特点的DBMS度量指标。

接下来，Knob Identification组件生成一份按钮排序表，列出了对DBMS的性能影响最大的按钮。然后，OtterTune将所有这些信息馈送给Automatic Tuner。该组件将目标DBMS的工作负载与数据资料库中最相似的工作负载对应起来，并重复使用该工作负载数据，生成更合适的配置。