服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

综述 | 数据库系统参数调优方法

日期: 来源:计算机研究与发展收集编辑:曹蓉,  鲍亮等

数据库系统参数调优方法综述

摘要

       数据库系统具有大量的配置参数,参数配置不同会导致系统运行时很大的性能差异. 参数优化技术通过选择合适的参数配置,能够提升数据库对当前场景的适应性,因此得到国内外研究人员的广泛关注.

       通过对现有的数据库参数调优方法进行总结分析,根据参数优化方法是否具有应对环境变化的能力,将现有工作分为固定环境下的数据库参数优化方法和变化环境下的数据库参数优化方法2类. 对于固定环境下的参数优化方法,按照方法是否具有从历史任务中学习的能力将研究工作分为传统的参数优化方法和基于机器学习的参数优化方法2类并分别进行介绍. 对于变化环境下的参数优化方法,按照不同的变化场景对现有工作进行分类介绍. 最后,总结了现有工作中各类方法的优缺点,并对目前研究中待解决的问题和可能发展的方向进行了讨论.     


内容简介

       1.首先对背景知识和研究问题进行了介绍,并给出数据库参数优化问题所面临的挑战.

       2.然后对现有参数优化方法进行分类介绍. 将现有工作分为固定环境下的参数优化方法和变化环境下的参数优化方法2类. 在固定环境下的数据库参数优化方面,将现有方法分为传统的参数优化方法和基于机器学习的参数优化方法2类.  在变化环境下的数据库参数优化方面,将现有工作分为针对工作负载变化、针对软件版本变化、针对硬件变化和针对多种环境变化4个场景进行讨论.

       3.最后,本文对研究现状进行总结,对比分析了各种方法的优势和不足,并给出了未来的研究方向与挑战.


亮点图文

      如表1所示. 表1中罗列了基于机器学习的数据库参数优化和性能预测方法,以及方法中所使用的机器学习技术、训练难度以及实现目标. 其中,训练难度通过综合考量机器学习模型复杂度、技术难易度以及训练时长进行评价,星号越多表示训练难度较高.

      与iTuned类似,OtterTune也提出了一种自动数据库参数优化策略,它的创新之处在于可以利用以前参数优化的经验,并结合新的样本来优化数据库参数. 为了实现这一目标,OtterTune综合使用了有监督和无监督的机器学习方法. 下图中显示了整个流程,包括3个阶段:1) 工作负载特性描述(删除冗余度量指标);2) 重要参数识别;3) 自动调优.

      如下图描述了强化学习中6个关键元素的交互关系,并展示了CDBTune中6个元素与数据库参数优化之间的对应关系. 

      利用其他环境中的知识(例如性能度量样本或性能预测模型)来辅助进行性能建模和优化任务,已成为近年来的研究热点. 目前关于这一问题的研究工作相对较少,其中一些研究工作集中于应对3类环境变化中的某一种,也有一部分研究工作可应用于多种不同的环境变化场景中,如表2所示. 本文对这些研究工作进行分类介绍.

      除了将各类参数优化方法在应对数据库参数优化三大挑战时的能力进行对比之外,本文根据每种方法的优缺点及目前研究工作中展示的实验结果,对各种参数优化方法的精确性和通用性进行了对比分析,结果如表3所示. 

研究方向与挑战

       针对数据库参数优化问题,目前的研究成果还存在诸多不足,不能有效指导参数优化过程. 归纳起来,主要的研究方向与挑战有3个方面:

    1. 基于机器学习的数据库参数优化. 

    2. 基于迁移学习的数据库参数优化.

    3. 自治数据库.


引用格式


 

曹蓉, 鲍亮, 崔江涛, 李辉, 周恒. 数据库系统参数调优方法综述[J]. 计算机研究与发展, 2023, 60(3): 635-653.

Cao Rong, Bao Liang, Cui Jiangtao, Li Hui, Zhou Heng. Survey of Approaches to Parameter Tuning for Database Systems[J]. Journal of Computer Research and Development, 2023, 60(3): 635-653.

扫码可获取全文


 
关注J-CRAD服务号

同步网站功能

手机获取网刊

 
近期专题系列

专题 | 大数据存储与智能分析

专题 | 算力网络

专题 | 程序语义深度理解前沿进展

【专题】数据安全与智能隐私保护研究
【专题】智能化软件与软件控制论
【专题】数据挖掘前沿进展
【专题】空间数据智能
量子计算专题

论文精讲系列

论文精讲 | 基于知识增强的文本隐喻识别图编码方法
论文精讲 | 基于网络流量的私有协议逆向技术综述

论文精讲 | 类脑处理器异步片上网络架构

论文精讲 | 因果机器学习的前沿进展综述


亮点论文系列

特邀评述(来自腾讯高剑林总监) | 香山高性能处理器:一个新的科技平台实践

亮点论文 (来自中科院包云岗团队)  | 香山开源高性能RISC-V处理器设计与实现

特邀评述 | 龙架构:一种开放自主指令集架构的实践

亮点论文 | 龙芯指令系统架构技术

2023年目录

目录 |《计算机研究与发展》2023年第3期

目录 |《计算机研究与发展》2023年第2期

目录 |《计算机研究与发展》2023年第1期


2022年论文合辑系列
合辑 | 《计算机研究与发展》2022年刊登综述论文
合辑 | 《计算机研究与发展》2022年刊登安全与隐私保护相关论文
合辑 | 《计算机研究与发展》2022年刊登人工智能相关论文
合辑 | 《计算机研究与发展》2022年刊登体系结构相关论文 
合辑 | 《计算机研究与发展》2022年刊登软件技术相关论文

相关阅读

  • 删除真的都需要二次确认吗?

  • 在产品使用过程中,经常遇到二次确认操作。例如 iOS用户删除短信时出现二次确认;微信用户删除联系人时,出现二次确认。有些却不需要二次确认,例如:iOS备忘录App,删除一条备忘录,则没
  • 70.84万元!遥感解译公开招标

  • 项目概况北京市土地质量生态地球化学监测网运行项目遥感解译 招标项目的潜在投标人应在北京市东城区天坛内东里5号一幢东普写字楼二层 获取招标文件,并于2023年04月18日 08点
  • 【中信建投策略】反击继续,布局低位成长

  • 重要提示:通过本订阅号发布的观点和信息仅供中信建投证券股份有限公司(下称“中信建投”)客户中符合《证券期货投资者适当性管理办法》规定的机构类专业投资者参考。因本订阅号
  • iOS 16.4正式版发布,带来一大波更新!

  • 3月28日,苹果向iPhone用户推送了iOS 16.4正式版的更新,本次更新距离上次发布隔了 42 天。本次正式版更新包大小为5.4G,内部版本号为(20E247),作为iOS 16系统的第四个大版本更新。
  • ChatGPT相关黑话,再不知道就太晚了!

  • 宋星最新线上&线下课报名中点击上方图片了解详情本来准备一篇文章搞定的,发现能讲的还挺多的。所以,先写这一篇,后面再续!都是很重要的概念!请放心,这篇文章不是ChatGPT 生成的。

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 为了帮你在微信赚钱,视频号很努力了

  • 微信希望视频号可以成为你的「个人名片」。作者 | 赖求华编辑 | 北方2023 年的第二场微信公开课,重新回到线下,在广州保利洲际酒店,会场被与会者「挤得门都关不上」。这是一年
  • 综述 | 数据库系统参数调优方法

  • 数据库系统参数调优方法综述摘要 数据库系统具有大量的配置参数,参数配置不同会导致系统运行时很大的性能差异. 参数优化技术通过选择合适的参数配置,能够提升数据库对
  • 军队选拔军官和文职人员体检全面实施新标准!

  • 解放军报讯 经中央军委领导批准,近日,中央军委机关有关部委联合下发通知,全面实施新的军队选拔军官和文职人员体检标准。该标准是军队选拔补充军官(含军队院校从地方应届毕业本
  • 工信部:前2月智能手机产量同比降14.1%

  •   中新经纬3月29日电 工信部网站29日公布2023年1-2月份电子信息制造业运行情况。1-2月份,我国电子信息制造业生产规模同比小幅收缩,出口呈下降态势,企业效益下滑明显,投资保持