ChatGPT落地场景探索-数据库与大模型

目录

openGauss介绍

openGauss介绍        

数据库与大模型

openGauss介绍

大模型与数据库

大模型为数据库带来的机遇

大模型解决数据库问题的挑战

数据库为大模型带来的价值

大模型+大模型的发展趋势

趋势产品:Chat2DB

简介

特性

生产应用:基于AI+数据驱动的慢查询索引推荐

模型训练

模型部署


openGauss介绍

openGauss介绍        

        本人有幸被CSDN、InfoQ邀请参加2023年“可信数据库发展大会”。本年度的分享聚焦“自主、创新、引领”,7月4号是主会场分享。本次大会由中国通信研究院牵头、中国通信标准化协会、大数据技术标准推进委员会、InfoQ极传媒牵头,清华大学、华为、阿里云、腾旭云、浪潮等等国内顶尖学术研究院企业共同参与分享的顶级学术盛宴。参与了大会也深切的感受到了国内顶级学府、研究院对于理论基础研究的深度和广度,以及国内顶级企业应用研究的成果,总之受益匪浅。

        下面是李国良教授关于数据库与大模型的分享,因为涉及到AIGC所以我当时就截图了,希望可以分享给更多的同学,大家一起知识共享。也感受一下国内顶级院校的独到知识熏陶。

清华大学计算机科学与技术系教授。主要研究方向为数据库,群体计算,数据挖掘、分析与检索。在数据库、数据挖掘、信息检索领域顶级会议和期刊上发表论文50余篇。获得了IEEE TCDE Early Career Award(IEEE 数据工程领域杰出新人奖)。

数据库与大模型

openGauss介绍

        openGauss是一个开源关系型数据库管理系统,随Mulan PSL v2一起发布。内核基于华为多年数据库领域经验打造,持续提供针对企业级场景的有竞争力的特性。下面是openGauss的官网。

openGauss,主打就是一个高性能、高可用、高安全、高智能,比我们平时说的软件的三高还多一个,最最主要的我觉得还是自主研发。教授也提到,Gauss已经获得海外很多企业的关注和使用。

大模型与数据库

        教授带来的大模型与数据的分享涵盖一下四个方面,PPT里都有描述我就不做文字翻译了,大家可以清晰的看到。

大模型为数据库带来的机遇

        LLM(大模型)为数据库带来的机遇有五点:索引推荐、物化视图推荐、智能负载管理、参数调优、基数优化。

大模型解决数据库问题的挑战

数据库为大模型带来的价值

大模型+大模型的发展趋势

趋势产品:Chat2DB

Chat2DB/README_CN.md at main · chat2db/Chat2DB · GitHub

简介

        Chat2DB 是一款有开源免费的多数据库客户端工具,支持windows、mac本地安装,也支持服务器端部署,web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力,能够将自然语言转换为SQL,也可以将SQL转换为自然语言,可以给出研发人员SQL的优化建议,极大的提升人员的效率,是AI时代数据库研发人员的利器,未来即使不懂SQL的运营业务也可以使用快速查询业务数据、生成报表能力。

特性

  1. AI智能助手,支持自然语言转SQL、SQL转自然语言、SQL优化建议
  2. SQL查询、AI查询和数据报表完美集成的一体化解决方案设计与实现
  3. 支持团队协作,研发无需知道线上数据库密码,解决企业数据库账号安全问题
  4. 强大的数据管理能力,支持数据表、视图、存储过程、函数、触发器、索引、序列、用户、角色、授权等管理
  5. 强大的扩展能力,目前已经支持MySQL、PostgreSQL、Oracle、SQLServer、ClickHouse、OceanBase、H2、SQLite等等,未来会支持更多的数据库
  6. 前端使用 Electron 开发,提供 Windows、Mac、Linux 客户端、网页版本一体化的解决方案
  7. 支持环境隔离、线上、日常数据权限分离

生产应用:基于AI+数据驱动的慢查询索引推荐

        前段时间美团也发表一篇文章,描述的是基于AI做的DB索引推荐,但是不是给予GPT是基于自己的算法所做的,思路也是比较好的,并且效果也挺好,在代价方法推荐索引的基础上,AI模型有额外12.16%的推荐索引被用户所采纳 。并且做了相关测试:这些额外补充的索引对于查询的改善情况如上图所示:上半部分展示了优化的查询执行次数,下半部分展示了查询在使用推荐的索引之后的执行时间以及减少的执行时间,这些索引总计约优化了52亿次的查询执行,减少了4632小时的执行时间。下面是文章地址,我这里就简单提一下关注的同学可以通过文章末尾的参考资料详细阅读原理。

        基于AI+数据驱动的索引推荐的整体架构如下图所示,主要分为两个部分:模型训练和模型部署。

模型训练

  1. 慢查询和被验证有效的推荐索引作为训练数据。我们生成每条查询的单列、两列和三列候选索引。
  2. 通过特征工程来为每个候选索引构建特征向量,使用索引数据来为特征向量打标签。
  3. 单列、两列和三列特征向量将分别用于训练单列、两列和三列索引推荐模型。

模型部署

  1. 针对需要推荐索引的慢查询,同样生成候选索引并构建特征向量。
  2. 我们使用分类模型来预测特征向量的标签,即预测出候选索引中的有效索引。
  3. 我们在采样库上创建模型预测出的有效索引,并通过实际执行查询来观察建立索引前后查询性能是否得到改善。只有当查询性能真正得到改善时,我们才会将索引推荐给用户。

参考资料:

基于AI+数据驱动的慢查询索引推荐 - 美团技术团队

Chat2DB/README_CN.md at main · chat2db/Chat2DB · GitHub

openGauss

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/12991.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

为什么需要多语言并行机器翻译?

随着全球化的加速和不同语言之间的交流需求不断增长,多语言机器翻译(Multilingual Parallel Machine Translation)成为一个备受关注的领域。传统上,机器翻译系统主要集中于一对特定语言之间的翻译,但这种单一语言对的模…

MySQL索引介绍及底层数据结构B+树介绍

索引 1. 索引概述1.1 索引1.2 索引的优缺点1.2.1 优点1.2.2 缺点 2. InnoDB中的索引2.1 主键索引设计方案2.2 索引底层数据结构2.3 常见索引2.3.1 聚簇索引2.3.1.1 优点2.3.1.2 缺点 2.3.2 非聚簇索引2.3.3 联合索引 3. MyISAM中的索引3.1 MyISAM 与 InnoDB对比 1. 索引概述 1…

代码随想录算法训练营第十一天 | 二叉树系列2

二叉树系列2 101 对称二叉树二叉树很重要的一点:确定遍历顺序关于递归代码随想录的代码我的代码(理解后编写) 100 相同的树我的代码 572 另一个树的子树我的代码录友的代码,只用递归!!! 104 二叉树的最大深度重点代码随…

17.OpenCV中的GFTTDetector类

文章目录 GFTTDetector功能OpenCV中GFTTDetector类reference 欢迎访问个人网络日志🌹🌹知行空间🌹🌹 这是使用imgproc.hpp中的goodFeaturesToTrack函数封装的类,其使用和goodFeaturesToTrack函数基本相似。 GFTTDetec…

【算法与数据结构】20、LeetCode有效的括号

文章目录 一、题目二、解法三、完整代码 所有的LeetCode题解索引,可以看这篇文章——【算法和数据结构】LeetCode题解。 一、题目 二、解法 思路分析:括号匹配是使用栈解决的经典问题。做这道题首先要分析什么时候括号不匹配。1、右括号多余 ( { [ ] } )…

PCL 法向量估计源码学习

一、思路&#xff1a; 二、源码 #ifndef PCL_FEATURES_IMPL_NORMAL_3D_H_ #define PCL_FEATURES_IMPL_NORMAL_3D_H_#include <pcl/features/normal_3d.h>/// template <typename PointInT, typename PointOutT> void pcl::NormalEstimation<PointInT, PointOutT…

【stability.ai】SDXL:改进高分辨率图像合成的潜在扩散模型

github&#xff1a;https://github.com/Stability-AI/stablediffusion 试用&#xff1a; https://clipdrop.co/stable-diffusion https://dreamstudio.ai/ 介绍 近年来&#xff0c;深度生成建模在自然语言、音频和视觉媒体等各个数据领域取得了巨大的突破。本文将重点关注视…

nohup命令解决SpringBoot/java -jar命令启动项目运行一段时间自动停止问题

问题描述&#xff1a; 在centos7上部署多个springcloud项目。出现了服务莫名其妙会挂掉一两个的问题&#xff0c;重新启动挂掉的服务之后又会出现其他服务挂掉的情况&#xff0c;查看启动日志也并没有发现有异常抛出。令人费解的是所有的服务都是通过nohup java -jar xxx.jar …

TCP / IP 参考模型

TCP / IP 参考模型 5层参考模型5层参考模型5层模型的数据封装 5层参考模型 5层参考模型 综合 OSI 和 TCP/IP 的优点应用层: 支持各种网络应用 FTP, SMTP, HTTP 传输层: 进程-进程的数据传输 TCP, UDP 网络层: 源主机到目的主机的数据分组路由与转发 IP协议、路由协议等 链路层…

JS中的扁平化数据转换为树形结构数组

递归方法和循环方法&#xff0c;我都写了两种代码&#xff0c;仅供参考。 三种递归方法&#xff0c;两种循环方法&#xff0c;本质上都一样&#xff0c;就是写法不一样&#xff0c;加油&#xff01;&#xff01;&#xff01; // 数据 const arr [{ id: 1, name: 广东, pid:…

还在手动下载github项目?想要自动化下载github项目?基于python开发项目自动下载模块帮你实现自动下载存储

GitHub是一个基于Web的代码托管平台和开发者社区。它允许开发者存储、管理和分享他们的代码&#xff0c;并进行版本控制。开发者可以在GitHub上创建仓库来存储项目代码&#xff0c;并使用Git来跟踪和管理代码的变更历史。GitHub提供了一系列协作工具&#xff0c;如问题追踪、Pu…

Vue实现在线文档预览

目录 背景在线预览Office文档文件在线预览pdf文档预览方案一方案二 Word文档预览Excel文档预览PPT文档预览 纯文本、各种代码文件预览图片文件预览视频文件预览Aliplayer阿里云播放器Xgplayer西瓜播放器Bilibiliplayer仿哔哩哔哩弹幕播放器 音频文件预览在线文档预览项目&#…