navicat导入数据复盘

目标场景:

整个省的数据总数量240万,查询效率极差,所以急需要处理

问题一:将表备份cv出来一份

复制时间极长,伴随着报错终于复制完了,并且数据量出现问题了,大致上翻了一倍,好几次都是这样,决定就基于此备份表操作

问题二:加主键再加索引

备份一张表后出来后进行优化,一看表机构,发现连主键都没有,更别说索引了,所以决定先加主键再加索引,然而,由于数据量太大,表机构在有数据的情况下主键加不上,navicat直接崩,试了很多次不成功放弃了,同样索引也加不上...

问题三:删除报错超时

这里想只留下本市的数据,就根据所在市字段,把武汉的数据删除,发现delete语句根本运行不了,超时报错,navicat都卡崩了

问题四:查询报错超时

回头重启navicat,查询武汉市的数据发现查询时间过了好久,一看报错又超时

只能用count(字段)查数量勉强有返回,需要好几十秒,count查询是目前唯一有效的SQL

问题五:分页显示太多也会卡,删除操作更卡,navicat直接崩

想把表每页展示十万条,再按照市名称排序显示,直接手动一页一页删,因为字段比较多,等了好久,终于取出来了一页数据,想按所在市字段排序,直接卡崩

超时......

到这里就发现用navicat工具已经满足不了需求了,就想把表结构和数据分别导出来,把数据处理了再写进新表

问题六:等了好久导出的SQL文件结果过大,打不开,一看文件属性将近7个G,我滴乖乖

问题七:在网上找超级文本编辑器EmEditor,(已保存云盘)

记录一下安装教程:解压即可使用

1.软件下载后,选中下载的软件安装包,解压

2.双击打开解压后的软件文件夹

3.找到EmEditor.exe双击运行

4.软件打开后,点击帮助,点击关于EmEditor

5.点击如何购买/输入密钥

6.点击输入密钥(密钥见文章末尾处)

7.自定义输入姓名,复制粘贴密钥进去(密钥见文章末尾处)

8.点击确定

9.查看是否成功:点击帮助,点击关于EmEditor

10.创建桌面快捷方式:选中EmEditor.exe鼠标右键,选择发送到, 选择桌面快捷方式即可

文本编辑器EmEditor v20.4.0下载地址

链接:

https://pan.baidu.com/s/1ig0_noLkLFw-II-9DSDPyQ?pwd=3egb

提取码:3egb

终身授权密钥:DMAZM-WHY52-AX222-ZQJXN-79JXH

问题八:打开后才觉得要把市字段放最前面

于是把表字段顺序调整到最前面,再重新导出,准备把除本市以外的数据insert语句都删了

问题九:240万数据太多了,删不完,根本删不完。。。

删了好一会才整理出几万条,一合计至少得一两天的工作量,,,

问题十:想只把本市的数据导出来,却发现查询数量与count不一样

所有后台全部停了,只用navicat,终于把本市数据查出来了,却发现和计数查询的结果不一致,查了资料navicat处理超大量级的数据会出异常,就使用导出的这个吧

问题十一:把本市的数据导出为insert语句,放到记事本发现语句却少目标表名

问题十二:insert语句太大,根据提示调整idea把idea整崩了,启动不起来了

就想放到idea里面,用多行操作加上表名,结果idea报错说内存不足,加载不动剪切板里这么多的数据,提示可以修改加载的空间大小并重启生效,我看到是512M,就在后面加了个0,然后重启idea,就启动不起来了

问题十三:只好重新安装了一个idea,下班回家,次日继续

找了好多版本的idea才有一个版本能正常使用

批量处理还是太慢,使用文本编辑器的查找替换功能,将所有的半截建表语句和括号删掉后准备直接导入

问题十四:导入时发现处理的数据用不了,因为分隔符和原数据冲突

确定了栏位分隔符,仔细一看数据,发现除了正常的分隔符所在,连数据居然也有使用英文逗号。。。

这个导入方法弄不来了,重新想办法

问题十五:insert语句批量加上表名

想了想还是使用SQL导入吧,查找将所有``.``替换为`库名`.`表名`,再拖到粘贴到

卡的无响应后等了一会,终于处理完了

问题十六:数据量太大,使用剪切板复制不到navicat里面

全局查找没有` `.` `后复制,到navicat中新建查询,结果太大了,剪切板复制不动,,,

直接把文件后缀名改为.sql  ,再直接拖到对应的库,根据运行提示开始即可

等了老大一会,数据终于是进来了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/433021.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp状态管理Vuex介绍及vuex核心概念

状态管理Vuex Vuex 是什么&#xff1f; Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。它采用集中式存储管理应用的所有组件的状态&#xff0c;并以相应的规则保证状态以一种可预测的方式发生变化。 uni-app 内置了 Vuex 什么是“状态管理模式”&#xff1f; <!…

Git初识

&#x1f4d9; 作者简介 &#xff1a;RO-BERRY &#x1f4d7; 学习方向&#xff1a;致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f4d2; 日后方向 : 偏向于CPP开发以及大数据方向&#xff0c;欢迎各位关注&#xff0c;谢谢各位的支持 在学习Git之前我们先引入一…

EMQX 单机及集群搭建

目录 1. 通过 Yum 源安装&#xff08;CentOS7 单机安装&#xff09; 1.1. 通过以下命令配置 EMQX Yum 源&#xff1a; 1.2. 运行以下命令安装 EMQX&#xff1a; 1.3. 运行以下命令启动 EMQX&#xff1a; 1.4. 访问 http://192.168.88.130:18083&#xff0c;默认用户名: adm…

Go 命令行解析 flag 包之快速上手

本篇文章是 Go 标准库 flag 包的快速上手篇。 概述 开发一个命令行工具&#xff0c;视复杂程度&#xff0c;一般要选择一个合适的命令行解析库&#xff0c;简单的需求用 Go 标准库 flag 就够了&#xff0c;flag 的使用非常简单。 当然&#xff0c;除了标准库 flag 外&#x…

驱动开发-系统移植

一、Linux系统移植概念 需要移植三部分东西&#xff0c;Uboot ,内核 &#xff0c;根文件系统 &#xff08;rootfs&#xff09; &#xff0c;这三个构成了一个完整的Linux系统。 把这三部分学明白&#xff0c;系统移植就懂点了。 二、Uboot uboot就是引导程序下载的一段代…

滴滴开源小程序框架 Mpx 新特性:局部运行时能力增强

Mpx 是滴滴开源的一款增强型跨端小程序框架&#xff0c;自 2018 年立项开源以来如今已经进入第六个年头&#xff0c;在这六年间&#xff0c;Mpx 根植于业务&#xff0c;与业务共同成长&#xff0c;针对小程序业务开发中遇到的各类痛点问题提出了解决方案&#xff0c;并在滴滴内…

机器学习-pandas(含数据)

pandas 优势&#xff1a; 增强图表可读性便捷的数据处理能力读取文件方便封装了Matplotlib、Numpy的画图和计算 更详细的教程&#xff1a;Pandas 教程 | 菜鸟教程 (runoob.com) Pandas数据结构 Pandas中一共有三种数据结构&#xff0c;分别为&#xff1a;Series、DataFram…

C++ 程序使用 OpenCV 可视化和分析两个图像之间特征点的对应关系

文章目录 代码功能源码文件编译文件 代码功能 创建图像和生成随机特征点&#xff1a; 程序首先创建两个灰度图像&#xff08;m_image_Left_BGR 和 m_image_Right_BGR&#xff09;&#xff0c;并将它们转换为彩色图像。然后&#xff0c;生成两组随机特征点&#xff08;mvKeys 和…

Git 删除已经 Push 到远程多余的文件

例如要删除 data/log 文件 1. 在当前项目下打开终端 2. 查看有哪些文件夹 dir 3. 预览将要删除的文件&#xff08;如果不清楚该目录下是否存在不应该删除的文件&#xff09; git rm -r -n --cached 文件/文件夹名称 加上 -n 这个参数&#xff0c;执行命令时&#xff0c;是不会…

【DDD】学习笔记-控制软件复杂度的原则

虽然说认识到软件系统的复杂本性&#xff0c;并不足以让我们应对其复杂&#xff0c;并寻找到简化系统的解决之道&#xff1b;然而&#xff0c;如果我们连导致软件复杂度的本源都茫然不知&#xff0c;又怎么谈得上控制复杂呢&#xff1f;既然我们认为导致软件系统变得复杂的成因…

BLIP-2: 基于冻结图像编码器和大型语言模型的语言-图像预训练引导

BLIP-2: 基于冻结图像编码器和大型语言模型的语言-图像预训练引导 项目地址BLIP-2的背景与意义BLIP-2的安装与演示BLIP-2模型库图像到文本生成示例特征提取示例图像-文本匹配示例性能评估与训练引用BLIP-2Hugging Face集成 在语言-图像预训练领域&#xff0c;BLIP-2的出现标志着…

c# cad2016选择封闭多段线获取多段线面积

在C#中&#xff0c;如果你想要通过AutoCAD .NET API来选择封闭多段线内部的其他闭合多段线并计算它们各自的面积&#xff0c;可以遵循以下基本步骤&#xff1a; 1、加载AutoCAD库&#xff1a; 确保你的C#项目引用了Autodesk.AutoCAD.Interop和Autodesk.AutoCAD.Interop.Common…