当前位置:首页 > 日记 > 正文

MySQL批量插入,以满足独特的索引避免方法

MySQL批量插入,以满足独特的索引避免方法

一、背景

以前使用SQL Server进行表分区的时候就碰到很多关于唯一索引的问题:Step8:SQL Server 当表分区遇上唯一约束,没想到在MySQL的分区中一样会遇到这样的问题:MySQL表分区实战。

今天我们来了解MySQL唯一索引的一些知识:包括如何创建,如何批量插入,还有一些技巧上SQL;

这些问题的根源在什么地方?有什么共同点?MySQL中也有分区对齐的概念?唯一索引是在很多系统中都会出现的要求,有什么办法可以避免?它对性能的影响有多大?

二、过程

(一) 导入差异数据,忽略重复数据,IGNORE INTO的使用

在MySQL创建表的时候,我们通常创建一个表的时候是以一个自增ID值作为主键,那么MySQL就会以PRIMARY KEY作为聚集索引键和主键,既然是主键,那当然是唯一的了,所以重复执行下面的插入语句会报1062错误:如Figure1所示;
复制代码 代码如下:
-- 创建测试表
CREATE TABLE `testtable` (
`Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`UserId` INT(11) DEFAULT NULL,
`UserName` VARCHAR(10) DEFAULT NULL,
`UserType` INT(11) DEFAULT NULL,
PRIMARY KEY (`Id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 插入测试数据
INSERT INTO testtable(Id,UserId,UserName,UserType)
VALUES(1,101,'aa',1),(2,102,'bbb',2),(3,103,'ccc',3);

(Figure1:Duplicate entry '1' for key 'PRIMARY')

但是在实际的生产环境中,需求往往是需要在UserId键值中设置唯一索引,今天我就以这个作为示例,进行唯一索引的测试:
复制代码 代码如下:
-- 创建测试表1
CREATE TABLE `testtable1` (
`Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`UserId` INT(11) DEFAULT NULL,
`UserName` VARCHAR(10) DEFAULT NULL,
`UserType` INT(11) DEFAULT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `IX_UserId` (`UserId`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 创建测试表2
CREATE TABLE `testtable2` (
`Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`UserId` INT(11) DEFAULT NULL,
`UserName` VARCHAR(10) DEFAULT NULL,
`UserType` INT(11) DEFAULT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `IX_UserId` (`UserId`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 插入测试数据1
INSERT INTO testtable1(Id,UserId,UserName,UserType)
VALUES(1,101,'aa',1),(2,102,'bbb',2),(3,103,'ccc',3);

-- 插入测试数据2
INSERT INTO testtable2(Id,UserId,UserName,UserType)
VALUES(1,201,'aaa',1),(2,202,'bbb',2),(3,203,'ccc',3),(4,101,'xxxx',5);

(Figure2:testtable1记录)

(Figure3:testtable2记录)

通过执行上面的SQL脚本,我们在testtable1和testtable2都创建了唯一索引:UNIQUE KEY `IX_UserId` (`UserId`),这就说明UserId在testtable1和testtable2表中都是唯一的,如果把testtable2的数据批量导入到testtable1,如果执行下面【导入1】的SQL,就会出现1062的错误,导致整个过程会回滚,没有达到导入差异数据的目的。
复制代码 代码如下:
INSERT INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2;

(Figure4:Duplicate entry '101' for key 'IX_UserId')

MySQL提供一个关键字:IGNORE,这个关键字判断每条记录是否存在,是否违反饿了表中的唯一索引,如果存在就不插入,而不存在的记录就会插入。
复制代码 代码如下:
-- 导入2
INSERT IGNORE INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2;

所以执行完【导入2】,就会产生Figure5的结果,这已经达到了我们的目的了,但是你有没发现自增的ID值跳过了一些值,这是因为我们之前执行【导入1】失败造成的,虽然我们的事务回滚了,但是自增ID会出现断层。在SQL Server中也会有这样的问题。扩展阅读:简单实用SQL脚本Part:查找SQL Server 自增ID值不连续记录

(Figure5:IGNORE效果)

(二) 导入并覆盖重复数据,REPLACE INTO 的使用

1. 把testtable1和testtable2分别回滚到Figure2和Figure3的状态(使用TRUNCATE TABLE命名再执行Insert语句),这个时候再执行下面的SQL,看有什么效果:
复制代码 代码如下:
-- 导入3
REPLACE INTO testtable1(UserId,UserName)
SELECT UserId,UserName FROM testtable2;

(Figure6:REPLACE效果)

从上图Figure6中,我们可以看到:UserId为101的记录发生了改变,不单UserName修改了,而且UserType也变为NULL了。

所以,如果导入中发现了重复的,先删除再插入,如果记录有多个字段,在插入的时候如果有的字段没有赋值,那么新插入的记录这些字段为空(新插入记录的UserType都为NULL)。

需要注意的是,当你replace的时候,如果被插入的表如果没有指定列,会用NULL表示,而不是这个表原来的内容。如果插入的内容列和被插入的表列一样,则不会出现NULL。

2. 如果我们表结构UserType字段不允许为空,而且没有默认值的情况,执行【导入3】会发生什么事情呢?

(Figure7:返回警告信息)

(Figure8:UserType被设置为0)

通过Figure7和Figure8,我们知道数据记录还是插入了,只是返回Field 'UserType' doesn't have a default value的警告,插入记录的UserType字段都被设置为0('UserType' 为int数据类型)。

3. 如果我们希望导入的时候一起更新UserType字段的值,这自然很简单了,使用下面的SQL脚本就可以解决:
复制代码 代码如下:
-- 导入4
REPLACE INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2;

(Figure9:一起更新UserType)

(三) 导入保留重复数据未指定字段,INSERT INTO ON DUPLICATE KEY UPDATE 的使用

把testtable1和testtable2分别回滚到Figure2和Figure3的状态(使用TRUNCATE TABLE命名再执行Insert语句),这个时候再执行下面的SQL,看有什么效果:
复制代码 代码如下:
-- 导入5
INSERT INTO testtable1(UserId,UserName)
SELECT UserId,UserName FROM testtable2
ON DUPLICATE KEY UPDATE
testtable1.UserName = testtable2.UserName;

(Figure10:保留UserType值)

对比Figure2、Figure3与Figure10,UserId为101的记录:更新了UserName的值,保留了UserType的值;但是由于【导入5】中没有指定UserType,所以新插入记录的UserType是为NULL的。
复制代码 代码如下:
-- 导入6
INSERT INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2
ON DUPLICATE KEY UPDATE
testtable1.UserName = testtable2.UserName;

(Figure11:保留UserType值)

对比Figure2、Figure3与Figure11,只插入testtable2表的UserId,UserName字段,但是保留testtable1表的UserType字段。如果发现有重复的记录,做更新操作;在原有记录基础上,更新指定字段内容,其它字段内容保留。

(四) 总结

当在一个UNIQUE键上插入包含重复值的记录时,默认的insert会报1062错误,MYSQL可以通过以上三种不同的方式和你的业务逻辑进行处理。

三、参考文献

MYSQL插入处理重复键值的几种方法

相关文章

系统配置文件描述

系统配置文件描述

配置文件,描述,系统,电脑软件,点评:等/ bootparams从网络客户端配置文件 / /玉米等。D / cron.allow / /玉米等。D / cron.deny用于crontab的访问控制。 等/ bootparams从网络客户端配置文件 / /玉米等。D / cron.allow / /玉米等。D / c…

误删了微信聊天记录怎么恢复?

误删了微信聊天记录怎么恢复?

误删了微信聊天记录怎么恢复?,微信聊天记录,误删,怎么恢复,恢复,点击,聊天记录,方法,备份,首先,数据恢复和时间是没有直接关系的,主要看手机内的已删除数据是否被完全覆盖。所以,我们可以用一些数据恢复软件(例如恢复iPhone的开心手机恢复大师)来扫描手…

电子邮件通信通道加密解决方案

电子邮件通信通道加密解决方案

加密,通道,电子邮件,解决方案,电脑软件,需求分析 使用电子邮件在传输的过程中,因为他们不在网络上提供加密服务是以明文传送,攻击者可以安全的在邮件传输信息的截获用户的邮箱账号,密码,电子邮件和其他有用的数据和文本格式,文本格式的非二进制…

Linux磁盘配额简介

Linux磁盘配额简介

磁盘,配额,简介,电脑软件,Linux,注释:配额也称为配额,它针对的是分区,而不是用户或文件,而不是整个硬盘。 1。配额也称为配额,针对分区,而不是用户或文件,而不是整个硬盘。 2。内核版本必须支持2.4以上;查看内核是否支持配额。 3.root不受配额限制…

微软的新软件已经能够搜索硬盘和网

微软的新软件已经能够搜索硬盘和网

硬盘,搜索,微软的,网络,电脑软件,星期四,微软公司展示了一种可以搜索互联网和搜索PC硬盘的工具,展示了它在开发搜索技术方面的成就。 在微软公司的年度财务分析会议上,Yu Sufu的MSN的头,表现出一种新的搜索软件原型,仍在发展。技术可以快速搜索…

如何重新安装或修复IE6在WinXP

如何重新安装或修复IE6在WinXP

重新安装,电脑软件,WinXP,很多使用Windows XP操作系统的雷军朋友说,使用迅雷时,左键或右键不会工作。我们的回答是重新安装或修复IE,然后删除迅雷安装目录并重新安装迅雷,但很多我的朋友不重新安装或修复IE,现在安排如下的解决方案。我希望雷you…

全面解决家庭局域网故障

全面解决家庭局域网故障

故障,局域网,家庭,电脑软件,软件故障 软件故障 如果网卡的信号传输指示不亮,通常是由于网络软件故障造成的。 1。检查网卡设置显示维护 普通的网卡驱动盘是连接到测试和设置网卡参数的程序。检查连接类型,IRQ,我 / O端口地址和网卡分别其…

FrontPage背景问题!

FrontPage背景问题!

背景,电脑软件,FrontPage,鼠标的按钮在首页右键可以在后台设置项,和表格属性表中可以选择的,其余的是电脑维修配件相同 电脑故障 我依靠!谁敢说FrontPage的功能的垃圾我使用这个软件,这是N年前我使用这个软件的网页!你看垃圾,没有垃圾!我喜欢用Fro…

《高德地图》流浪地球同款语音怎么

《高德地图》流浪地球同款语音怎么

《高德地图》流浪地球同款语音怎么设置,地球,语音,高德地图,怎么设置,货车导航,提示音,驾车导航,方法,高德地图流浪地球同款语音怎么设置?流浪地球同款语音设置方法。“道路千万条,安全第一条”上线高德地图,那么怎么才能有这个语音呢?下面一起来看看…

办公软件的一个小问题和答案

办公软件的一个小问题和答案

办公软件,答案,电脑软件,文本 字体大小:中间 办公软件的一个小问题和答案 (2006-03-20 13:25:31)CPU安装设置 分类: 课程专长{转让} 主板维修培训 U盘故障 问:有没有软件可以简化成繁体字,或者两者都可以互换 答:事实上,要实现简体和繁体字的交…

XP自动安装

XP自动安装

自动安装,电脑软件,XP,一、全自动安装软件安装管理器setupmgr.exe 这好东位于Windows XP安装盘支持工具 deploy.cab压缩包,我们只需要输入 tools支持;以deploy.cab文件夹和文件提取。 两。创建WindowsXP自动响应文件 只要双击解压缩文件setup…

同时解决Office2007和Office2010共

同时解决Office2007和Office2010共

方案,完美,电脑软件,微软最近发布Office 2010测试版。经过试用,发现Office 2010相对于Office 2007有了很大的变化,启动速度快,界面更清新,支持定制等,我发现我很喜欢微软Office 2010!主板故障 主板安装设置 开始界面变得活泼快速:显示失败 界面更…