SQL - 处理重复数据：初学者指南
你好，未来的SQL大师们！今天，我们将深入探讨SQL中处理重复数据的迷人世界。别担心，如果你之前从未写过一行代码——我将作为你在这段旅程中的友好向导，我们会一步步来。在本教程结束时，你将能够像专业人士一样处理重复数据！
为什么在SQL中处理重复数据是必要的？
想象一下，你正在组织一个派对，你有一个客人名单。你肯定不希望同一个人被列两次，对吧？这就是为什么在SQL中处理重复数据如此重要的原因。在数据库的世界中，重复数据会引起各种问题：
- 浪费存储空间
- 可能导致计算和报告错误
- 使数据维护变得更加困难
让我分享一个快速的故事。在我作为数据库管理员早期，我曾经忽视了客户数据库中的一些重复数据。结果呢？我们的营销团队向一些客户多次发送了相同的促销邮件。不用说，那些客户并不高兴，我通过痛苦的教训学到了这一点！
防止重复条目
处理重复数据的最佳方法是从一开始就防止它们进入你的数据库。以下是一些实现这一目标的方法：
1. 使用主键
主键是一个列（或列的组合），用于唯一标识表中的每一行。根据定义，它不能包含重复项。
CREATE TABLE Students (
StudentID INT PRIMARY KEY,
FirstName VARCHAR(50),
LastName VARCHAR(50)
);在这个例子中，StudentID是我们的主键。SQL将自动防止任何重复的StudentID值被插入。
2. 使用唯一约束
唯一约束与主键类似，但可以应用于不是主键的列。
CREATE TABLE Employees (
EmployeeID INT PRIMARY KEY,
Email VARCHAR(100) UNIQUE,
FirstName VARCHAR(50),
LastName VARCHAR(50)
);在这里，我们在Email列上添加了一个唯一约束。这确保了没有两个员工可以有相同的电子邮件地址。
3. 使用INSERT IGNORE
如果你使用的是MySQL，你可以使用INSERT IGNORE语句来默默忽略重复条目：
INSERT IGNORE INTO Students (StudentID, FirstName, LastName)
VALUES (1, 'John', 'Doe');如果已经存在一个StudentID为1的学生，这个语句不会抛出错误——它将简单地忽略重复条目。
计算和识别重复项
有时，尽管我们尽了最大努力，重复项还是悄无声息地进入了我们的数据。让我们学习如何找到它们！
计算重复项
要计算重复项，我们可以使用GROUP BY子句和HAVING子句：
SELECT FirstName, LastName, COUNT(*) as Count
FROM Students
GROUP BY FirstName, LastName
HAVING Count > 1;这个查询将学生按他们的名字分组，然后只显示有多于一个条目的组。就像在问：“显示给我所有出现超过一次的名字，以及它们出现的次数。”
识别特定的重复项
要查看实际的重复行，我们可以使用自连接：
SELECT s1.*
FROM Students s1
JOIN Students s2 ON
s1.FirstName = s2.FirstName AND
s1.LastName = s2.LastName AND
s1.StudentID > s2.StudentID;这个查询将每个学生记录与每个其他学生记录进行比较。如果它找到两个具有相同名字但ID不同的记录，它将显示ID较高的记录。就像在说：“显示所有与另一个学生有相同名字的学生，但只显示ID较高的那个。”
从表中删除重复项
现在我们已经找到了重复项，让我们清理它们！
1. 使用DISTINCT
DISTINCT关键字是最简单的方式来从查询结果中删除重复项：
SELECT DISTINCT FirstName, LastName
FROM Students;这个查询将显示每个唯一的第一名和姓的组合，无论它在表中出现多少次。
2. 使用GROUP BY
GROUP BY也可以用来删除重复项：
SELECT FirstName, LastName
FROM Students
GROUP BY FirstName, LastName;这个查询给出与DISTINCT相同的结果，但在需要执行聚合函数时可以更灵活。
3. 永久删除重复项
如果你需要从表中实际删除重复行，你可以使用子查询：
DELETE s1 FROM Students s1
INNER JOIN Students s2
WHERE
s1.FirstName = s2.FirstName AND
s1.LastName = s2.LastName AND
s1.StudentID > s2.StudentID;这个查询删除所有重复的学生，只保留StudentID最低的那个。使用这个操作时要非常小心——在SQL中没有撤销按钮！
下面是一个总结我们所讨论方法的表格：
| 方法 | 用例 | 示例 |
|---|---|---|
| 主键 | 防止重复 | CREATE TABLE Students (StudentID INT PRIMARY KEY, ...); |
| 唯一约束 | 在特定列中防止重复 | CREATE TABLE Employees (Email VARCHAR(100) UNIQUE, ...); |
| INSERT IGNORE | 静默忽略重复（MySQL） | INSERT IGNORE INTO Students ... |
| COUNT(*)与GROUP BY | 计算重复项 | SELECT ..., COUNT(*) ... GROUP BY ... HAVING Count > 1; |
| 自连接 | 识别特定的重复项 | SELECT s1.* FROM Students s1 JOIN Students s2 ON ... |
| DISTINCT | 从查询结果中删除重复项 | SELECT DISTINCT FirstName, LastName FROM Students; |
| DELETE与自连接 | 永久删除重复项 | DELETE s1 FROM Students s1 INNER JOIN Students s2 WHERE ... |
就这样！你现在已经装备了像经验丰富的SQL专业人士一样处理重复数据的知识。记住，能力越大，责任越大——在运行查询之前，尤其是删除数据时，总是要双倍检查你的查询。快乐编码，愿你的数据库永远没有重复数据！
Credits: Image by storyset