跳至正文

重复删除工具

从文本中删除重复行，仅保留唯一行的免费在线工具。

⚙️ Options

📝 Input Text

📊 Statistics

Total Lines0
Unique Lines0
Removed Lines0

✨ Result (Unique Lines)

Removes duplicate lines from your text. Use "Case Sensitive" to distinguish between uppercase and lowercase. Use "Sort Output" to alphabetically sort the results.

主要功能​

  • 删除重复行：自动检测并删除相同内容的行
  • 区分大小写：可选择是否区分大小写
  • 排序选项：可按字母顺序排序结果
  • 实时统计：显示总行数、唯一行数、删除的行数
  • 保持顺序：删除重复项的同时保持原始顺序（不使用排序时）

使用方法​

基本使用​

  1. 在输入区域输入文本（每行一个）
  2. 自动删除重复项并显示结果
  3. 点击"复制"按钮将结果复制到剪贴板

选项设置​

  • 区分大小写：勾选后将"Apple"和"apple"视为不同
  • 排序输出：勾选后按字母顺序排序结果

使用场景​

1. 整理电子邮件列表​

输入：
user1@example.com
user2@example.com
user1@example.com
user3@example.com

输出：
user1@example.com
user2@example.com
user3@example.com

2. 整理关键词列表​

在营销或 SEO 工作中删除重复的关键词时很有用。

输入：
react
javascript
react
vue
javascript
angular

输出：
react
javascript
vue
angular

3. 整理文件路径​

从日志文件或脚本中删除重复的路径时使用。

输入：
/home/user/docs
/home/user/downloads
/home/user/docs
/home/user/pictures

输出：
/home/user/docs
/home/user/downloads
/home/user/pictures

4. 数据整理​

从 CSV 文件或数据库中删除重复项时使用。

选项详细说明​

区分大小写（Case Sensitive）​

取消勾选时（默认）​

忽略大小写判断重复。

输入：
Apple
APPLE
apple
Banana

输出：
Apple
Banana

勾选时​

区分大小写判断重复。

输入：
Apple
APPLE
apple
Banana

输出：
Apple
APPLE
apple
Banana

排序输出（Sort Output）​

取消勾选时（默认）​

保持原始顺序（首次出现顺序）。

输入：
Zebra
Apple
Banana
Apple

输出：
Zebra
Apple
Banana

勾选时​

按字母顺序排序结果。

输入：
Zebra
Apple
Banana
Apple

输出：
Apple
Banana
Zebra

统计信息​

工具实时显示以下三种统计信息：

  • 总行数（Total Lines）：输入的总行数
  • 唯一行数（Unique Lines）：删除重复后剩余的行数
  • 删除的行数（Removed Lines）：删除的重复行数

实用技巧​

1. 处理 CSV 文件​

从 CSV 文件的特定列删除重复项时：

  1. 在 Excel 或电子表格中复制该列
  2. 粘贴到此工具
  3. 删除重复项后再粘贴回去

2. 日志分析​

从服务器日志中查找唯一的 IP 地址或用户时很有用。

3. 代码整理​

可用于从 Import 语句或依赖列表中删除重复项。

4. 大量数据处理​

可以快速处理数千行。

算法说明​

此工具使用 JavaScript 的 Set 数据结构高效删除重复项：

const seen = new Set();
lines.forEach((line) => {
  const key = caseSensitive ? line : line.toLowerCase();
  if (!seen.has(key)) {
    seen.add(key);
    uniqueLines.push(line);
  }
});

时间复杂度：O(n) - 非常高效！

常见问题​

Q：空行如何处理？​

空行也像普通行一样处理。如果有多个空行，只保留一个。

Q：前后空格会影响重复判断吗？​

是的。"Apple"和" Apple"（前面有空格）被视为不同。要删除空格，请先使用空格删除工具。

Q：最多可以处理多少行？​

理论上没有限制，但取决于浏览器内存。通常可以无问题地处理数万行。

Q：排序选项如何工作？​

使用 JavaScript 的 localeCompare 按自然字母顺序排序。中文也按拼音顺序排序。

相关工具​

性能​

  • 处理速度：1 万行在 1 秒内处理
  • 内存效率：用 Set 数据结构优化
  • 实时处理：输入后立即显示结果

隐私保护​

此工具完全在客户端运行。您输入的数据不会发送到服务器，仅在浏览器中处理。

💬 这个工具对您有帮助吗？​

如有任何疑问或改进建议，欢迎随时提供反馈！