文本与数据工具

CSV Deduplicator

按整行或指定字段识别重复记录,保留首次记录并导出 CSV。

CSV 内容

去重后的 CSV

表格预览

按整行或指定列为 CSV 去重,保留首条记录、列顺序与正确的 CSV 转义。

CSV 文件仅在您的浏览器中处理,不会上传到服务器。

这个工具是什么

CSV 去重工具可按整行内容或一个、多个指定列识别重复记录,默认保留第一条记录。表头不参与数据去重,您可按列序号区分同名字段。

如何使用

  1. 粘贴 CSV 或选择 UTF-8 文件,确认分隔符及表头设置。
  2. 解析后选择整行去重,或按带列序号的名称选择一个或多个字段。
  3. 点击“删除重复记录”,查看原始、唯一和删除记录数。
  4. 检查有限表格预览,复制或下载正确转义的 CSV。

使用示例

  • a,b / 1,2 / 1,2 / 2,3 按整行去重后保留两条记录。
  • id,name / 1,Tom / 1,Jack / 2,Amy 按 id 去重后保留 1,Tom 和 2,Amy。
  • 重复表头 name (第1列) 与 name (第2列) 可以独立选择,不混淆数据。

处理规则与限制

默认首行为表头,去重保留首次记录及原始顺序。字段按原文精确比较,不自动修剪空白或改写数值。输出中含分隔符、双引号或换行的字段会按 CSV 规则正确引用。输入最多 2 MiB、100,000 条记录、500 列及 500,000 个单元格;预览最多 500 行、100 列及 10,000 个单元格。

常见用途

  • 删除重复导出的数据记录。
  • 按 ID、邮箱或组合字段保留第一条记录。
  • 在不覆盖重复表头的前提下整理 CSV。

隐私说明

文本、文件和预览都在您的浏览器中处理,输入内容不会上传,也不会自动保存。请在离开页面前保存需要保留的内容。

FAQ

按整行去重是什么意思?

只有全部字段内容和位置均一致时才视为重复。选定列模式则只比较您选择的字段。

重复记录保留哪条?

保留首次出现的完整记录,其他字段也取自该条记录,输出顺序保持稳定。

重复表头会丢失数据吗?

不会。每列都会保留,界面显示列序号,方便您区分同名字段并分别选择。

输出如何处理引号?

含分隔符、引号或换行的字段按 CSV 规则引用;字段内部的双引号转义为两个双引号。

会自动修改公式或字段空格吗?

默认按原文字段处理,不自动修剪或改写字段。将结果导入电子表格时,应按实际数据用途选择文本或其他列类型。

返回开发者工具分类首页