这个工具是什么
CSV 去重工具可按整行内容或一个、多个指定列识别重复记录,默认保留第一条记录。表头不参与数据去重,您可按列序号区分同名字段。
如何使用
- 粘贴 CSV 或选择 UTF-8 文件,确认分隔符及表头设置。
- 解析后选择整行去重,或按带列序号的名称选择一个或多个字段。
- 点击“删除重复记录”,查看原始、唯一和删除记录数。
- 检查有限表格预览,复制或下载正确转义的 CSV。
使用示例
- a,b / 1,2 / 1,2 / 2,3 按整行去重后保留两条记录。
- id,name / 1,Tom / 1,Jack / 2,Amy 按 id 去重后保留 1,Tom 和 2,Amy。
- 重复表头 name (第1列) 与 name (第2列) 可以独立选择,不混淆数据。
处理规则与限制
默认首行为表头,去重保留首次记录及原始顺序。字段按原文精确比较,不自动修剪空白或改写数值。输出中含分隔符、双引号或换行的字段会按 CSV 规则正确引用。输入最多 2 MiB、100,000 条记录、500 列及 500,000 个单元格;预览最多 500 行、100 列及 10,000 个单元格。
常见用途
- 删除重复导出的数据记录。
- 按 ID、邮箱或组合字段保留第一条记录。
- 在不覆盖重复表头的前提下整理 CSV。
隐私说明
文本、文件和预览都在您的浏览器中处理,输入内容不会上传,也不会自动保存。请在离开页面前保存需要保留的内容。
FAQ
按整行去重是什么意思?
只有全部字段内容和位置均一致时才视为重复。选定列模式则只比较您选择的字段。
重复记录保留哪条?
保留首次出现的完整记录,其他字段也取自该条记录,输出顺序保持稳定。
重复表头会丢失数据吗?
不会。每列都会保留,界面显示列序号,方便您区分同名字段并分别选择。
输出如何处理引号?
含分隔符、引号或换行的字段按 CSV 规则引用;字段内部的双引号转义为两个双引号。
会自动修改公式或字段空格吗?
默认按原文字段处理,不自动修剪或改写字段。将结果导入电子表格时,应按实际数据用途选择文本或其他列类型。