도구 소개
CSV 중복 제거는 실제 CSV를 파싱한 뒤 필드 배열을 비교합니다. 행 전체를 키로 사용하거나 하나 이상의 열 인덱스를 조합해 중복을 제거할 수 있습니다. 첫 레코드를 남기며 헤더는 데이터 중복 판정에 포함하지 않습니다.
사용 방법
- CSV를 붙여 넣거나 UTF-8 파일을 선택하고 구분자와 헤더 설정을 확인하세요.
- 파싱 후 행 전체 기준을 선택하거나 열 번호가 있는 이름 목록에서 하나 이상의 필드를 선택하세요.
- "중복 레코드 제거"를 누르고 원래, 고유, 제거된 레코드 수를 확인하세요.
- 제한된 표 미리보기를 확인한 뒤 올바르게 이스케이프된 CSV를 복사하거나 다운로드하세요.
사용 예제
- a,b / 1,2 / 1,2 / 2,3을 행 전체로 중복 제거하면 레코드 두 개가 남습니다.
- id,name / 1,Tom / 1,Jack / 2,Amy를 id 기준으로 처리하면 1,Tom과 2,Amy가 남습니다.
- 이름이 같은 헤더 name(1열)과 name(2열)도 각각 선택할 수 있어 데이터가 섞이지 않습니다.
처리 규칙과 제한
기본적으로 첫 행이 헤더이며 처음 나온 레코드와 원래 순서를 유지합니다. 비교 키는 필드 배열을 모호하지 않게 직렬화해 만들며 충돌할 수 있는 단순 구분자로 이어 붙이지 않습니다. 필드를 원문 그대로 정확히 비교하고 공백이나 숫자값을 임의로 바꾸지 않습니다. 같은 Papa Parse 코어로 출력해 구분자, 큰따옴표, 줄바꿈이 있는 필드를 올바르게 인용합니다. 입력 한도는 2 MiB, 100,000레코드, 500열, 500,000셀이고 미리보기 한도는 500행, 100열, 10,000셀입니다.
주요 활용
- 중복으로 내보낸 데이터 레코드 제거.
- ID, 이메일, 복합 필드 기준으로 첫 레코드 유지.
- 같은 이름의 헤더를 덮어쓰지 않고 CSV 정리.
개인정보 안내
텍스트 처리, 파일 읽기, 변환, 미리보기는 모두 현재 브라우저 안에서 이루어집니다. 입력을 업로드하지 않으며 백엔드, 데이터베이스, 온라인 API, 외부 CDN을 사용하지 않습니다. 내용을 자동 저장하지도 않습니다. 복사와 다운로드도 브라우저 안에서 처리합니다.
FAQ
행 전체 기준 중복 제거란 무엇인가요?
모든 필드의 내용과 위치가 같아야 중복으로 봅니다. 지정 열 모드에서는 선택한 필드만 비교합니다.
중복된 레코드 중 무엇을 남기나요?
처음 나온 레코드 전체를 남깁니다. 다른 필드도 해당 레코드의 값을 사용하며 출력 순서가 유지됩니다.
중복 헤더 때문에 데이터가 사라지나요?
아니요. 내부에서는 열 인덱스를 쓰고 화면에 열 번호를 표시합니다. 이름만을 유일한 키로 사용하지 않습니다.
출력의 인용부호는 어떻게 처리하나요?
구분자, 인용부호, 줄바꿈이 있는 필드를 CSV 규칙에 따라 인용하고 필드 안의 큰따옴표는 두 번 써서 이스케이프합니다.
수식이나 필드 공백을 자동으로 바꾸나요?
기본적으로 원문을 유지하고 공백이나 필드를 자동 수정하지 않습니다. 스프레드시트에 가져올 때는 실제 용도에 맞게 텍스트 등의 열 형식을 선택하세요.