도구 소개
CSV 중복 제거 도구는 전체 행 또는 선택한 하나 이상의 열로 중복을 판별하며 기본적으로 첫 레코드를 유지합니다. 헤더는 비교에서 제외하고 같은 이름의 필드는 열 번호로 구분할 수 있습니다.
사용 방법
- CSV를 붙여 넣거나 UTF-8 파일을 선택하고 구분자와 헤더 설정을 확인하세요.
- 파싱 후 행 전체 기준을 선택하거나 열 번호가 있는 이름 목록에서 하나 이상의 필드를 선택하세요.
- "중복 레코드 제거"를 누르고 원래, 고유, 제거된 레코드 수를 확인하세요.
- 제한된 표 미리보기를 확인한 뒤 올바르게 이스케이프된 CSV를 복사하거나 다운로드하세요.
사용 예제
- a,b / 1,2 / 1,2 / 2,3을 행 전체로 중복 제거하면 레코드 두 개가 남습니다.
- id,name / 1,Tom / 1,Jack / 2,Amy를 id 기준으로 처리하면 1,Tom과 2,Amy가 남습니다.
- 이름이 같은 헤더 name(1열)과 name(2열)도 각각 선택할 수 있어 데이터가 섞이지 않습니다.
처리 규칙과 제한
기본적으로 첫 행을 헤더로 사용하고 처음 일치한 레코드와 원래 순서를 유지합니다. 필드는 정확히 비교하며 공백이나 숫자를 자동으로 바꾸지 않습니다. 구분자, 큰따옴표, 줄바꿈이 있는 필드는 CSV 규칙에 맞게 출력합니다. 입력 한도는 2 MiB, 100,000레코드, 500열, 500,000셀입니다. 미리보기는 최대 500행, 100열, 10,000셀입니다.
주요 활용
- 중복으로 내보낸 데이터 레코드 제거.
- ID, 이메일, 복합 필드 기준으로 첫 레코드 유지.
- 같은 이름의 헤더를 덮어쓰지 않고 CSV 정리.
개인정보 안내
텍스트, 파일, 미리보기는 브라우저 안에서 처리됩니다. 입력한 내용은 업로드되거나 자동 저장되지 않습니다. 보관할 내용은 페이지를 떠나기 전에 저장하세요.
FAQ
행 전체 기준 중복 제거란 무엇인가요?
모든 필드의 내용과 위치가 같아야 중복으로 봅니다. 지정 열 모드에서는 선택한 필드만 비교합니다.
중복된 레코드 중 무엇을 남기나요?
처음 나온 레코드 전체를 남깁니다. 다른 필드도 해당 레코드의 값을 사용하며 출력 순서가 유지됩니다.
중복 헤더 때문에 데이터가 사라지나요?
아니요. 모든 열을 유지하고 열 번호를 표시하므로 같은 이름의 필드도 구분해서 선택할 수 있습니다.
출력의 인용부호는 어떻게 처리하나요?
구분자, 인용부호, 줄바꿈이 있는 필드를 CSV 규칙에 따라 인용하고 필드 안의 큰따옴표는 두 번 써서 이스케이프합니다.
수식이나 필드 공백을 자동으로 바꾸나요?
기본적으로 원문을 유지하고 공백이나 필드를 자동 수정하지 않습니다. 스프레드시트에 가져올 때는 실제 용도에 맞게 텍스트 등의 열 형식을 선택하세요.