ツールについて
CSV重複削除はCSVを解析してからフィールド配列を比較します。行全体を比較キーにするほか、1つまたは複数の列インデックスを組み合わせて重複を判定できます。最初のレコードを残し、ヘッダーはデータの重複判定に含めません。
使い方
- CSVを貼り付けるかUTF-8ファイルを選び、区切り文字とヘッダー設定を確認します。
- 解析後、行全体での重複削除を選ぶか、列番号付きの一覧で対象のフィールドを選びます。
- 「重複レコードを削除」を押し、元の件数、残った件数、削除件数を確認します。
- 範囲を制限した表のプレビューを確認し、適切にエスケープされたCSVをコピーまたはダウンロードします。
使用例
- a,b / 1,2 / 1,2 / 2,3を行全体で重複削除すると、データが2件残ります。
- id,name / 1,Tom / 1,Jack / 2,Amyをidで重複削除すると、1,Tomと2,Amyが残ります。
- 同名のヘッダーname（1列目）とname（2列目）も、それぞれ独立して選べます。
処理の規則と制限
既定では先頭行をヘッダーとして扱い、最初のレコードと元の順序を保持します。比較キーはフィールド配列を曖昧さなくシリアライズして作成し、衝突しうる単純な区切り文字での結合は使いません。フィールドを原文どおりに厳密比較し、空白の除去や数値の書き換えは行いません。出力には同じPapa Parseを使い、区切り文字、引用符、改行を含むフィールドを適切に引用します。入力上限は2 MiB、100,000レコード、500列、500,000セル。プレビュー上限は500行、100列、10,000セルです。
主な用途
- 重複してエクスポートされたレコードを削除。
- ID、メールアドレス、複数フィールドの組み合わせで最初のレコードを保持。
- 重複ヘッダーのデータを上書きせずCSVを整理。
プライバシー
テキストの処理、ファイルの読み込み、変換、プレビューはすべて現在のブラウザー内で行います。入力をアップロードせず、バックエンド、データベース、オンラインAPI、外部CDNも使いません。内容の自動保存も行いません。コピーとダウンロードもブラウザー内で完結します。
FAQ
行全体での重複削除とは？
すべてのフィールドの内容と位置が一致した場合だけ重複とみなします。指定列のモードでは選択したフィールドだけを比較します。
重複したレコードはどれが残りますか？
最初に現れたレコード全体を残します。他のフィールドもそのレコードの内容を使い、順序を保持します。
ヘッダー名が重複するとデータを失いますか？
いいえ。内部では列インデックスを使い、画面には列番号を表示します。名前だけを一意のキーにしません。
出力時に引用符はどう扱いますか？
区切り文字、引用符、改行を含むフィールドをCSVの規則に従って引用し、内部の二重引用符は2つ重ねてエスケープします。
数式やフィールド内の空白を自動変更しますか？
既定では原文どおりに扱い、自動的にトリミングや書き換えをしません。表計算ソフトに取り込む際は、用途に応じて文字列などの列形式を指定してください。