Deduplikator
Duplikatzeilen basierend auf beliebiger Spalte entfernen. Erstes oder letztes Vorkommen behalten.
Datei hierher ziehen & ablegen
oder klicken zum Durchsuchen
Keine Datei zur Hand?
Duplikatzeilen aus CSV, Excel und ODS entfernen
Duplikate gehören zu den häufigsten Datenqualitätsproblemen. Sie blähen Zähler auf, verzerren Analysen und sorgen für Doppelzählungen in Berichten. DataScrub findet und entfernt Duplikate basierend auf beliebigen Spalten oder Spaltenkombinationen, damit du deinen Zahlen vertrauen kannst.
Egal ob du eine Mailingliste vor einer Kampagne bereinigst oder einen zusammengeführten Datensatz deduplizierst — dieses Tool erledigt alles in deinem Browser. Keine Daten verlassen deinen Rechner.
So entfernst du Duplikate
- CSV-, Excel- oder ODS-Datei hochladen.
- Die Spalte(n) auswählen, die auf Duplikate geprüft werden sollen.
- Wählen, ob das erste oder letzte Vorkommen behalten werden soll.
- Vorschau der zu entfernenden Zeilen ansehen.
- Bereinigte, deduplizierte Datei herunterladen.
Häufige Ursachen für Duplikate
Duplikate entstehen selten absichtlich. Sie schleichen sich über alltägliche Workflows ein und sind überraschend schwer auf den ersten Blick zu erkennen.
- Mehrere Dateneingabepunkte — derselbe Kundendatensatz in zwei Systemen angelegt.
- Kopier-Fehler — Zeilen beim Zusammenstellen einer Tabelle versehentlich dupliziert.
- Zusammengeführte Datensätze — Exporte aus verschiedenen Quellen ohne Deduplizierung kombiniert.
- API-Wiederholungen — eine fehlgeschlagene Anfrage wird erneut gesendet und erzeugt einen zweiten Datensatz.
- Importierte Daten ohne eindeutige Schlüssel — keine Möglichkeit für das System, Duplikate beim Import zu erkennen.
Tipps für bessere Deduplizierung
- Mehrere Spalten für zusammengesetzte Duplikate prüfen — Vorname plus Nachname ist zuverlässiger als jedes Feld allein.
- Das erste Vorkommen behalten, es sei denn, du hast einen Grund, das letzte zu bevorzugen (z. B. wenn der aktuellste Eintrag genauer ist).
- Zuerst profilieren, um den Umfang der Duplikate vor dem Entfernen abzuschätzen.
- Nach der Deduplizierung die Zeilenanzahl prüfen, ob sie den Erwartungen entspricht, bevor die Datei geteilt wird.
Häufig gestellte Fragen
Was gilt als Duplikat?
Ein Duplikat ist jede Zeile, bei der die Werte in den ausgewählten Spalten mit einer anderen Zeile exakt übereinstimmen. Wenn du nur die E-Mail-Spalte prüfst, gelten zwei Zeilen mit derselben E-Mail, aber unterschiedlichen Namen als Duplikate. Wenn du sowohl E-Mail als auch Name prüfst, müssen beide Felder übereinstimmen.
Kann ich mehrere Spalten prüfen?
Ja. Durch die Auswahl mehrerer Spalten müssen alle ausgewählten Werte übereinstimmen, damit eine Zeile als Duplikat markiert wird. Dies ist nützlich für zusammengesetzte Schlüssel wie Vorname plus Nachname oder Bestellnummer plus Position.
Was passiert mit den entfernten Zeilen?
Die entfernten Zeilen werden aus der Ausgabedatei ausgeschlossen. Du kannst genau sehen, welche Zeilen entfernt werden, bevor du die Aktion anwendest — nichts wird unerwartet gelöscht. Wenn du eine Aufzeichnung der Duplikate brauchst, lade die Datei vorher und nachher herunter oder lasse den Browser-Tab offen.
Gibt es eine Begrenzung der Dateigröße?
Da die gesamte Verarbeitung lokal in deinem Browser stattfindet, hängt die Grenze von deinem Gerätespeicher ab. Die meisten modernen Computer verarbeiten Dateien bis 50 MB problemlos. Sehr große Dateien können die Vorschau verlangsamen, aber die Deduplizierung selbst ist schnell.