Textdateien nach doppelt oder mehrfachen Inhalt durchsuchen und zählen

Bei der Bearbeitung von Text oder Konfigurationsdateien in der Linux Shell, kann es oft die Anforderung geben, das identische Einträge in den Dateien nur einmal vorkommen, damit die Überprüfung insbesondere in Dateien mit einer grösseren Anzahl an Zeilen, diese nicht manuell erfolgen muss, hilft die Verwendung der Filter sort und uniq in der Linux bash.

Dieser Befehl zählt doppelte Zeilen und sortiert die Ausgabe in der bash.

$ sort FILE | uniq --count

  Den Platzhalter FILE durch den wirklichen Dateinamen ersetzen.

Sollen nur doppelt vorhandene Zeilen ausgegeben werden.

$ sort FILE | uniq --count --repeated

Hierbei wird nichts ausgegeben, wenn keine doppelten Zeilen in der Datei enthalten sind.