Научитесь использовать команду uniq в Unix и Linux с этими практическими примерами.
Команда uniq в Unix и Linux используется для фильтрации дублированного текста. Она может использоваться сама по себе, но обычно используется вместе с другими командами, такими как определение избыточной информации в файле. Читать

Regexp (Regular Expression, регулярное выражение) — это шаблон из специальных символов и литералов, используемый для поиска, сопоставления и извлечения текста, соответствующего этому шаблону, а также для его замены или валидации. Регулярные выражения являются мощным инструментом, широко применяемым в программировании (Python, JavaScript и др.), базах данных, текстовых редакторах и командной строке для работы с большими объемами текстовых данных.