Как удалить дубли строк из списка и не сломать порядок

Типичный рабочий сценарий: выгрузили клиентов из CRM, докинули ещё десять email руками, потом склеили это с прошлой таблицей. Или собрали артикулы из двух поставщиков и получили один и тот же SKU в разных местах. Проблема всплывает поздно: импорт ругается, рассылка считает лишних людей, отчёт показывает странное число строк.

В удалении дублей строк можно вставить список и оставить только первое появление каждой строки. Для таких данных это важная деталь: порядок часто уже что-то значит, особенно если список собирали вручную.

Почему не всегда подходит таблица

Если это таблица с колонками, связями и формулами, лучше чистить её в Excel или Google Sheets. Там есть фильтры, откат и понятная работа с колонками. Но много списков живёт не в таблицах: textarea из админки, список ID из чата, CSV-фрагмент без заголовков, небольшой фрагмент лога.

Загонять такой список в таблицу ради одной операции часто дольше, чем сама чистка. Таблица может потерять ведущие нули в 00123, превратить похожую на дату строку в дату или странно показать длинный ID. Для сырого списка из буфера обмена текстовый инструмент безопаснее.

Точное совпадение или нормализация

Для кодов и ID начинайте с точного совпадения. User-42, user-42 и user-42 выглядят почти одинаково, но в системе могут быть разными строками. Автоматически "исправлять" такие значения опасно.

Для списков, которые собирали люди, наоборот, часто мешают пробелы. Кто-то скопировал email с пробелом в конце, кто-то вставил пустую строку между группами. В таких случаях нормализация помогает, но её лучше включать осознанно, а не по умолчанию для всего подряд.

Где это окупается

Ориентир простой:

Логи бывают разными. Если вы чистите шумный фрагмент, где повтор строки точно не несёт смысла, дедупликация помогает. Если это журнал событий или аудит, повтор может означать две одинаковые операции. Перед финальным импортом сохраните исходник отдельно.