Ищу прогу или скрипт для удоления дублей

Статус
В этой теме нельзя размещать новые ответы.

barbakan

Мой дом здесь!
Регистрация
18 Авг 2007
Сообщения
347
Реакции
401
Ищу прогу или скрипт для удаления дублей из двух файлов. У меня есть txt на пару лямов отчеканых кеев , теперь у меня еще появился файл с кеями в этой же нише из другого источника на 1кк . Вот мне нужно что бы можно было сравнить эти два файла и удалить повторяющиеся кеи во втором txt. Можно конечно было их обо соединить а потом удалить дубли но чет мне не охото после этого чекать еще раз 2.5кк кеев. Где то встречал такую прогу не могу вспомнить где .
 

Anton

¯\_(ツ)_/¯
Регистрация
28 Авг 2007
Сообщения
675
Реакции
691
После объединения, квк без проблем удалит дубли.
Главное чтоб кеев было меньше 14кк

Ну и TextPipePro

Одни и те же вопросы... 100 раз уже все обсуждалось
 

_sergey_

Писатель
Регистрация
1 Окт 2008
Сообщения
1.773
Реакции
1.248
Textpipe Pro, на форуме выложена. С такими маленькими файлами быстро справится. Просто укажите 1 файл, потом фильтр удалить строки и 2-й файл, запускаете. И будет результат. Единственно кодировка желательно 1251. Если UTF, то лучше перевести в 1251.

Удаляйте из маленького большой, частоты убрать предварительно в нём. Те что останутся на выходе - это не прочеканные.

После объединения, квк без проблем удалит дубли.
Я так понял, что у него в одном файле ключ+частота, а в другом просто ключ. А квк удаляет построчно. Если частоты оставить, строки разные будут. А если частоты убрать, то после проверки на дубли, придётся на частоты чекать снова.
 

barbakan

Мой дом здесь!
Регистрация
18 Авг 2007
Сообщения
347
Реакции
401
Всем спасибо уже нашел решение проще , просто в текстпайпе я туплю с его возможностями и меню )
 
Статус
В этой теме нельзя размещать новые ответы.
Сверху