Integrity Checker — работа с хеш-суммами выделенных файлов

Здесь можно обсудить ваш любимый плагин.
Ariman
Posts: 1351
Joined: Fri 30 Nov, 2007 15:32
Location: Крым
Has thanked: 15 times
Been thanked: 50 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Ariman »

Анонс

Хотелки от пользователей:
  • работа с плагиновыми панелями, на которых реальные файлы
  • сравнить хэш с содержимым клипборда
  • возможность использовать upper case для шестнадцатеричного вывода
  • поддержка выбора кодировки для файлов хеш-листов
  • опция 1 хеш файл на 1 каталог
  • генерация одновременно нескольких хешей для файла
  • возможность сравнить вновь вычисленный хэш с предыдущим
  • запуск генератора через префикс
  • сохранение в лог ошибок при генерации
  • добавить поддержку ed2k хешей
Для желающих тестировать последние изменения, актуальные бинарники можно взять здесь. (Уже нельзя)
Last edited by Ariman on Tue 04 May, 2021 08:01, edited 14 times in total.
Pasha_ZZZ
Posts: 425
Joined: Mon 12 Jun, 2006 14:58
Has thanked: 1 time
Been thanked: 27 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Pasha_ZZZ »

Latest post of the previous page:

Ariman wrote: Wed 08 Apr, 2020 07:03Как бы так и задумано. А часто есть потребность проверять подписи пачками?
Достаточно часто. Многие программы состоят не из одного файла, а, например, идет куча дллок в комплекте. Или ехешников несколько
Ariman
Posts: 1351
Joined: Fri 30 Nov, 2007 15:32
Location: Крым
Has thanked: 15 times
Been thanked: 50 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Ariman »

Хм. Я то это задумал для проверки инсталях в основном, а там обычно один файл.
Сделать проверку пачки не сильно сложно. Проблема, в основном, как это в интерфейсе представить нормально. Запомню запрос на будущее, может появится идея.
Pasha_ZZZ
Posts: 425
Joined: Mon 12 Jun, 2006 14:58
Has thanked: 1 time
Been thanked: 27 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Pasha_ZZZ »

Ariman wrote: Sat 11 Apr, 2020 13:08Я то это задумал для проверки инсталях в основном
Тогда было бы полезно еще и файлы Windows Installer поддержать, тем более их та же функа WinVerifyTrust проверяет:
https://docs.microsoft.com/en-us/window ... -installer
With Windows Installer, digital signatures can be used with Windows Installer packages, transforms, patches, merge modules, and external cabinet files.
Pasha_ZZZ
Posts: 425
Joined: Mon 12 Jun, 2006 14:58
Has thanked: 1 time
Been thanked: 27 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Pasha_ZZZ »

А чем объясняется такая разница в скорости?

Code: Select all

╔════════════ Готово ════════════╗
║ Total data size: 2,00 Г        ║
╟────────────────────────────────╢
║       MD5 : 6289 ms, 326 Мb/s  ║
║      SHA1 : 9717 ms, 211 Мb/s  ║
║   SHA-256 : 17418 ms, 118 Мb/s ║
║   SHA-512 : 10231 ms, 200 Мb/s ║
╟────────────────────────────────╢
║             { OK }             ║
╚════════════════════════════════╝

Code: Select all

RHash v1.3.9 benchmarking...
MD5 2048 MiB total in 4,552 sec, 449,897 MBps, CPB=5,50
SHA1 2048 MiB total in 11,326 sec, 180,818 MBps, CPB=13,68
SHA-256 2048 MiB total in 13,238 sec, 154,702 MBps, CPB=15,97
SHA-512 1024 MiB total in 4,157 sec, 246,333 MBps, CPB=10,03
Ariman
Posts: 1351
Joined: Fri 30 Nov, 2007 15:32
Location: Крым
Has thanked: 15 times
Been thanked: 50 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Ariman »

Понятия не имею. Скорее всего тесты по разному написаны, отсюда и результаты.
User avatar
citRiks
Posts: 1733
Joined: Fri 25 Oct, 2019 18:18
Has thanked: 610 times
Been thanked: 102 times

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by citRiks »

Ariman,
Я тут глянул в исходниках, а ведь в исходниках есть поддержка ED2K (бибилотека rhash)
Могу конечно сам разобраться как ее добавить в интерфейс,
но на всякий случай спрашиваю, какая с этим принципиальная трудность может быть?
или просто времени не хватает на это?
Ariman
Posts: 1351
Joined: Fri 30 Nov, 2007 15:32
Location: Крым
Has thanked: 15 times
Been thanked: 50 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Ariman »

Принципиальных сложностей нет.
Novosedoff
Posts: 69
Joined: Wed 02 Mar, 2011 19:31
Has thanked: 43 times

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Novosedoff »

Всех с наступившим!

Прежде всего спасибо Вам за плагин.

Такой вопрос, возможно я не до конца просто разобрался в использовании. Вот простая ситуация из практики. В 2 панелях Far отображаются 2 разных каталога Dem и FE с отличающимся количеством файлов в них. В этих 2 каталогах есть одинаковые файлы с идентичными размерами, содержимым и датами создания, но с отличающимися именами файлов. А также есть файлы с одинаковыми именами, но с абсолютно разным содержимым внутри файлов. Требуется идентифицировать файлы с одинаковым содержимым.

Плагин IntChecker, если вызывать его через F11 -> Compare Panels, то сообщит как раз таки о таких MismAtched Files, которые несмотря на одинаковые имена отличаются своим содержимым. А стандартный Far-овский метод Advanced Compare, вызываемый через F11, вообще не может идентифицировать файлы с одинаковым содержимым из 2 панелей, если у этих файлов отличаются имена.

В итоге, я сгенерировал с помощью плагина IntChecker по отдельности 2 разных hash-таблицы для файлов из 2 панелей. А потом в Excel с помощью обычной функции =INDEX(FE!B:B,MATCH(Dem!$A1,FE!A:A,0)) сравнил содержимое этих двух hash-таблиц и смог найти одинаковые по содержанию файлы (у большинства из них имена отличаются). Эта ситуация продемонстрирована на видео по ссылке ниже
https://youtu.be/W-45sDoEcxk

Проблема заключается в том, что даже после того, как одинаковые файлы идентифицированы с помощью Excel, приходится потом вручную заниматься выделением найденных имён файлов в каталоге с помощью Far, чтоб провести с ними какие-то операции (например, удалить). Потому что я не знаю каким образом в Far-е можно подсвечивать внутри огромного каталога имена тех файлов, которые хранятся внутри текстового файла, и есть ли такой способ автоматизации подсвечивания имён файлов в каталоге путём сохранения имён этих файлов в отдельном новом файле?

Такоим образом, недостатком плагина IntChecker, на мой взгляд, является то, что он создаёт необходимость таких доп.операций (в Excel в моём случае), хотя мог бы ПОЛНОСТЬЮ проводить идентификацию одинаковых файлов путём подсвечивания их в панелях Far-а.
Last edited by Novosedoff on Fri 01 Jan, 2021 16:33, edited 7 times in total.
Покажи мне список твоих плагинов, и я скажу кто ты...
Ariman
Posts: 1351
Joined: Fri 30 Nov, 2007 15:32
Location: Крым
Has thanked: 15 times
Been thanked: 50 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Ariman »

Идея, в общем-то, понятная. Но шансов на реализацию в плагине очень мало. Слишком узкоспециализированная фича, а автор слишком ленивая жопа, чтобы писать фичи для нескольких юзеров. :smile:

Вообще, поскольку из плагина торчит наружу макро-апи для хеширования файлов, эту всю логику можно на луа закодить. И пробег по папке, и сравнение таблиц, и выделение файлов.
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by buniak_a_h »

Ariman, за макро-апи отдельное спасибо, макрос я начал.
На самом деле там логика ещё сложнее: недостаточно просто выделить одинаковые файлы справа м слева, а дать возможность выполнить некую команду для каждой пары одинаковых. Т.е. если отмечено 10 файлов обеих панелях, это не значит, что они ВСЕ одинаковые. Это значит (скорее всего), что там 5 пар файлов.

Last edited by HaRT on Tue 05 Jan, 2021 16:55, edited 1 time in total.
Reason: Спрятан офтопик
User avatar
Wave
Posts: 1885
Joined: Thu 04 Aug, 2005 18:47
Has thanked: 14 times
Been thanked: 26 times

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Wave »

Проще взять любую из десятка-другого утилиту для поиска дубликатов файлов. Они очень-очень разные, многие умеют сравнивать каталоги и синхронизировать, у многих есть дополнительные функции типа создания хардлинков, и так далее.
Пользуюсь ФАРом больше 20 лет © собирательный.
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by buniak_a_h »

Wave wrote: Sat 09 Jan, 2021 07:17 Проще взять любую из десятка-другого утилиту для поиска дубликатов файлов. Они очень-очень разные, многие умеют сравнивать каталоги и синхронизировать, у многих есть дополнительные функции типа создания хардлинков, и так далее.
Да я ему советовал поискать что-нить именно для поиска дубликатов:
buniak_a_h wrote: Thu 31 Dec, 2020 21:12 Где-то я встречал что-то типа «поиск дубликатов»; возможно - это о том, что Вы описываете. Попробуйте поискать такое.
Но, т.к. вопрос получил развитие, я сделал вывод, что он не нашёл ничего, что бы отвечало его задаче. Сам я с поиском по форуму . Потом подумал, что задача может оказаться полезной, если дать возможность вызывать некую процедуру для пары совпавших файлов. И решил замакросить такое.
User avatar
citRiks
Posts: 1733
Joined: Fri 25 Oct, 2019 18:18
Has thanked: 610 times
Been thanked: 102 times

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by citRiks »

Ariman wrote: Tue 05 Jan, 2021 14:37 Идея, в общем-то, понятная. Но шансов на реализацию в плагине очень мало. Слишком узкоспециализированная фича, а автор слишком ленивая жопа, чтобы писать фичи для нескольких юзеров. :smile:
Фича вот ни разу не узкоспециализированная
поиск дупликатов это наиболее востребованая штука
написано много разнообразного разнокачественного софта на эту тему
а хороший софт для этого продается за огромные деньги

В ФАРе с этим беда однако, из того что я знаю,
и ни один плагин/скрипт, которые я пробовал, не дотягивают до приемлимого качества
Например AdvCmpEx работает почему то в три раз медленее
(хотя даже не знаю во сколько раз) на тех директориях где вот эта утилита:
https://sourceforge.net/projects/double ... der/0.8.0/
.. работает мгновенно
Причем эта утилитка древняя, кривая, но бесплатная , и приноровится можно.
А к AdvCmpEx невозможно приноровится, плагин заброшен, писать бессмысленно.
А то ведь так надо бесконечные письма всем авторам всех плагинов писать,
и слышать "да это никому не надо" :)
Ну вот никто и не пишет.
Хотя тут еще фактор того что в целом мало тех кто еще не отчаялся от ФАРа
User avatar
citRiks
Posts: 1733
Joined: Fri 25 Oct, 2019 18:18
Has thanked: 610 times
Been thanked: 102 times

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by citRiks »

Wave wrote: Sat 09 Jan, 2021 07:17 роще взять любую из десятка-другого утилиту для поиска дубликатов файлов. Они очень-очень разные, многие умеют сравнивать каталоги и синхронизировать, у многих есть дополнительные функции типа создания хардлинков, и так далее.
хорошие утилиты для этого стоят денег
плохие и разные другие - ну есть конечно, но это как бы не ответ,
надо бы что-то вписывающееся в экосистему ФАРа,
а ответ ваш означает "да идите вы в другие экосистемы, тут у нас ничего полезного нет и не предвидится"
Ariman
Posts: 1351
Joined: Fri 30 Nov, 2007 15:32
Location: Крым
Has thanked: 15 times
Been thanked: 50 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by Ariman »

Если очень сильно нужна какая-то функциональность, то есть 2 варианта: 1. берешь любую среду разработки по вкусу и делаешь сам, и 2. если сам не можешь, то мотивируешь того, кто может. Нытье на форуме мотивационной силой не является. Вопреки распространенному мнению, для большинства программистов написание кода - это не форма развлечения. Хотя такие люди тоже есть.
Для уменьшения словоблудия, попробую свою позицию четче обрисовать. Если мне какая-то фича не нужна, и я не думаю, что понадобится в обозримом будущем, то делать я её не буду. Совсем. Сколько бы мне не ездили по ушам о том, как это будем полезно в масштабе всего человечества. Если я вижу, что идея возможно будет мне полезна в перспективе, то беру в разработку, если нет, то нытье не поможет. Мне есть чем занять свободное время.
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Integrity Checker — работа с хеш-суммами выделенных файлов

Post by buniak_a_h »

Last edited by HaRT on Mon 11 Jan, 2021 16:07, edited 1 time in total.
Reason: Спрятан офтопик
Post Reply

Return to “Обсуждение плагинов”