CLS cls-zpaq 0.20.09.07

[Edison007]

А еще можно сделать финт ушами (лет 5-6 назад пробовал).
Перед упаковкой файлов, считаем условный MD5 и переименовываем файлы в хэши, параллельно этому пишем обратное переименования для этапа установки, и потом пакуем в ФА с сортировкой по именам файлов.
Да, это значительно замедляет процесс создания архивов, но как говориться - время упаковки не важно) На время же установки не влияет.

 

[toolame]

Т.к. алгоритм принимает на вход уже обезличенные данные. Вроде я это уже говорил

да, поэтому и мечтаю о несбыточном...

добавить сортировку по хэш-сумме

вроде в ФА это есть, или там просто по размеру?
хэш суммы вроде же считает

Перед упаковкой файлов, считаем условный MD5 и переименовываем файлы в хэши, параллельно этому пишем обратное переименования для этапа установки

это конечно интересно, но что если файлов 2.6 миллиона?))

 

[Shegorat]

вроде в ФА это есть, или там просто по размеру?
хэш суммы вроде же считает

В ФА есть сортировка по размеру.
Хеш-суммы считаются во время добавления в архив, а не на этапе сортировки.

@Edison007, всё равно потребуется как-то хранить информацию про то, что у файла имеются дубликаты. Да и CRC32 слабоват для вычисления дублей

 

[Edison007]

По размеру, конечно, как вариант, но не выход. Т.к. многие файлы имеют одинаковые размеры, скажем текстуры с одним разрешением.
Не вижу смысла хранить инфу, если сделать только сортировку по хэшу.
Сортировка, к слову, далеко не лучший вариант (для LZ-алгоритмов, конечно похер), скажем если нужна обработка, условным, precompом, то будем терять в скорости относительно полноценной дедупликации