FreeArc 'Next

FreeArc 'Next 0.11

Нет прав для скачивания
  • Автор темы Автор темы YURSHAT
  • Дата начала Дата начала

YURSHAT

Тех. админ
Администратор
Пользователь YURSHAT разместил новый ресурс:

FreeArc 'Next - Свободный файловый архиватор с высокой степенью сжатия данных

Архиватор переписан с нуля. В настоящее время он доступен только как приложение CLI для 32- и 64-битных платформ Windows и Linux. Новые функции:
  • Дедупликация полного архива, аналогичная ZPAQ.
  • Алгоритм сжатия Zstandard, реализованный в Facebook.
  • Программирование Lua для INI-файла.
  • Улучшенная предварительная выборка файлов, которая позволяет ускорить сжатие.

Узнать больше об этом ресурсе...
 
в fa next нету режима без сжатия?
пробовал Copy и Store - не работает
хочу потестить dedup, запустил с -m=Delta
в принципе это же фильтр, ратио он никакое не даст?
алсо, корень диска не хочет добавляться, т.е. если укажу D:\* - ничего не пожмет, даже с -r
алсо2, в мифической версии 0.2 формат архива не изменится? думаю стоит полноценно начать юзать fa next или нет...

upd:
клевая штука эта дедупликация
Код:
fa a R:\test.fa -dsenrs -dup -m=delta -r -wR: R:\TS\*
Scanning: 319,718,910,799 bytes in 0 folders and 1,368,797 files  (RAM 94 MiB, I/O 24.898 sec, cpu 7.816 sec, real 254.541 sec)
Compress with delta
Using 4 threads * 8mb + 10 * 16mb I/O buffers = total 192mb,  48b..4kb.. chunks.  Prefetch 256mb using 1 thread
100%: 319,718,910,255 -> 159,922,530,967: 50.02%.  RAM 1,673 MiB.  I/O 1607.996 sec, cpu 90.9 MiB/s (3354.021 sec), real 2.49 MiB/s (122661.460 sec) = 3%
Archive directory: 512,837,609 bytes.  Decompression memory: 1,416 + N*8 = 1,424..1,448 MiB

fa t R:\test.fa
Testing 319,718,910,255 bytes in 0 folders and 1,368,796 files
100%: 159,922,530,967 -> 319,718,910,255: 50.02%.  RAM 0 / 1,416 MiB.  I/O 78.125 sec, cpu 1109 MiB/s (275.045 sec), real 108 MiB/s (2813.300 sec) = 10%
а при распаковке он конечно же будут hard-линки делать, а не плодить копии файлов? да? дыа?
ладно, если серьезно, нужны CLS к оригинальному фриарку - иначе толку мало
или можно как-то хитро замутить через fazip?
 
Hunter, в смысле?
алгоритм или ратио?
это же дедаб фалов, а не даты
или нет?
 
toolame, наскока помню Булат говорил о переработанном srep - так вот среп не рекомендую использовать с дедаб

дедаб ~= среп
 
toolame, -dsenrs - можно заменить на типа этого

arc.exe a -ep1 -dses --dirs -se; -lc- -di -i2 -r -dup data.arc packeddata\*

бывает что так лучше сжатие - для каждого типа файлов свой солид-блок

но это даст меньше размер на большом объёме данных

ежели игра малого размера - ну 3 метра выиграете
 
Hunter, ну srep на ~300GB данных прилично наверно памяти сожрет, а дедаб при распаковке ~1,5GB всего потребовал
так что тут выбор в сторону дедаб очень привлекателен
насчет сортировки - зависит от контента, в данном случае это много повторяющейся даты
 
toolame, по-моему лучше всего применять сортировку при большом кол-ве разных типов файлов
 
Жаль, что нету GUI. Только консоль:


FreeArc'Next v0.11 (2016-10-08 by Bulat.Ziganshin@gmail.com)
Usage: fa COMMAND ARCHIVE [OPTION...] FILES/DIRS/@LISTFILES...

Commands:
a[dd]|create create archive from files/dirs
l[ist]|lt list files/solid blocks in the archive
t[est] check the archive integrity
x|extract extract all files from the archive

Options:
-ag[FORMAT] --autogenerate=[FORMAT] append to archive name string generated by strftime(FORMAT||
"%Y%m%d%H%M%S")
-ao --select-archive-bit select only files with Archive bit set
-bBYTES --bufsize=BYTES buffer size
-cBYTES --chunk=BYTES average chunk size (default: 4kb)
-cfgFILE --config=FILE use configuration FILE (default: fa.ini)
-dpDIR --diskpath=DIR base DIR on disk
-dsORDER --sort=ORDER sort files in the order defined by chars 'gerpnsd' ('gerpn'
by default)
-dup --deduplication global deduplication a-la ZPAQ
-ed --no-dirs don't add empty dirs to archive
-envVAR read default options from environment VAR (default: FA_CFG)
-fEXPR --filter=EXPR filter files by Lua expression employing vars name, type, si
ze, time and attr
-kb --keep-broken keep extracted files that failed the CRC check
-mMETHOD --method=METHOD set compression method
-mcDIRECTIVE modify compressor: [$group1,$group2][:]-$group,-algo,+algo,a
lgo1/algo2
-miNUM --io-threads=NUM I/O threads
-nFILESPECS --include=FILESPECS include only files matching FILESPECS
-oMODE --overwrite=MODE existing files overwrite MODE (+/-/p)
-r --recursive recursively find files to add (to do: or archives to list/ex
tract)
-rem... --rem... remark (ignored commentary)
-sGROUPING --solid=GROUPING group files into solid blocks
-slBYTES --max-size=BYTES maximum filesize to process
-slpMODE set large page mode (TRY(default), FORCE(+), DISABLE(-), MAL
LOC)
-smBYTES --min-size=BYTES minimum filesize to process
-t --test test archive after operation
-tNUM --threads=NUM worker threads (default: 4)
-wDIRECTORY --workdir=DIRECTORY DIRECTORY for temporary files
-xFILESPECS --exclude=FILESPECS exclude FILESPECS from operation
-y --answer-yes answer Yes to all queries
--cache=BYTES size of read-ahead cache
--crc-only save/check CRC, but don't store data
--dirs add empty dirs to archive
--groups=FILE name of groups file (arc.groups by default)
--logfile=FILENAME log file
--min-chunk=BYTES minimum chunk size (default: 48b)
--no-check don't check SHA-256 hashes of extracted data
--no-data don't write compressed data to the archive
--no-dir don't write archive directory
--no-read only build list of files to compress
--no-warnings don't print warning messages to console
--no-write don't create archive file
--prefetch[PARAMS] prefetching to the OS file cache (:1g:8 means read 1GB ahead
using 8 threads)
--print-config display built-in definitions of compression methods
--profiler print internal profiling stats
--ratio=PERCENTS automatically store blocks with order-0 entropy >PERCENTS% (
99 by default)
--save-sha-hashes store in the archive SHA-256 hashes of the chunks

PLEASE DON'T USE THE PROGRAM IN PRODUCTION ENVIRONMENT SINCE THE ARCHIVE FORMAT IS NOT YET STABLE




Пробовал тест:
S:\TEMP\Games\1>fa64g a test.fa -dsenrs -dup -m=delta -r -wR: S:\TEMP\Games\1\2\*
Scanning: 11,661,941,287 bytes in 0 folders and 23,808 files (RAM 4 MiB, I/O 0.203 sec, cpu 0.000 s
Scanning: 14,219,920,670 bytes in 0 folders and 27,374 files (RAM 4 MiB, I/O 0.234 sec, cpu 0.047 s
ec, real 0.277 sec)
Compress with delta
Using 4 threads * 8mb + 10 * 16mb I/O buffers = total 192mb, 48b..4kb.. chunks. Prefetch 256mb usi
ng 1 thread
0%: 27,572,041 -> 16,771,577: 60.83%. RAM 9 MiB. I/O 0.452 sec, cpu 80.3 MiB/s (0.328 sec), real 7
...
99%: 14,079,112,476 -> 7,962,014,799: 56.55%. RAM 89 MiB. I/O 37.269 sec, cpu 86.8 MiB/s (154.722
99%: 14,079,112,476 -> 7,962,014,799: 56.55%. RAM 89 MiB. I/O 37.269 sec, cpu 86.8 MiB/s (154.722
100%: 14,219,920,670 -> 7,984,842,835: 56.15%. RAM 91 MiB. I/O 37.331 sec, cpu 87.6 MiB/s (154.784
sec), real 25.1 MiB/s (540.970 sec) = 29%
Archive directory: 21,105,914 bytes. Decompression memory: 136 + N*8 = 144..168 MiB

Программа fa64g создал файл архив test.fa размер 7,45 ГБ. Две папке: 13,2 ГБ, (Файлов: 27 374; папок: 810).
Всего 9 минут.

Это алгоритм ZPAQ, Zstandard - фуфло !

А вот FreeArc тип архив: arc, выбрал сжатие: "Мгновенное: -m1".
Потратил создание архив за 7 минут, размер: 4.22 ГБ.

А вот разница fa64g слабо сжимается и дольше 2 минут.
 
Последнее редактирование:
Назад
Сверху