SuperREP (SREP) 3.92

[Shegorat]

Пользователь Shegorat разместил новый ресурс:

SuperREP (SREP) - LZ77 упаковщик, позволяющий находить повторы на больших файлах

SuperREP - первый LZ77 упаковщик, использующий словарь больше, чем размер ОЗУ. Настройки по умолчанию (-l512) позволяют обрабатывать файлы, 10-кратно превышающие размер ОЗУ. Требования к памяти пропорциональны 1/L, так что увеличив значение опции -l, можно обрабатывать ещё большие файлы - например с -l64k используемое ОЗУ будет примерно в 1000 раз меньше размера файла. Скорость упаковки - 40-4000 мб/с (зависит от опций -m -a -l), распаковки - 1500 мб/с на i7-2600.

Узнать больше об этом ресурсе...

 

[Mickey1s]

Есть перебор параметров LZMA (lc pb и тд), можно такой же для SREP сделать?

 

[ReFLeXx]

SREP 3.93 бета (30 сентября 2014 г.) - http://freearc.org/download/research/srep393.zip

• -m0: упаковка со словарём фиксированного размера, полный аналог алгоритма REP

• Опции -d -dh -dc -dl устанавливают размер словаря, размер хеш-таблицы для поиска в нём, размер хешируемой порции данных, минимальный размер совпадения

• Альтернативный синтаксис опций: -d1g:h256m:l512:c128 -d+ -d-

• Поддерживаются словари >4ГБ

• Словарный упаковщик также может быть скомбинирован с алгоритмами -m3..-m5, например "srep -m3 -d4g ..."

Вывод информации:

• Теперь все операции выводят в заголовок окна сколько процентов данных уже обработано, оставшееся время и имя обрабатываемого файла

• Время, остающееся до завершения операции, также выводится на консоль

• По завершении операции сжатия, печатается сколько памяти потребуется для распаковки плюс статистика по найденным матчам

• "srep -i file.srep" выводит информацию о сжатом файле

• В обоих случаях память, требуемая для распаковки, вычисляется с учётом опции -mBYTES

Разное:

• Linux: поддержка работы с файлами >4ГБ

• Используемое для упаковки ОЗУ уменьшено на 32 МБ (для -m3 -b8mb)

• На этот раз, в поставку включены все исходники, необходимые для компиляции программы под Windows и Linux

 

[Aragorn]

Привет! Сжимал цепочкой "Precomp+Srep+Arc" и при инсталляции выдаёт такие ошибки:
P.S. В скрипте прописал:

#define precomp "0.38"
#define SrepInside
#define PrecompInside

Подскажите пожалуйста в чём проблема!

 

[Edison007]

Всем, наверное, нужно догадаться: какими версиями программ вы пользовались, какими опциями сжимали, и как заполнен arc.ini?

 

[Aragorn]

Всем, наверное, нужно догадаться: какими версиями программ вы пользовались, какими опциями сжимали, и как заполнен arc.ini?

FreeArc 0.67, precomp 0.38; в файле прописаны "arc.exe a -ep1 -dses --dirs -s; -lc- -di -i2 -r -mprecomp+srep:l256+lzma:a1:mfbt4:d200m:fb128:mc1000:lc8 data.arc packeddata\*
pause"
В arc.ini прописано:
[External compressor:srep]
;options = l%d (minimal match length, default=512)
header = 0
packcmd = srep {options} -a1 -m5f $$arcdatafile$$.tmp $$arcpackedfile$$.tmp
unpackcmd = srep -d $$arcpackedfile$$.tmp $$arcdatafile$$.tmp

[External compressorrecomp]
header = 0
packcmd = precomp -slow {options} -o$$arcpackedfile$$.tmp $$arcdatafile$$.tmp
unpackcmd = precomp -o$$arcdatafile$$.tmp -r $$arcpackedfile$$.tmp

[External compressor:msc]
header = 0
packcmd = msc c -v {options} $$arcdatafile$$.tmp $$arcpackedfile$$.tmp

 

[Aragorn]

Всем, наверное, нужно догадаться: какими версиями программ вы пользовались, какими опциями сжимали, и как заполнен arc.ini?

Вы сможете помочь мне в данной ситуации, или нет?

 

[vint56]

Aragorn, ты в скрипте заменил CLS-srep.dll

 

[Aragorn]

Aragorn, ты в скрипте заменил CLS-srep.dll

А по подробнее можно пожалуйста? =)

 

[vint56]

Aragorn, SrepInside0.33 там есть папка unpack там есть CLS-srep.dll вот найди у себя в скрипте замени

 

[Aragorn]

Aragorn, SrepInside0.33 там есть папка unpack там есть CLS-srep.dll вот найди у себя в скрипте замени

Дружище, у меня нету папки unpack

 

[vint56]

Aragorn, http://rghost.ru/58468443
я же не написал что в самом скрипте что заменить я сказал файл dll заменить и написал от куда взять его

 

[Aragorn]

vint56, спасибо, дружище!!! Помог мне - дураку) Огромное спасибо)
З.Ы. у меня просто не было этой dll-ки, вот я и не знал откуда её брать, ещё раз спасибо)

 

[ReFLeXx]

SREP 3.93a бета (11 октября 2014 г.) - http://freearc.org/download/research/srep393a.zip

• Исправлена ошибка в обработке опций типа -mem256m

• Исправлена ошибка, из-за которой в srep*i.exe работали только режимы -m1 и -m2

 

[toolame]

-vmfile= не работает, пишет что invalid
алсо, -memBYTES как то странно работает, указал -mem10gb а он все равно 20 гигов сжирает и никакого srep-virtual-memory.tmp не создает...
или эти опции только для распаковки? %)

 

[Булат Зиганшин]

да, эти опции влияют только на распаковку, при упаковке они игнорируются. но в программе действтиельно ошибка и опции vmfile/vmblock не обрабатываются вовсе. исправил, выпущу новую версию. спасибо!

если не хватает памяти при упаковке, то надо вместо -m5/-m4 использоваться -m3, а затем увеличивать -c до 1024, 2048 и т.д. виртуальную память при упаковке использовать невозможно ввиду случайного характера доступа к памяти, т.е. с использованием вирт. памяти упаковка стала бы в миллион раз медленней. -m4 это как раз вариант -m3 где часть данных вынесена в виртуалку (точнее дисковый кеш), и то работает очень медленно

 

[toolame]

ну я пытаюсь добиться макс сжатия, а его обеспечивает только -m5 плюс -l16 и -d4g
да безумие, но работает
ну я добавил еще -a- -ia-
пару гигов скосило
в общем 16 гигов оперы — фигня в наши дни...
подключил старый добрый, ламповый СВОП
благо 3 HDD, есть где распараллелиться

виртуальную память при упаковке использовать невозможно ввиду случайного характера доступа к памяти

а что если SSD?
мало ли, может все таки сделать такую возможность, а пользователь пусть сам разберется?
т.е. упаковка будет в миллион раз медленней, но она БУДЕТ

 

[Булат Зиганшин]

делай, у меня нет времени заниматься маловостребованными вещами. максимальное сжатие обычно обеспечивается в районе -l512, просто надо смотреть на окончательный результат сжатия после lzma

 

[toolame]

просто надо смотреть на окончательный результат сжатия после lzma

именно на него и ориентируюсь, конечно
-l16 в данном случае обеспечивает еще ~400мб сжатия

 

[Edison007]

toolame, Какой объём данных сжимается? И что вообще за данные?

-l16 в данном случае обеспечивает еще ~400мб сжатия

относительно чего выигрыш?