lolz test22c4b

[agent555]

Булат Зиганшин, спасибо. Буду знать
Вместо плизиба воспользовался XTOOL, все распаковалось хорошо.
Вот непонятно только. Хтул разжал на 30 мегабайт больше чем pzlib. А конечный результат (выход файла) больше где-то на 13 мегабайт xD. Я раньше паковал эту игру пзлибом (без лолза) все распаковывалось хорошо, а с лолзом какие-то проблеемы. Наверное, где-то несовместимость что ли . (ну может какие-то файлы повреждаются, когда лолз работает с плизибом и поэтому ошибку 11 выдает), ибо параметры никакие не менялись, а просто стандарт :xprecomp и pzlib. Хотя! остальные данные (из этой же игры) пзлиб+лолз распаковываются. + как говорил (3ий раз уже), если разбить на архив на 2 или 3 части (т.е будет data1, где все 11197 файлов ; или data1.data2.data3 где понемногу файлов из этой папки), то распаковка происходит нормально.
В любом случае, спасибо и не агритесь, если что-то написал не так.
p.s.s мало ли у кого появятся мысли с возможным решением проблемы или понадобится эта "чудо папка" - дайте знать. Всем добра

 

[Булат Зиганшин]

ну наиболее вероятно что просто конкретная последовательность байтов, выдаваемая на этом конкретном файле какой-то конкретной программой, приводит к сбою в lolz. всё-таки утилита новая, пользователей у неё 2.5 человека

 

[sergey3695]

agent555,
залей. я качну. )

 

[sergey3695]

Скачал. Запаковал lolz. Распаковал. Миф разрушен.
p.s.

 

[Edison007]

lolz:dtb1:dtw1:dtd1:mtt0:mt2:mtb300:d512:tt12:oh14:os10:fba0:mc256:cm1:dmx3y4:gmx2y1

что это вообще за дичь?
dtw и dtd и так по умолчанию 1, зачем писать лишнее, кстати то же касается опций dm, mtt.
Для опций dm/gm ваще непонятно, что написано... какие еще x и y? нужно просто - dm34:gm21.
И еще, наверняка нет смысла ставить такие опции для oh/os, т.к в большинстве случаев дефолтные наилучшие)


По хорошему, для отлова бага, нужно набор обработать pzlib+srep, потом сверхну пакануть lolzом, и пробовать распаковать.
Если lolz вылетит, то да, можно наверняка говорить, что косяк где-то в нём, иначе хрен знает

 

[sergey3695]

По хорошему, для отлова бага, нужно набор обработать pzlib+srep, потом сверхну пакануть lolzом, и пробовать распаковать.

я думаю результат будет тот же, мне влом ) agent555, писал, мол чисто пакует без pzlib и srep и не распаковывает.

какие еще x и y?

2 хромосомы.

 

[agent555]

sergey3695, так ты чисто лолзом или пзлиб +среп+лолз? Если лолз (mlolz) то странно это. и непонятно
Edison007, Эти опции написал, когда уже после n кол-ва попыток не было результатов, говорил же, что пробовал сначала чисто pzlib+srep+lolz (без параметров). Потом начал искать ошибки в нем (т.е менять или добавлять что-то) т.к до этого всегда был lzma а не лолз.
upd от 23го, чтобы не засорять тему.
/// независимо от параметров
pzlib+srep распаковывает
srep+lolz распаковывает
lolz тоже распаковывает
pzlib+srep+lolz не распаковывается (если заменить плизиб на чтот-то другое, хтул, зтул итд, то установка пройдет успешно). В чем именно проблема (плизиб или зтул) не могу сказать
upd от 27го. Дело в плизибе 146%!
Паковалось ехешником, где что-то написано про шелдвина (версия 3.2), запаковал с другим ехе (тоже 3.2), но там нет этой надписи (да и выглядит немного иначе + размер файлов разный итд / ну они сами по себе разные) и все распаковалось без проблем

 

[sergey3695]

agent555, -mlolz:tt2:mtb32:d64m:fba4096:mc2

 

[Sanmayce]

Простите что по Русский не пишу, просто много ошибок я делаю.
As far as I understand the author is ProFrager, if so, could you expand on what options are to be used in order to generate:
- highest compression ratio;
- highest decompression rate.

Simply, a GitHub fellow member shared today your compressor:
https://github.com/Sanmayce/Nakamichi/issues/1#issuecomment-396467893

Is lolz suitable for textual data and what options to use?
What datasets interest you?

If you wanna see it included in the mix please specify best options.
By the way, could you explain are there dependencies like other executables, I saw .ini file containing srep, my wish is to have one executable without dependencies - if possible.

 

[ProFrager]

if so, could you expand on what options are to be used in order to generate:
- highest compression ratio;
- highest decompression rate.

на скорость сжатия наиболее влияют опции -x, -mt, -tt и -fb*, на скорость распаковки mt и -cm, и в зависимости от данных -dm и -gm (все эти опции указываются на стадии сжатия) .

Is lolz suitable for textual data

нет, текстовые данные игнорировались совсем при создании компрессора, т.к. он предназначен в основном для сжатия игровых данных.

By the way, could you explain are there dependencies like other executables, I saw .ini file containing srep, my wish is to have one executable without dependencies - if possible.

Никаких внешних зависимостей. В .ini прописаны секции для freearc, который в 99% используется для сжатия игр как агрегатор данных. А lolz - это алгоритм компрессии, как lzma, например.

 

[toolame]

а почему данные пишутся во временный файл, а после копируются(?) в выходящий?

 

[Edison007]

на скорость сжатия наиболее влияют опции -x, -mt, -tt и -fb*, на скорость распаковки mt и -cm, и в зависимости от данных -dm и -gm (все эти опции указываются на стадии сжатия) .

Добавлю, что также на скорость упаковки влияет опция mc - чем значение больше, тем медленнее. Однако я бы не советовал ставить его меньше 32, т.к страдает степень сжатия.
Например:
mc2 - 668 MB
mc64 - 541 MB

 

[nik1967]

Эдди, а если mc1023? По-максиму?

 

[Edison007]

Максимальное значение не гарантирует наилучший результат, от данных зависит.
так, да, 1023 максимум. в хелпе это всё есть

 

[ProFrager]

а почему данные пишутся во временный файл, а после копируются(?) в выходящий?

потому что для последовательного доступа к данным при декодировании требуется, чтобы при кодировании некая информации, которая получается после окончания процесса сжатия была в начале архива.

 

[dixen18]

все что вам надо знать - есть в пункте обзор

 

[zapsip]

Забавно, что при включении многопоточности размер блока автоматически изменяется, чтобы соблюсти требование : "размер словаря должен быть не более размера блока".

Это приятно


Сводная таблица сжатия разных типов данных игр :
"эталон" - исходные настройки.
Исходный размер 141 844 330. Шерлок Холмс.
Слева направо : Время упаковки. Единственный !!! изменяемый параметр (по сравнению с эталоном настроек). Сжатый размер.
Первая таблица наглядно показывает влияние параметров на скорость сжатия.
Из неё, в частности, видно, что параметр -mc2 сильно ускоряет сжатие (но в ущерб компактности).
А увеличение параметра -tt (8,12,16) сильно замедляет сжатие, а компактность незначительна. А если поставить 32, то десятки часов будет сжиматься.

Влияние прочих испытуемых параметров : -mtt[0..1] , -mt[1..16] , -fba[0..4096], -dmXY, -gmXY , - очень мало.
Из второй таблицы видно, от чего зависит компактность.
То, что выше голубой полоски, улучшает компактность.
То, что ниже, вредит компактности.
Так, -cm[0..1] вредит компактности и скорости не особо добавляет.
Кроме данных, отражённых в таблице, проведено ещё очень много сеансов сжатия и видно, что результат примерно одинаков для разных типов данных.

 

[sergey3695]

zapsip, это всё в обзоре написано как бы -_-
p.s. где тут таблица, если это *.png...

очень мало

ну да, ага, конечно. да.
не в обиду, просто какая-то чушь написана. данные -

Шерлок Холмс.

ну конечно же...Холмс. да, помню *.Холмс файлы.
немного бомбёжки после прочтения. не берите близко к сердцу, просто примите как есть.
-
-mc 1023 (можно и не трогать)
-tt Больше 16-ти нет смысла ставить.
-mtt При 1 каждый блок сжимается отдельно, без зависимостей от соседних данных, соответственно сжатие тут получается обычно хуже, чем в первом режиме, но количество потоков на распаковку можно указывать любое. Именно для этого режима применяются опции из cls.ini MaxThreadsUsage и MaxMemoryUsage. По умолчанию: -mtt0;
-mt При -mt1 и -mtt0 получается обычное последовательное сжатие без потерь в сжатии на разделение потока на блоки. По умолчанию: -mt1;
-fba 256 (можно не трогать)
-dmXY, -gmXY для графики параметры

Спойлер

ARGB (32 bit)                                          - 1,49 ГБ (1 606 611 340 байт)
lolz:mtt0:mt1:mtb32m:d64m:tt4:dtm1:dto0:dtd0:dtw1:gm00 - 132 МБ (138 484 559 байт)
lolz:mtt0:mt1:mtb32m:d64m:tt4:dtm1:dto0:dtd0:dtw1:gm10 - 132 МБ (139 377 956 байт)
lolz:mtt0:mt1:mtb32m:d64m:tt4:dtm1:dto0:dtd0:dtw1:gm20 - 130 МБ (137 337 795 байт)
lolz:mtt0:mt1:mtb32m:d64m:tt4:dtm1:dto0:dtd0:dtw1:gm01 - 133 МБ (140 223 296 байт)
lolz:mtt0:mt1:mtb32m:d64m:tt4:dtm1:dto0:dtd0:dtw1:gm11 - 133 МБ (139 589 973 байт)
lolz:mtt0:mt1:mtb32m:d64m:tt4:dtm1:dto0:dtd0:dtw1:gm21 - 132 МБ (138 567 366 байт)

время распаковки
gm00 - 19.021 sec.
gm10 - 15.849 sec.
gm20 - 27.280 sec.
gm01 - 27.895 sec.
gm11 - 19.457 sec.
gm21 - 39.233 sec.

DDS DXT1                             - 42,6 МБ (44 739 384 байт)

lzma:lc8:lp3:pb3:d64m                - 23,2 МБ (24 380 105 байт)
dlz:cc2200:cm40:d64m:cu1:ep1:em1:dc8 - 21,4 МБ (22 507 317 байт)
lolz:dtm0:dto0:dtw0:d64m:tt4         - 20,9 МБ (21 937 074 байт)
lolz:dtm0:dto0:dtw1:d64m:tt4         - 19,7 МБ (20 673 491 байт)

Набор DDS DXT5                    - 524 МБ (549 541 880 байт)

lzma:lc8:lp4:pb4:d64m             - 285 МБ (299 274 484 байт)
dlz:cc2222:cm43:cu1:em1:d64m      - 262 МБ (275 340 080 байт)
lolz:dtd1:dto0:dtm0:dtw0:d64m:tt4 - 265 МБ (277 874 146 байт)
lolz:dtd1:dto0:dtm0:dtw1:d64m:tt4 - 259 МБ (272 494 081 байт)

-cm[0..1] вредит компактности

https://thedeemon.livejournal.com/38953.html
хотя бы так.

 

[Edison007]

Исходный размер 141 844 330. Шерлок Холмс.

Исходя из представленных результатов, смею предположить, что данные либо пожаты, ли это lossy-данные. Поэтому влияние опций минимально.

-mc 1023 (можно и не трогать)

Не согласен. Как оказалось, максимальное значение часто не лучшее.

-tt Больше 16-ти нет смысла ставить.

-fba0 -dtw0 -dtd0 -dto0 -mc512 -bc6 -oh14 -os0 -tt256 -gm20 -x2
100.00% (12'673k)   9.8% (1'237k/1'237k)  8:50:04/8:50:04     0/   0k/s

 

[zapsip]

Мои файлы взяты из
Sherlock.Holmes.The.Devils.Daughter-CPY ISO release: cpy-shdd.iso (15,834,783,744 bytes)
туда ещё

• Sherlock.Holmes.The.Devils.Daughter.CRACKFIX-CPY applied

Всего около 10 файлов .upk и .tfc, и в частности, Lighting_NA.tfc