OGGRE 0.1.1

[Den.Scaletta]

tihiy_don, здравствуй.
Почистил файлы ogg в папке sounds от тегов как заповедал byexit)
И максимально сжал через OGGRE, 1,12 ГБ (1 206 049 967 байт) to 459 МБ (482 201 673 байт)
Сделал SFX установщик с проверкой хэш-суммы распакованных файлов.
Файл закинул на google drive.
Если будет позволять время и будет интерес, проверь по возможности.
Нужно выяснить как игра примет ogg файлы без тегов.
Когда пройдёт проверка хэш-сумм файлов, закрой окно программы и два раза нажми Enter в окне командной строки.

Спойлер: Я пока пошаманю с оставшимися файлами)

P.S. Патч 1А для мода не затрагивает папку sounds.

 

[tihiy_don]

Максимальное значение ключа -s3 скинуло ещё один мегабайт веса 460мб ==>> 459мб.
Расшифровка ключей:

Спойлер: -sX

Set books statistic buffer size, X = [0;3]. Default: -s1

Спойлер: -dd

Disable ogg deduplication

Спойлер: -df

Disable setup frame deduplication

Спойлер: -ds

Disable solid mode

Если в коде батника на компрессию:

arc a -m0 -ep1 -dses -lc- --cache=512mb -i2 -di -r -s; -m=oggre data.arc files\*

изменить значение -dses на -dsgerpn:

arc a -m0 -ep1 -dsgerpn -lc- --cache=512mb -i2 -di -r -s; -m=oggre data.arc files\*

то архив получается битый и не распаковывается.

Арком вообще получилось около 800 мб если не ошибаюсь. Давай пока подождём, автор скоро обновит мод.

 

[Den.Scaletta]

tihiy_don

Арком вообще получилось около 800 мб если не ошибаюсь. Давай пока подождём, автор скоро обновит мод.

Арком сжать папку sounds(1,12 ГБ) до 800 метров получилось или папку gamedata(6,35 ГБ)??)
Самой неудобной папкой является textures.
В ней очень много DDS файлов, которые лучше всех сжимает связка precomp+srep+lolz.
Xtool+srep+lolz тоже хорошо сжимает, но precomp в моём случае и с моими настройками, находит чуть больше информации для прекопрессии.
MSC (media streams compressor) 0.0.6.4 для этих целей не годится.
Ёще есть инструмент DLZ 0.2.2, но я его пока не могу скачивать, а проверить хотелось бы.
Пока автор готовит обновление, можно поработать с тем что есть на руках и что получается, чтобы выработать схему.
Поэтому и предложил протестировать архив soundsdata.exe, который выложил выше.

 

[tihiy_don]

tihiy_don

Арком сжать папку sounds(1,12 ГБ) до 800 метров получилось или папку gamedata(6,35 ГБ)??)
Самой неудобной папкой является textures.
В ней очень много DDS файлов, которые лучше всех сжимает связка precomp+srep+lolz.
Xtool+srep+lolz тоже хорошо сжимает, но precomp в моём случае и с моими настройками, находит чуть больше информации для прекопрессии.
MSC (media streams compressor) 0.0.6.4 для этих целей не годится.
Ёще есть инструмент DLZ 0.2.2, но я его пока не могу скачивать, а проверить хотелось бы.
Пока автор готовит обновление, можно поработать с тем что есть на руках и что получается, чтобы выработать схему.
Поэтому и предложил протестировать архив soundsdata.exe, который выложил выше.

Я жал среп + лолз. Хтоол там особо был бесполезен, хотя я особо не разбирал, может и дал бы некоторый результат. Времени особо нет разбирать там было. Упёрся в эти симлинки и всё.

 

[Den.Scaletta]

Я жал среп + лолз. Хтоол там особо был бесполезен, хотя я особо не разбирал, может и дал бы некоторый результат. Времени особо нет разбирать там было. Упёрся в эти симлинки и всё.

tihiy_don, здравствуй.
Я так и не понял, 800 метров из какой папки получилось?

 

[tihiy_don]

tihiy_don, здравствуй.
Я так и не понял, 800 метров из какой папки получилось?

я уже не помню. было давненько это дело, а на пк не сохранил архивы.

 

[Den.Scaletta]

Спойлер: Важное уточнение.

Для примера возьмём папку с OGG файлами, весом 1.12 ГБ.
Теперь проведём компрессию №1 со следующей комбинацией ключей:

Спойлер: №1

::Код батника:
arc.exe a -lc- -ep1 -i2 -r -s; -w.\temp_arc -m=oggre output\data.arc "data\*"

;Код в INI:
[External compressor:oggre]
header = 0
packcmd = OGGRE_enc -s3 $$arcdatafile$$.tmp $$arcpackedfile$$.tmp

На выходе имеем файл весом 458 МБ.

Теперь проведём компрессию №2 со следующей комбинацией ключей:

Спойлер: №2

::Код батника:
arc.exe a -lc- -ep1 -i2 -r -s; -w.\temp_arc -m=oggre+lolz output\data.arc "data\*"

;Код в INI:
[External compressor:oggre]
header = 0
packcmd = OGGRE_enc -s3 $$arcdatafile$$.tmp $$arcpackedfile$$.tmp

[External compressor:lolz]
header = 0
packcmd = lolz_x64.exe -tt2 -ldc0 -ldl5 -lde2 -d128m -mtb64 $$arcdatafile$$.tmp $$arcpackedfile$$.tmp
unpackcmd = cls-lolz_x64.exe $$arcpackedfile$$.tmp $$arcdatafile$$.tmp

На выходе имеем файл весом 458 МБ.

Теперь проведём компрессию №3 со следующей комбинацией ключей:

Спойлер: №3

::Код батника:
arc.exe a -lc- -ep1 -i2 -r -s; -w.\temp_arc -m=xtool+oggre output\data.arc "data\*"

;Код в INI:
[External compressor:oggre]
header = 0
packcmd = OGGRE_enc -s3 $$arcdatafile$$.tmp $$arcpackedfile$$.tmp

[External compressor:xtool]
header = 0
packcmd = xtool.exe precomp { -option} -d1 -mpng -mzlib -mpreflate -c32mb -t100p-1 --mem=95p --dbase --dedup - - <stdin> <stdout>
unpackcmd = xtool.exe decode -t100p-1 --mem=95p --dedup - - <stdin> <stdout>

На выходе имеем файл весом 604 МБ., плюс архив получается битый и выдаёт ошибку при распаковке.

Теперь проведём компрессию №4 со следующей комбинацией ключей:

Спойлер: №4

::Код батника:
arc.exe a -lc- -ep1 -i2 -r -s; -w.\temp_arc -m=lolz output\data.arc "data\*"

;Код в INI:
[External compressor:lolz]
header = 0
packcmd = lolz_x64.exe -tt2 -ldc0 -ldl5 -lde2 -d128m -mtb64 $$arcdatafile$$.tmp $$arcpackedfile$$.tmp
unpackcmd = cls-lolz_x64.exe $$arcpackedfile$$.tmp $$arcdatafile$$.tmp

На выходе имеем файл весом 514 МБ.

Вывод:
Если у вас есть для компрессии OGG данные, и вы хотите обработать их в OGGRE, то их обязательно нужно вынести в отдельную папку и обработать только OGGRE. Результат №2 не имеет смысла, результат №3 критичен, а результат №4 на 56 мб. больше.
Всем удачи

 

[byexit]

Если у вас есть для компрессии OGG данные, и вы хотите обработать их в OGGRE, то их обязательно нужно вынести в отдельную папку

зачем эти сложности, у fa есть удобные опции для этого -n и -x, учитывая, что под конкретный тип файлов лучше подходит конкретный алгоритм или связка, проще же один раз переписать батник, чем постоянно копировать отдельные типы файлов

Спойлер: в батнике из ваших примеров что-то типа:

arc.exe a -lc- -ep1 -i2 -r -s -n*.ogg -w.\temp_arc -m=oggre output\data-1.arc "data\*"
arc.exe a -lc- -ep1 -i2 -r -s -x*.ogg -w.\temp_arc -m=lolz output\data-2.arc "data\*"

можно и комбинировать, для каждого типа файла нужно писать повторно опцию (-n*.ext1 -n*.ext2... -m=method1), исключить потом главное не забыть также через -x (-x*.ext1 -x*.ext2... -m=method2) и т. д., можно рассортировать на сколько угодно вариантов, я думаю, логика понятна

 

[Den.Scaletta]

зачем эти сложности, у fa есть удобные опции для этого -n и -x, учитывая, что под конкретный тип файлов лучше подходит конкретный алгоритм или связка, проще же один раз переписать батник, чем постоянно копировать отдельные типы файлов

Спойлер: в батнике из ваших примеров что-то типа:

arc.exe a -lc- -ep1 -i2 -r -s -n*.ogg -w.\temp_arc -m=oggre output\data-1.arc "data\*"
arc.exe a -lc- -ep1 -i2 -r -s -x*.ogg -w.\temp_arc -m=lolz output\data-2.arc "data\*"

можно и комбинировать, для каждого типа файла нужно писать повторно опцию (-n*.ext1 -n*.ext2... -m=method1), исключить потом главное не забыть также через -x (-x*.ext1 -x*.ext2... -m=method2) и т. д., можно рассортировать на сколько угодно вариантов, я думаю, логика понятна

Спойлер: COPY THAT!

byexit, здравствуйте.
Это очень полезная информация, я не знал об этом!
Вы просто кладезь полезных знаний)
Сразу провёл тесты, всё прекрасно работает.
Но есть один момент, который нужно учитывать.

Спойлер: Объясню:

Видимо данная комбинация ключей должна обязательно включать параметр --dirs, если:
В директории для компрессии есть помимо прочего три пустые папки и они нужны.
Если использовать метод:

arc.exe a -lc- -ep1 -i2 -r -s; -w.\temp_arc -m=oggre output\data.arc "data\*"

тогда при распаковке, эти папки будут на месте.

Спойлер: На месте

Но если применить метод:

arc.exe a -lc- -ep1 -i2 -r -s; -n*.ogg -w.\temp_arc -m=oggre output\data-1.arc "data\*"

все три паки не будут помещены в архив и при распаковке их не будет.

Спойлер: Пропали

Поэтому с этим методом и если нужны эти три пустые папки, нужен ключ --dirs:
arc.exe a -lc- --dirs -ep1 -i2 -r -s; -n*.ogg -w.\temp_arc -m=oggre output\data-1.arc "data\*"
Это пустяк, но он имеет место быть)

Большое спасибо что поделились этим знанием)
Берегите себя и будьте здоровы)

P.S. А есть ли возможность чтобы вся связка сразу регулировала поведение как для OGGRE так и для LOLZ и не пришлось бы запускать отдельные батники для них?
P.P.S. Когда сделал компрессию директории где находились кроме папки sounds(с OGG файлами) другие папки, выяснилось что в папке meshes, тоже находятся пять OGG файлов)
Теперь решил проверить все папки на наличие OGG.
А вдруг)

 

[byexit]

P.S. А есть ли возможность чтобы вся связка сразу регулировала поведение как для OGGRE так и для LOLZ и не пришлось бы запускать отдельные батники для них?

Вроде бы да, но это не точно, я детально не вникал в эту часть. В arc.ini, тот что фриарковский изначально, есть что-то подобное в конфигах описано про группы файлов. Также в древнем мануале, который ещё сам Булат писал, наверное, "сто лет" назад, это более менее расписано, там правда на 0,40 версию что ли, но в целом +- актуально, я просто давно пользуюсь этим архиватором, и в т. ч. как архиватором, а не просто репакерской тулзой, поэтому перечитал в т. ч. мануалы в своё время.

В принципе решение этой проблемы есть более простое, пишешь 2 строчки arc a ... archive.arc с разными параметрами сжатия по фильтрам файлов, но в один и тот же архив на выход, freearc его должен дополнить, а каждый отдельный метод сжатия будет как отдельный солид блок(и) внутри архива. Также есть команда на объедение архивов (arc j new.arc old1.arc old2.arc...), принцип тот же - суммируются солид блоки. Мне так даже больше нравится, паковать по отдельности сначала, сразу виден результат сжатия на конкретных типах файлов, если играться вариантами / проверять на распаковку, то так удобнее и быстрее, потом объеденить финальный результат всегда можно.

Что до пустых папок - интересное наблюдение, не замечал даже, небыло таких задач, в своих задачах я частенько наоборот на всякий опцию -ed использую, чтобы пустые папки не мусолили глаза) Похоже на то, что в gui версии архиватор сам добавляет --dirs, поэтому там -ed актуально для пропуска, если используются -n / -x, а в консоли достаточно отфильтровать -n*.ext.

 

[Andreo Fadio]

Когда сделал компрессию директории где находились кроме папки sounds(с OGG файлами) другие папки, выяснилось что в папке meshes, тоже находятся пять OGG файлов)
Теперь решил проверить все папки на наличие OGG.

все файлы вне папки Sounds, не используются и идут как мусор.

 

[Den.Scaletta]

все файлы вне папки Sounds, не используются и идут как мусор.

Andreo Fadio, здравствуйте.
Всё верно, ведь используется ключ(-n*.ogg), который просканировал все папки на наличие OGG файлов. Но если внимательно перечитать моё сообщение, тогда можно увидеть строки:

P.P.S. Когда сделал компрессию директории где находились кроме папки sounds(с OGG файлами) другие папки, выяснилось что в папке meshes, тоже находятся пять OGG файлов)
Теперь решил проверить все папки на наличие OGG.

Спойлер: Meshes:

Поэтому и упомянул за этот момент.
Без этого ключа мне и в голову не приходило, что где-то ещё могут быть OGG файлы.
Возможно так должно быть, возможно хвосты разработки, которые не почистили.
Это пустяк, но он имеет место быть)
Удачи

 

[Den.Scaletta]

Вроде бы да, но это не точно, я детально не вникал в эту часть. В arc.ini, тот что фриарковский изначально, есть что-то подобное в конфигах описано про группы файлов. Также в древнем мануале, который ещё сам Булат писал, наверное, "сто лет" назад, это более менее расписано, там правда на 0,40 версию что ли, но в целом +- актуально, я просто давно пользуюсь этим архиватором, и в т. ч. как архиватором, а не просто репакерской тулзой, поэтому перечитал в т. ч. мануалы в своё время.

В принципе решение этой проблемы есть более простое, пишешь 2 строчки arc a ... archive.arc с разными параметрами сжатия по фильтрам файлов, но в один и тот же архив на выход, freearc его должен дополнить, а каждый отдельный метод сжатия будет как отдельный солид блок(и) внутри архива. Также есть команда на объедение архивов (arc j new.arc old1.arc old2.arc...), принцип тот же - суммируются солид блоки. Мне так даже больше нравится, паковать по отдельности сначала, сразу виден результат сжатия на конкретных типах файлов, если играться вариантами / проверять на распаковку, то так удобнее и быстрее, потом объеденить финальный результат всегда можно.

Что до пустых папок - интересное наблюдение, не замечал даже, небыло таких задач, в своих задачах я частенько наоборот на всякий опцию -ed использую, чтобы пустые папки не мусолили глаза) Похоже на то, что в gui версии архиватор сам добавляет --dirs, поэтому там -ed актуально для пропуска, если используются -n / -x, а в консоли достаточно отфильтровать -n*.ext.

byexit, здравствуйте.

Разобрался, всё работает.

Спойлер: Код теперь выглядит так:

arc.exe a output\data-1.arc -ed -lc- -ep1 -i2 -r -s; -x*.ogg -m=xtool+lolz -w.\temp_arc "data\*"

arc.exe a output\data-2.arc -ed -lc- -ep1 -i2 -r -s; -n*.ogg -m=oggre -w.\temp_arc "data\*"

arc j new.arc output\data-1.arc output\data-2.arc

Ещё раз большое спасибо за полезную информацию)

 

[byexit]

Den.Scaletta по поводу последовательного добавления в один архив решил проверить - действительно работает немного не так, как я предполагал, похоже, что последний метод перепаковывает файлы внутри архива (то есть из ваших примеров, файлы ogg были переупакованны алгоритмом lolz), но опять же нашлось штатное решение, добавление опции --append, так что можно всё же и изначально в один архив паковать разные типы файлов разными алгоритмами или объеденять после

 

[Den.Scaletta]

Den.Scaletta по поводу последовательного добавления в один архив решил проверить - действительно работает немного не так, как я предполагал, похоже, что последний метод перепаковывает файлы внутри архива (то есть из ваших примеров, файлы ogg были переупакованны алгоритмом lolz), но опять же нашлось штатное решение, добавление опции --append, так что можно всё же и изначально в один архив паковать разные типы файлов разными алгоритмами или объеденять после

byexit, проверил, всё работает!
Вы как всегда на высоте)

Спойлер: Код теперь выглядит вот так:

arc.exe a output\data-1.arc -ed -lc- -ep1 -i2 -r -s; -x*.ogg -m=xtool+lolz -w.\temp_arc "data\*"

arc.exe a output\data-1.arc -ed --append -lc- -ep1 -i2 -r -s; -n*.ogg -m=oggre -w.\temp_arc "data\*"

Расшифровку ключей которым вы меня научили начал изучать вот здесь:

Спойлер: Документация на FreeArc 0.40:

Документация на FreeArc 0.40

Большое спасибо за ваше участие.
Берегите себя и будьте здоровы.

 

[byexit]

Den.Scaletta стоп, а зачем -mx? вместе с -m=что-либо в одну строчку получается масло масляное

Спойлер: более правильный код на мой взгляд типа этого

arc.exe a output\data-1.arc -lc- -ep1 -i2 -r -s; -x*.ogg -m=xtool+lolz -w.\temp_arc "data\*"
arc.exe a output\data-1.arc --append -lc- -ep1 -i2 -r -s; -n*.ogg -m=oggre -w.\temp_arc "data\*
-ed вроде тоже смысла не имеет, если всё в один архив, да и к тому же без --dirs эта опция и так срабатывает на фильтрах -n -x

-mx это даже не алгоритм, а типа как пресет, который интерпретируется в цепочки из встроенных алгоритмов, внешнему оггре как бы без разницы на стандартные пресеты с rep, lzma и прочими внутренними алгоритмами/прекомпрессорами. Впрочем неважно, -mx -m9 -m ещё что-то, arc отдаёт приоритет последнему -m, а если хочется всё же комбинировать внешний и внутренний, тогда нужно конкретный алгоритм(ы) указывать, а не пресет (напр можно так -m=rep:a99:1024mb+delta+lolz, то есть сначала все файлы пробежат внутренние, а потом результат этого пожмёт лолз) попробуй для разнообразия сжать чисто пресетом -mx без екстерналов (без -m=lolz/oggre/...), и посмотреть потом на свой архив, какие там солид блоки и алгоритмы сжатия на них (просмотр архива в консоли - arc lt твой_архив), полезно для понимания, как базово работает freearc

 

[Den.Scaletta]

Den.Scaletta стоп, а зачем -mx? вместе с -m=что-либо в одну строчку получается масло масляное

Спойлер: более правильный код на мой взгляд типа этого

arc.exe a output\data-1.arc -lc- -ep1 -i2 -r -s; -x*.ogg -m=xtool+lolz -w.\temp_arc "data\*"
arc.exe a output\data-1.arc --append -lc- -ep1 -i2 -r -s; -n*.ogg -m=oggre -w.\temp_arc "data\*
-ed вроде тоже смысла не имеет, если всё в один архив, да и к тому же без --dirs эта опция и так срабатывает на фильтрах -n -x

-mx это даже не алгоритм, а типа как пресет, который интерпретируется в цепочки из встроенных алгоритмов, внешнему оггре как бы без разницы на стандартные пресеты с rep, lzma и прочими внутренними алгоритмами/прекомпрессорами. Впрочем неважно, -mx -m9 -m ещё что-то, arc отдаёт приоритет последнему -m, а если хочется всё же комбинировать внешний и внутренний, тогда нужно конкретный алгоритм(ы) указывать, а не пресет (напр можно так -m=rep:a99:1024mb+delta+lolz, то есть сначала все файлы пробежат внутренние, а потом результат этого пожмёт лолз) попробуй для разнообразия сжать чисто пресетом -mx без екстерналов (без -m=lolz/oggre/...), и посмотреть потом на свой архив, какие там солид блоки и алгоритмы сжатия на них (просмотр архива в консоли - arc lt твой_архив), полезно для понимания, как базово работает freearc

byexit, исправил!

Не посмотрел сюда:

Спойлер: –mx

–mx – самое мощное сжатие, доступное при вашем объёме памяти, но без использования внешних компрессоров. Для распаковки вам потребуется такой же объём памяти, как и при упаковке.

Протестил ключ lt:

Спойлер: –m0

Спойлер: –m5

Спойлер: –mx

Спойлер: –m=OGGRE

Спойлер: -mx+OGGRE

Масло масляное

Теперь буду понимать)

Большое спасибо!

P.S. Если не установлен ключ -ed при наличие ключа -x*.ogg, то вся папка sounds с подкаталогами но без OGG файлов помещается в архив)

 

[Andreo Fadio]

Если не установлен ключ -ed при наличие ключа -x*.ogg, то вся папка sounds с подкаталогами но без OGG файлов помещается в архив)

логично же, что папка считает за объект сжатия. Хоть с файлами, хоть без.