UELR 0.1.0

[Edison007]

ну, да, проще автора мода попросить об опции не сжимать данные

Или же пускай юзает стандартную для движка функцию сжатия. А то каждый мододел будет юзать разные версии/функции и че каждую добавлять?
Насчет многопоточности я уже ответил)

:\
полагаю спрашивать о названии этой проги - бессмысленно?

ага) кое-какой самопал, только для тестирования

 

[Edison007]

Небольшой апдейт пакера.
Только прирост скорости (сделал чтобы компилилось на GCC/в х64 вариант), никаких новых типов не добавлено (чет как-то совсем не хочется этим заниматься). Анпакер остался от предыдущей версии.

type1:
uelr_v010b_x86 - 8.13 secs.
uelr_v011c_x86 - 7.59 secs. (~ +  6.6 %)
uelr_v011c_x64 - 7.24 secs. (~ + 10.9 %)

type1_with_brute:
uelr_v010b_x86 - 37.24 secs.
uelr_v011c_x86 - 34.80 secs. (~ +  6.5 %)
uelr_v011c_x64 - 32.94 secs. (~ + 11.5 %)

type8:
uelr_v010b_x86 - 181.90 secs.
uelr_v011c_x86 - 159.86 secs. (~ + 12.1 %)
uelr_v011c_x64 - 121.06 secs. (~ + 33.4 %)

ХЗ, вроде чет работает)

 

[toolame]

в этом файле на части данных используется другая версия LZO и другая функция

покопался с инсталятором этого мода
сама тулза открытая
https://github.com/MassEffectModder/MassEffectModder
сжатие lzo тут
https://github.com/MassEffectModder/MassEffectModder/tree/master/MassEffectModder/Helpers/LZO2
где нужно что изменить, чтобы сделать совместимое сжатие с uelr?
может в lzo1x.h?

я к чему
попробовал снова ужать все..
заняло неделю (10-12ч день + спящий режим)
в итоге:
Total skipped LZO stream size: 5162582kb (всего ~26GB)
и
CRC errors...

 

[Edison007]

toolame, исходники lzopro имеются?

 

[toolame]

исходники lzopro имеются?

а они нужны?
разве там не самодостаточный набор?
компилится lzo2wrapper.dll
который вроде как и отвечает за декод\энкод
в #include'ах нет ничего такого чего нет в сборке

 

[Edison007]

а они нужны?

для совместимости с uelr нужны функции сжатия из lzopro

 

[toolame]

нужны функции сжатия из lzopro

хех((
это же коммерческая херь да?
он через либу (lzo2.lib) что ли реализовал?

ладно, попробую еще разок пожать
через недельку\полторы отпишусь
uerl выдает там кучу Type 0,Brute=0000h \ Type 0,Brute=0017h \ всяких
может из-за них CRC
а может из-за спящего режима (хотя lolz его переживает без проблем)

 

[toolame]

апдейт пакера

на Alice: Madness Returns крашится новая версия
старая работает (анпакер новый тоже)
http://www.mediafire.com/file/a7cefgscqhf2f7t

 

[Edison007]

на Alice: Madness Returns крашится новая версия
старая работает (анпакер новый тоже)
http://www.mediafire.com/file/a7cefgscqhf2f7t

Забавно, забавно, быстренько глянул че тут к чему.
В абсолютном большинстве случаев сжимаются абсолютно все блоки, и без разницы сжимаемые они или нет.
А вот в данных файлах могу быть сабблоки без сжатия.
В принципе поправил, но часть потоков скорее всего не разжимается, нужно этот момент проверить.

 

[Edison007]

и так, возьмём файл Chapter4_W1_East_08_NPC.umap, смотрим в логе:

00006A55C9h: LZO (Compr: 006BEC3h, Unpack: 008BF37h, Type 1)
00007114C4h: LZO (Compr: 0082CE7h, Unpack: 00AC6F8h, bad   - skipped)
00007941EBh: LZO (Compr: 01F98D6h, Unpack: 01F9DA8h, bad   - skipped)
000098DB51h: LZO (Compr: 00BC898h, Unpack: 00FD2A9h, Type 1)

вырежем блок который начинается на смещении 00007114C4h, выйдет файл на 523кб. Натравим на сдампленный файл uelr и получим:

0000000000h: LZO (Compr: 0082CE7h, Unpack: 00AC6F8h, bad   - skipped)

WARNING! Stream does not contain LZO-compressed blocks!
Total non-LZO stream size: 523kb
Total skipped LZO stream size: 0kb
All OK!

Из-за 1го несжатого сабблока, скипается весь блок, на самом же деле данный файл должен разжаться ~ в 706 296 байт

 

[Edison007]

В добавок небольшой тест.
Если разжать с помощью uelr и пакануть в 7-zip (lzma дефолт) выходит - 9,02 МБ (9 459 731 байт), а если разжать все потоки+7-zip, то - 8,95 МБ (9 389 283 байт)
Но потребуется время (ХЗ сколько), чтобы добавить поддержку

 

[toolame]

я старой версией прошелся, всего ~600mb non-LZO stream из 5.77 GB
кстати, почему оно туда (non-LZO) записывается? ведь это skipped LZO stream должно быть

 

[Edison007]

я старой версией прошелся, всего ~600mb non-LZO stream из 5.77 GB

В исправленной должно быть также, я там заменил функцию декомпрессии на safe-вариант, она не крашит не на LZO-данных, но немного медленнее. Может потом залью, сейчас лень профайл пилить

кстати, почему оно туда (non-LZO) записывается? ведь это skipped LZO stream должно быть

Потому что не может проверить (распаковать) весь блок, и пакер считает, что блок с не lzo данными.
A lossy данные разжимаются нормально, но не сжимаются обратно, примерно так.

 

[toolame]

а что будет делать uelr если LZO блок был намеренно распилен?
т.е. начало то у блока есть (считай есть инфа где он начинается\кончается), а самого конца нету (может даже с середины)
мне кажется, там нет обработки такой ошибки, да?

0017DB9D3Ah: LZO (Compr: 00BEA8Bh, Unpack: 00D3CEEh, Type 1)
0017E7880Dh: LZO (Compr: 00AE93Eh, Unpack: 00C9A56h, Type 1)
0017F27193h: LZO (Compr: 00D22CBh, Unpack: 00F14EAh, Type 1)
0017FF94AEh: LZO (Compr: 009983Fh, Unpack: 00A27D2h
Total non-LZO stream size: 53759kb
Total skipped LZO stream size: 0kb
All OK!

непонятно что с последним блоком происходит

 

[zapsip]

Почему бы не добавить uelr_0.1.1c на самый верх для удобства ?
Моя рецензия именно про эту версию.

 

[Edison007]

Потому что это "модификация", а не обновление от автора

 

[dixen18]

А подскажите в *.TFC и *.XXX файлах (игра Mortal Kombat XL Update 1) LZO вообще есть? А то у самого UELR ругается на отсутствие таковых, но в репаке от Мехов юзается CLS-UELR
Разобрался..В этих файлах нужно юзать ключ ulx (но не ux - в этом случае можно схлопотать ошибку)
Папка Asset - 26.2 > 37.1 GB

 

[Edison007]

но не ux - в этом случае можно схлопотать ошибку

Да, что-то такое мы обсуждали с панки (или кто там от мехов репачил), но у себя я так и не смог словить косяк с такими опциями.

 

[Wcar]

Edison007, по-моему, решение было вернуться на 0.1.1b (баг ловил на твоей 0.1.1с, опять же, если ничего не путаю).

 

[dixen18]

А можно ли как-то увеличить скорость распаковки TYPE8? Игра Batman Arkham Asylum - почти на всех UPK и TFC UELR обнаруживает этот тип...Игру конечно удалось пожать до 4 гб, но распаковка...Ставил игру на SSD, и по прошествии часа установилось всего лишь 29%