UELR 0.1.0

toolame · 14 Апр 2018

чо не так со 2м Mass Effect'ом?
просто нереально долго перепаковывает
20мб более 2х минут...

Edison007 · 14 Апр 2018

Опять гадать)
что в лог то хоть пишет UELR? Может там небольшой файл прикрепить?

Wcar · 14 Апр 2018

Edison007 написал(а):
Опять гадать)
что в лог то хоть пишет UELR? Может там небольшой файл прикрепить?

0000000249h: LZO (Compr: 0068A3Ah, Unpack: 00E5100%, Type 8)
0000068CD3h: LZO (Compr: 00D73EFh, Unpack: 00E6100%, Type 8)
0000140112h: LZO (Compr: 00CF3CAh, Unpack: 00ED100%, Type 8)
000020F52Ch: LZO (Compr: 00DCAE1h, Unpack: 00F3D2Ch, Type 8)
00002EC05Dh: LZO (Compr: 00D62A5h, Unpack: 00E8FA4h, Type 8)
00003C2352h: LZO (Compr: 00C7A8Ah, Unpack: 00EB100%, Type 8)
0000489E2Ch: LZO (Compr: 00E802Ch, Unpack: 00FD100%, Type 8)
0000571EA8h: LZO (Compr: 00C5ADCh, Unpack: 00FD100%, Type 8)
00006379D4h: LZO (Compr: 00C665Ah, Unpack: 00F9100%, Type 8)
00006FE07Eh: LZO (Compr: 00A0FAFh, Unpack: 00FF100%, Type 8)
000079F07Dh: LZO (Compr: 002E8E8h, Unpack: 00BF100%, Type 8)
00007CD9A5h: LZO (Compr: 0048388h, Unpack: 00B4100%, Type 8)
0000815D6Dh: LZO (Compr: 002CB36h, Unpack: 00FA100%, Type 8)
00008428F3h: LZO (Compr: 0022ACBh, Unpack: 00D2100%, Type 8)
0000865406h: LZO (Compr: 001D275h, Unpack: 00FF100%, Type 8)
00008826CBh: LZO (Compr: 000F2CEh, Unpack: 00CD100%, Type 8)
00008919E1h: LZO (Compr: 0079CB4h, Unpack: 027F100%, Type 8)
000090B745h: LZO (Compr: 00A08D9h, Unpack: 00FD100%, Type 8)
00009AC06Eh: LZO (Compr: 00595A2h, Unpack: 009D151h, Type 8)
0000A05648h: LZO (Compr: 00B1B92h, Unpack: 0111100%, Type 8)
0000AB7232h: LZO (Compr: 00ABFAEh, Unpack: 012E100%, Type 8)
0000B63240h: LZO (Compr: 001E53Ch, Unpack: 003A100%, Type 8)
0000B8179Ch: LZO (Compr: 00E3855h, Unpack: 01E7100%, Type 8)
0000C65081h: LZO (Compr: 00726F2h, Unpack: 00FF100%, Type 8)
0000CD77C3h: LZO (Compr: 00A1D99h, Unpack: 00F5100%, Type 8)
0000D795ACh: LZO (Compr: 0039A2Ah, Unpack: 0065100%, Type 8)
0000DB3006h: LZO (Compr: 05D67BFh, Unpack: 05E4100%, Type 8)
0001389955h: LZO (Compr: 0000324h, Unpack: 0000AC4h, Type 8)
WARNING! This archive contains SLOW LZO streams! Recompression will be very slow!
Total non-LZO stream size: 0kb
Total skipped LZO stream size: 0kb
All OK!
Errorlevel=0
Compressed 1 file, 20,487,313 => 32,770,724 bytes. Ratio 159.9%
Compression time: cpu 0.02 secs, real 32.44 secs. Speed 631 kB/s
All OK

Примеры - http://rgho.st/6GP8SG9fB
Самое интересное, что такое наблюдается только у файлов дополнений.
У файлов базовой игры uelr определяет потоки как type 1.
Я запаковал всю дату из ме2, за час двадцать распаковалось 60 процентов архива, окончания распаковки дожидаться не стал.

Edison007 · 14 Апр 2018

Wcar написал(а):
Type 8

тогда всё понятно, самая медленная функция, порядка 150 кб/с

toolame · 15 Апр 2018

Edison007, unreal package decompressor разжимает за секунды почему то
игра после нормально работает (проходил полностью)
хотелось просто оставить оригинальные файлы, но видимо придется модифицированные...
единственное что можно (нужно) перепаковать так это текстуры *.tfc

Edison007 · 15 Апр 2018

toolame написал(а):
unreal package decompressor разжимает за секунды почему то

Не путайте декомпрессию с компрессией. UELR во время разжатия сжимает потоки обратно, чтобы убедится в том, что оно восстановится нормально

toolame · 15 Апр 2018

Edison007 написал(а):
обратно, чтобы убедится

а, понятно
т.е. если глючный - то он его пропустит(?)
это не отключается? хотя смысл
вот бы опцию на ограничение "Type", а то 8й пережимать нет особого резона
если только добавить многопоточность, это реально?
шел 9 час, оно все еще пережимает
в 1 поток (у меня 4) не жалко...

Edison007 · 16 Апр 2018

toolame написал(а):
т.е. если глючный - то он его пропустит(?)

если не удалось lossless-пережатие то да, если конечно врублена опция "l".

toolame написал(а):
вот бы опцию на ограничение "Type", а то 8й пережимать нет особого резона
если только добавить многопоточность, это реально?

Сделать это конечно можно, но никто заниматься этим не будет)

toolame · 16 Апр 2018

Edison007 написал(а):
но никто заниматься этим не будет)

лентяи хреновы! :Ь
выложили бы сорс, кто нибудь да доделал бы...

Edison007 · 18 Апр 2018

Неожиданно для самого себя обновил анпакер. В отличие от предыдущей версии, здесь используется такая же технология как и в cls-srep/lolz.
И там еще кое-какие правки и изменения чтобы компилилось в 64-битный бинарник.

На моих данных прирост вышел: для 64-битного анпакера до 35% на type8, и до 18% на type1; для 32-битного до ~10%.

Код:

type 8:
010b - 178 sec
011b - 116 sec (x64)
011b - 157 sec (x86)

Как обычно всё это тестировалось на ограниченном наборе данных. У меня работало

Будет неплохо если кто-нибудь сравнит скорость восстановления у разных версий, на реальных данных.

На будущее в планах добавить неподдерживаемые потоки из Mass Effect Gold (из какого-то DLC), может что-нибудь еще.

toolame · 19 Апр 2018

Код:

Tested 1 file, 72,747,307 => 50,003,968 bytes. Ratio 145.48%
UELR v0.1.1b x64
Testing time: cpu 0.19 sec/real 74.81 sec = 0%. Speed 0.67 mB/s
Testing time: cpu 0.17 sec/real 74.11 sec = 0%. Speed 0.67 mB/s
Testing time: cpu 0.17 sec/real 75.22 sec = 0%. Speed 0.66 mB/s
UELR v0.1.1b x32
Testing time: cpu 0.20 sec/real 95.23 sec = 0%. Speed 0.53 mB/s
Testing time: cpu 0.25 sec/real 92.51 sec = 0%. Speed 0.54 mB/s
Testing time: cpu 0.30 sec/real 92.92 sec = 0%. Speed 0.54 mB/s
UELR v0.1.0
Testing time: cpu 116.64 sec/real 116.93 sec = 100%. Speed 0.43 mB/s
Testing time: cpu 116.58 sec/real 116.92 sec = 100%. Speed 0.43 mB/s
Testing time: cpu 116.56 sec/real 116.79 sec = 100%. Speed 0.43 mB/s

Код:

Tested 1 file, 15,465,068 => 7,550,845 bytes. Ratio 204.81%
UELR v0.1.1b x64
Testing time: cpu 0.06 sec/real 34.84 sec = 0%. Speed 0.22 mB/s
Testing time: cpu 0.06 sec/real 34.80 sec = 0%. Speed 0.22 mB/s
Testing time: cpu 0.11 sec/real 34.80 sec = 0%. Speed 0.22 mB/s
UELR v0.1.1b x32
Testing time: cpu 0.14 sec/real 43.99 sec = 0%. Speed 0.17 mB/s
Testing time: cpu 0.17 sec/real 44.06 sec = 0%. Speed 0.17 mB/s
Testing time: cpu 0.09 sec/real 44.12 sec = 0%. Speed 0.17 mB/s
UELR v0.1.0
Testing time: cpu 57.52 sec/real 57.50 sec = 100%. Speed 0.13 mB/s
Testing time: cpu 57.33 sec/real 57.47 sec = 100%. Speed 0.13 mB/s
Testing time: cpu 57.22 sec/real 57.47 sec = 100%. Speed 0.13 mB/s

Код:

uelr+srep:m5f:l2048:a64:s11gb+lolz_21a7:mtt1:mt2:mtb256:d256:tt8:gm20
Tested 1,699 files, 1,893,350,232 => 10,156,721,450 bytes. Ratio 18.64%
UELR v0.1.1b x64
Testing time: cpu 17.75 sec/real 111.12 sec = 16%. Speed 91.40 mB/s
Testing time: cpu 17.35 sec/real 109.90 sec = 16%. Speed 92.42 mB/s
Testing time: cpu 17.21 sec/real 110.64 sec = 16%. Speed 91.80 mB/s
UELR v0.1.0
Testing time: cpu 113.13 sec/real 295.03 sec = 38%. Speed 34.43 mB/s
Testing time: cpu 112.82 sec/real 289.87 sec = 39%. Speed 35.04 mB/s
Testing time: cpu 112.35 sec/real 295.81 sec = 38%. Speed 34.34 mB/s

Код:

uelr:uv+srep:m5f:l2048:a64:s2gb+lolz_21a7:mtt1:mt1:mtb256:d256:tt8
Tested 3 files, 756,000,615 => 1,364,351,031 bytes. Ratio 55.41%
UELR v0.1.1b x64
Testing time: cpu 3.51 sec/real 55.52 sec = 6%. Speed 24.57 mB/s
Testing time: cpu 3.07 sec/real 55.36 sec = 6%. Speed 24.65 mB/s
Testing time: cpu 3.10 sec/real 55.20 sec = 6%. Speed 24.71 mB/s
UELR v0.1.0
Testing time: cpu 3.82 sec/real 54.96 sec = 7%. Speed 24.83 mB/s
Testing time: cpu 3.92 sec/real 55.35 sec = 7%. Speed 24.65 mB/s
Testing time: cpu 3.71 sec/real 56.61 sec = 7%. Speed 24.10 mB/s

Edison007 написал(а):
неподдерживаемые потоки из Mass Effect Gold

это типа Type 0 Lossy?
ща его обрабатываю... по моему еще дольше чем type 8

Edison007 · 19 Апр 2018

toolame написал(а):
Tested 1,699 files, 1,893,350,232 => 10,156,721,450 bytes. Ratio 18.64%

чет какой-то дикий прирост, на каких данных такое получилось?

toolame написал(а):
это типа Type 0 Lossy?

ага

toolame · 19 Апр 2018

Edison007 написал(а):
чет какой-то дикий прирост, на каких данных такое получилось?

Mirrors Edge оригинальный
там всего где то гиг-полтора распаковывается
может это из-за cls непосредственно? что там в новой версии, shared memory или какая там магия юзается?

toolame · 22 Апр 2018

Edison007 написал(а):
ага

можно как то форсировать пропуск этих (type 0) блоков?
или все равно надо сначала распаковать, запаковать?..
странно что на распакованных с помощью unreal package decompressor файлах, он детектит этот самый type 0
дня три детектил... я был вынужден перезагрузить систему в итоге
чо делать то? там 18 гигов распакованных, это сколько, неделю обрабатывать?

Edison007 · 24 Апр 2018

toolame написал(а):
можно как то форсировать пропуск этих (type 0) блоков?

тип 0 = lossy блок, т.е которые не сжать обратно. и пропуск их не сделать, т.к пока всеми возможными вариантами не сожмётся не будет известно о типе. Ну и стримы из дополнения Bring Down The Sky на самом деле сжимаются быстрее, просто нет их поддержки.

Например, файл BIOA_WAR00.SFM восстанавливается менее чем за секунду)

toolame · 26 Апр 2018

Edison007 написал(а):
файл BIOA_WAR00.SFM восстанавливается менее чем за секунду)

у меня он не разжимается принципе
но дело в том что я пытаюсь сжать вместе оригинальную игру и мод на HD текстуры
выяснилось, что unreal package decompressor не разжимает некоторые файлы (я то думал там все разжато после него)
uelr что то пытается
пример такого файла
http://www.mediafire.com/file/jxl7a7zmjqiojeb/BIOA_STA20_T.upk

Код:

...
000097008Bh: LZO (Compr: 0000174h, Unpack: 0000200h, Type 1)
000097022Fh: LZO (Compr: 0000066h, Unpack: 0000080h, Type 1)
00009702C5h: LZO (Compr: 0000024h, Unpack: 0000020h, Type 1)
00009705F1h: LZO (Compr: 008BD1Bh, Unpack: 0100100%, lossy - skipped)
00009FC374h: LZO (Compr: 0022707h, Unpack: 0040100%, lossy - skipped)
0000A1EAB3h: LZO (Compr: 0008890h, Unpack: 0010100%, lossy - skipped)
0000A27373h: LZO (Compr: 0002172h, Unpack: 0004100%, lossy - skipped)
0000A29515h: LZO (Compr: 000092Eh, Unpack: 0001100%, lossy - skipped)
0000A29E73h: LZO (Compr: 0000287h, Unpack: 0000100%, lossy - skipped)
0000A2A12Ah: LZO (Compr: 00000B9h, Unpack: 0000100h, lossy - skipped)
0000A2A213h: LZO (Compr: 000003Bh, Unpack: 0000100%, lossy - skipped)
0000A2A27Eh: LZO (Compr: 000001Ch, Unpack: 0000020h, lossy - skipped)
0000A2A2CAh: LZO (Compr: 0000014h, Unpack: 0000010h, Type 1)
0000A2A30Eh: LZO (Compr: 0000014h, Unpack: 0000010h, Type 1)
0000A2A352h: LZO (Compr: 0000014h, Unpack: 0000010h, Type 1)
0000A2A4CCh: LZO (Compr: 025360Fh, Unpack: 0400100%, lossy - skipped)
0000C7DD3Ah: LZO (Compr: 03FD393h, Unpack: 0400100%, lossy - skipped)

100%Total non-LZO stream size: 761kb
Total skipped LZO stream size: 7209kb
All OK!

Errorlevel=0
Compressed 2 files, 17,295,222 => 25,117,388 bytes. Ratio 145.23%
Compression time: cpu 0.02 sec/real 340.80 sec = 0%. Speed 0.05 mB/s
All OK

и их там до хера, 12 гигабайт...
если на 17MB уходит ~5мин, то на 12GB уйдет ~65 часов?...

стоит ли ожидать новую версию с поддержкой этих lossy блоков?
а еще лучше многопоточность, что мешает запускать перекомпрессию для определения Type в несколько потоков?

Edison007 · 27 Апр 2018

toolame написал(а):
у меня он не разжимается принципе

2,14 МБ ~-> 4,74 МБ

toolame написал(а):
но дело в том что я пытаюсь сжать вместе оригинальную игру и мод на HD текстуры

Как я понимаю мод неофициальный?
Т.к в этом файле на части данных используется другая версия LZO и другая функция, раньше таких потоков не встречал.

toolame написал(а):
стоит ли ожидать новую версию с поддержкой этих lossy блоков?

а фиг знает, может быть когда-нибудь

toolame написал(а):
многопоточность

Не, нафиг её, слишком многое придется переделывать, да и время упаковки не важно)

toolame · 27 Апр 2018

Edison007 написал(а):
мод неофициальный?

а бывают официальные?

MEUITM, тот что новый, он перепаковывает данные во время установки

Edison007 написал(а):
2,14 МБ ~-> 4,74 МБ

аа, это типа без опции l ?

Код:

00000000D9h: LZO (Compr: 00389C4h, Unpack: 00FF100%, Type 0, lossy)
0000038AEDh: LZO (Compr: 005C79Ch, Unpack: 00FF100%, Type 0, lossy)
00000952D9h: LZO (Compr: 002E8B2h, Unpack: 00FF100%, Type 0, lossy)
00000C3BDBh: LZO (Compr: 00BB86Eh, Unpack: 00FF100%, Type 0, lossy)
000017F499h: LZO (Compr: 00A63BAh, Unpack: 00C0100%, Type 0, lossy)

WARNING! This archive contains LZO streams that can not be restored lossless!
WARNING! Stream contains raw data. Possible after recompression game will not work!
Total non-LZO stream size: 0kb
Total skipped LZO stream size: 0kb

тогда архив тест не проходит (бесконечная распаковка)

Edison007 · 27 Апр 2018

toolame написал(а):
он перепаковывает данные во время установки

Понятно тогда всё, не знаю, имеет ли смысл вообще добавлять поддержку этих потоков.

toolame написал(а):
аа, это типа без опции l ?

не, это другой прогой вообще)
И ясен пень не распакует, там же ошибки crc посыпаться должны

toolame · 28 Апр 2018

Edison007 написал(а):
имеет ли смысл вообще добавлять поддержку этих потоков

ну, да, проще автора мода попросить об опции не сжимать данные
лучше как то ускорить определение type
и этому может помочь только многопоточность...

Edison007 написал(а):
это другой прогой вообще

:\
полагаю спрашивать о названии этой проги - бессмысленно?

UELR 0.1.0

Старожил

Ветеран

Новичок

Ветеран

Старожил

Ветеран

Старожил

Ветеран

Старожил

Ветеран

Вложения

Старожил

Ветеран

Старожил

Старожил

Ветеран

Старожил

Ветеран

Старожил

Ветеран

Старожил