1. Уважаемые гости и пользователи форума.
    Администрация настоятельно рекомендует не регистрировать несколько аккаунтов для одного пользователя. При выявлении наличия мультиаккаунтов будут заблокированы все учетные записи данного пользователя.
    Аккаунты, зарегистрированные на временную почту будут также заблокированы.

UELR 0.1.0

рекомпрессор unreal engine lzo контейнеров

  1. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    чо не так со 2м Mass Effect'ом?
    просто нереально долго перепаковывает
    20мб более 2х минут...
     
  2. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    Опять гадать)
    что в лог то хоть пишет UELR? Может там небольшой файл прикрепить?
     
  3. Ветеран

    Регистрация:
    26 ноя 2011
    Сообщения:
    34
    Симпатии:
    5
    Пол:
    Мужской
    0000000249h: LZO (Compr: 0068A3Ah, Unpack: 00E5100%, Type 8)
    0000068CD3h: LZO (Compr: 00D73EFh, Unpack: 00E6100%, Type 8)
    0000140112h: LZO (Compr: 00CF3CAh, Unpack: 00ED100%, Type 8)
    000020F52Ch: LZO (Compr: 00DCAE1h, Unpack: 00F3D2Ch, Type 8)
    00002EC05Dh: LZO (Compr: 00D62A5h, Unpack: 00E8FA4h, Type 8)
    00003C2352h: LZO (Compr: 00C7A8Ah, Unpack: 00EB100%, Type 8)
    0000489E2Ch: LZO (Compr: 00E802Ch, Unpack: 00FD100%, Type 8)
    0000571EA8h: LZO (Compr: 00C5ADCh, Unpack: 00FD100%, Type 8)
    00006379D4h: LZO (Compr: 00C665Ah, Unpack: 00F9100%, Type 8)
    00006FE07Eh: LZO (Compr: 00A0FAFh, Unpack: 00FF100%, Type 8)
    000079F07Dh: LZO (Compr: 002E8E8h, Unpack: 00BF100%, Type 8)
    00007CD9A5h: LZO (Compr: 0048388h, Unpack: 00B4100%, Type 8)
    0000815D6Dh: LZO (Compr: 002CB36h, Unpack: 00FA100%, Type 8)
    00008428F3h: LZO (Compr: 0022ACBh, Unpack: 00D2100%, Type 8)
    0000865406h: LZO (Compr: 001D275h, Unpack: 00FF100%, Type 8)
    00008826CBh: LZO (Compr: 000F2CEh, Unpack: 00CD100%, Type 8)
    00008919E1h: LZO (Compr: 0079CB4h, Unpack: 027F100%, Type 8)
    000090B745h: LZO (Compr: 00A08D9h, Unpack: 00FD100%, Type 8)
    00009AC06Eh: LZO (Compr: 00595A2h, Unpack: 009D151h, Type 8)
    0000A05648h: LZO (Compr: 00B1B92h, Unpack: 0111100%, Type 8)
    0000AB7232h: LZO (Compr: 00ABFAEh, Unpack: 012E100%, Type 8)
    0000B63240h: LZO (Compr: 001E53Ch, Unpack: 003A100%, Type 8)
    0000B8179Ch: LZO (Compr: 00E3855h, Unpack: 01E7100%, Type 8)
    0000C65081h: LZO (Compr: 00726F2h, Unpack: 00FF100%, Type 8)
    0000CD77C3h: LZO (Compr: 00A1D99h, Unpack: 00F5100%, Type 8)
    0000D795ACh: LZO (Compr: 0039A2Ah, Unpack: 0065100%, Type 8)
    0000DB3006h: LZO (Compr: 05D67BFh, Unpack: 05E4100%, Type 8)
    0001389955h: LZO (Compr: 0000324h, Unpack: 0000AC4h, Type 8)
    WARNING! This archive contains SLOW LZO streams! Recompression will be very slow!
    Total non-LZO stream size: 0kb
    Total skipped LZO stream size: 0kb
    All OK!
    Errorlevel=0
    Compressed 1 file, 20,487,313 => 32,770,724 bytes. Ratio 159.9%
    Compression time: cpu 0.02 secs, real 32.44 secs. Speed 631 kB/s
    All OK
    Примеры - http://rgho.st/6GP8SG9fB
    Самое интересное, что такое наблюдается только у файлов дополнений.
    У файлов базовой игры uelr определяет потоки как type 1.
    Я запаковал всю дату из ме2, за час двадцать распаковалось 60 процентов архива, окончания распаковки дожидаться не стал.
     
  4. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    тогда всё понятно, самая медленная функция, порядка 150 кб/с
     
  5. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    Edison007, unreal package decompressor разжимает за секунды почему то
    игра после нормально работает (проходил полностью)
    хотелось просто оставить оригинальные файлы, но видимо придется модифицированные...
    единственное что можно (нужно) перепаковать так это текстуры *.tfc
     
  6. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    Не путайте декомпрессию с компрессией. UELR во время разжатия сжимает потоки обратно, чтобы убедится в том, что оно восстановится нормально
     
  7. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    а, понятно
    т.е. если глючный - то он его пропустит(?)
    это не отключается? хотя смысл
    вот бы опцию на ограничение "Type", а то 8й пережимать нет особого резона
    если только добавить многопоточность, это реально?
    шел 9 час, оно все еще пережимает
    в 1 поток (у меня 4) не жалко...
     
  8. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    если не удалось lossless-пережатие то да, если конечно врублена опция "l".

    Сделать это конечно можно, но никто заниматься этим не будет)
     
  9. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    лентяи хреновы! :Ь
    выложили бы сорс, кто нибудь да доделал бы...
     
  10. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    Неожиданно для самого себя обновил анпакер. В отличие от предыдущей версии, здесь используется такая же технология как и в cls-srep/lolz.
    И там еще кое-какие правки и изменения чтобы компилилось в 64-битный бинарник.

    На моих данных прирост вышел: для 64-битного анпакера до 35% на type8, и до 18% на type1; для 32-битного до ~10%.
    Код (Text):
    type 8:
    010b - 178 sec
    011b - 116 sec (x64)
    011b - 157 sec (x86)
    Как обычно всё это тестировалось на ограниченном наборе данных. У меня работало ;)
    Будет неплохо если кто-нибудь сравнит скорость восстановления у разных версий, на реальных данных.

    На будущее в планах добавить неподдерживаемые потоки из Mass Effect Gold (из какого-то DLC), может что-нибудь еще.
     

    Вложения:

    • uelr_0.1.1b.7z
      Размер файла:
      102 КБ
      Просмотров:
      52
    vint56, ProFrager, Nemko и 9 другим нравится это.
  11. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    Код (Text):
    Tested 1 file, 72,747,307 => 50,003,968 bytes. Ratio 145.48%
    UELR v0.1.1b x64
    Testing time: cpu 0.19 sec/real 74.81 sec = 0%. Speed 0.67 mB/s
    Testing time: cpu 0.17 sec/real 74.11 sec = 0%. Speed 0.67 mB/s
    Testing time: cpu 0.17 sec/real 75.22 sec = 0%. Speed 0.66 mB/s
    UELR v0.1.1b x32
    Testing time: cpu 0.20 sec/real 95.23 sec = 0%. Speed 0.53 mB/s
    Testing time: cpu 0.25 sec/real 92.51 sec = 0%. Speed 0.54 mB/s
    Testing time: cpu 0.30 sec/real 92.92 sec = 0%. Speed 0.54 mB/s
    UELR v0.1.0
    Testing time: cpu 116.64 sec/real 116.93 sec = 100%. Speed 0.43 mB/s
    Testing time: cpu 116.58 sec/real 116.92 sec = 100%. Speed 0.43 mB/s
    Testing time: cpu 116.56 sec/real 116.79 sec = 100%. Speed 0.43 mB/s
    Код (Text):
    Tested 1 file, 15,465,068 => 7,550,845 bytes. Ratio 204.81%
    UELR v0.1.1b x64
    Testing time: cpu 0.06 sec/real 34.84 sec = 0%. Speed 0.22 mB/s
    Testing time: cpu 0.06 sec/real 34.80 sec = 0%. Speed 0.22 mB/s
    Testing time: cpu 0.11 sec/real 34.80 sec = 0%. Speed 0.22 mB/s
    UELR v0.1.1b x32
    Testing time: cpu 0.14 sec/real 43.99 sec = 0%. Speed 0.17 mB/s
    Testing time: cpu 0.17 sec/real 44.06 sec = 0%. Speed 0.17 mB/s
    Testing time: cpu 0.09 sec/real 44.12 sec = 0%. Speed 0.17 mB/s
    UELR v0.1.0
    Testing time: cpu 57.52 sec/real 57.50 sec = 100%. Speed 0.13 mB/s
    Testing time: cpu 57.33 sec/real 57.47 sec = 100%. Speed 0.13 mB/s
    Testing time: cpu 57.22 sec/real 57.47 sec = 100%. Speed 0.13 mB/s
    Код (Text):
    uelr+srep:m5f:l2048:a64:s11gb+lolz_21a7:mtt1:mt2:mtb256:d256:tt8:gm20
    Tested 1,699 files, 1,893,350,232 => 10,156,721,450 bytes. Ratio 18.64%
    UELR v0.1.1b x64
    Testing time: cpu 17.75 sec/real 111.12 sec = 16%. Speed 91.40 mB/s
    Testing time: cpu 17.35 sec/real 109.90 sec = 16%. Speed 92.42 mB/s
    Testing time: cpu 17.21 sec/real 110.64 sec = 16%. Speed 91.80 mB/s
    UELR v0.1.0
    Testing time: cpu 113.13 sec/real 295.03 sec = 38%. Speed 34.43 mB/s
    Testing time: cpu 112.82 sec/real 289.87 sec = 39%. Speed 35.04 mB/s
    Testing time: cpu 112.35 sec/real 295.81 sec = 38%. Speed 34.34 mB/s
    Код (Text):
    uelr:uv+srep:m5f:l2048:a64:s2gb+lolz_21a7:mtt1:mt1:mtb256:d256:tt8
    Tested 3 files, 756,000,615 => 1,364,351,031 bytes. Ratio 55.41%
    UELR v0.1.1b x64
    Testing time: cpu 3.51 sec/real 55.52 sec = 6%. Speed 24.57 mB/s
    Testing time: cpu 3.07 sec/real 55.36 sec = 6%. Speed 24.65 mB/s
    Testing time: cpu 3.10 sec/real 55.20 sec = 6%. Speed 24.71 mB/s
    UELR v0.1.0
    Testing time: cpu 3.82 sec/real 54.96 sec = 7%. Speed 24.83 mB/s
    Testing time: cpu 3.92 sec/real 55.35 sec = 7%. Speed 24.65 mB/s
    Testing time: cpu 3.71 sec/real 56.61 sec = 7%. Speed 24.10 mB/s
    это типа Type 0 Lossy?
    ща его обрабатываю... по моему еще дольше чем type 8
     
  12. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    чет какой-то дикий прирост, на каких данных такое получилось?

    ага
     
  13. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    Mirrors Edge оригинальный
    там всего где то гиг-полтора распаковывается
    может это из-за cls непосредственно? что там в новой версии, shared memory или какая там магия юзается?
     
  14. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    можно как то форсировать пропуск этих (type 0) блоков?
    или все равно надо сначала распаковать, запаковать?..
    странно что на распакованных с помощью unreal package decompressor файлах, он детектит этот самый type 0
    дня три детектил... я был вынужден перезагрузить систему в итоге
    чо делать то? там 18 гигов распакованных, это сколько, неделю обрабатывать?
     
  15. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    тип 0 = lossy блок, т.е которые не сжать обратно. и пропуск их не сделать, т.к пока всеми возможными вариантами не сожмётся не будет известно о типе. Ну и стримы из дополнения Bring Down The Sky на самом деле сжимаются быстрее, просто нет их поддержки.

    Например, файл BIOA_WAR00.SFM восстанавливается менее чем за секунду)
     
    Последнее редактирование: 24 апр 2018
  16. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    у меня он не разжимается принципе
    но дело в том что я пытаюсь сжать вместе оригинальную игру и мод на HD текстуры
    выяснилось, что unreal package decompressor не разжимает некоторые файлы (я то думал там все разжато после него)
    uelr что то пытается
    пример такого файла
    http://www.mediafire.com/file/jxl7a7zmjqiojeb/BIOA_STA20_T.upk
    Код (Text):
    ...
    000097008Bh: LZO (Compr: 0000174h, Unpack: 0000200h, Type 1)
    000097022Fh: LZO (Compr: 0000066h, Unpack: 0000080h, Type 1)
    00009702C5h: LZO (Compr: 0000024h, Unpack: 0000020h, Type 1)
    00009705F1h: LZO (Compr: 008BD1Bh, Unpack: 0100100%, lossy - skipped)
    00009FC374h: LZO (Compr: 0022707h, Unpack: 0040100%, lossy - skipped)
    0000A1EAB3h: LZO (Compr: 0008890h, Unpack: 0010100%, lossy - skipped)
    0000A27373h: LZO (Compr: 0002172h, Unpack: 0004100%, lossy - skipped)
    0000A29515h: LZO (Compr: 000092Eh, Unpack: 0001100%, lossy - skipped)
    0000A29E73h: LZO (Compr: 0000287h, Unpack: 0000100%, lossy - skipped)
    0000A2A12Ah: LZO (Compr: 00000B9h, Unpack: 0000100h, lossy - skipped)
    0000A2A213h: LZO (Compr: 000003Bh, Unpack: 0000100%, lossy - skipped)
    0000A2A27Eh: LZO (Compr: 000001Ch, Unpack: 0000020h, lossy - skipped)
    0000A2A2CAh: LZO (Compr: 0000014h, Unpack: 0000010h, Type 1)
    0000A2A30Eh: LZO (Compr: 0000014h, Unpack: 0000010h, Type 1)
    0000A2A352h: LZO (Compr: 0000014h, Unpack: 0000010h, Type 1)
    0000A2A4CCh: LZO (Compr: 025360Fh, Unpack: 0400100%, lossy - skipped)
    0000C7DD3Ah: LZO (Compr: 03FD393h, Unpack: 0400100%, lossy - skipped)

    100%Total non-LZO stream size: 761kb
    Total skipped LZO stream size: 7209kb
    All OK!

    Errorlevel=0
    Compressed 2 files, 17,295,222 => 25,117,388 bytes. Ratio 145.23%
    Compression time: cpu 0.02 sec/real 340.80 sec = 0%. Speed 0.05 mB/s
    All OK
    и их там до хера, 12 гигабайт...
    если на 17MB уходит ~5мин, то на 12GB уйдет ~65 часов?...

    стоит ли ожидать новую версию с поддержкой этих lossy блоков?
    а еще лучше многопоточность, что мешает запускать перекомпрессию для определения Type в несколько потоков?
     
  17. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    2,14 МБ ~-> 4,74 МБ

    Как я понимаю мод неофициальный?
    Т.к в этом файле на части данных используется другая версия LZO и другая функция, раньше таких потоков не встречал.

    а фиг знает, может быть когда-нибудь

    Не, нафиг её, слишком многое придется переделывать, да и время упаковки не важно)
     
  18. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    а бывают официальные? :D
    MEUITM, тот что новый, он перепаковывает данные во время установки
    аа, это типа без опции l ?
    Код (Text):
    00000000D9h: LZO (Compr: 00389C4h, Unpack: 00FF100%, Type 0, lossy)
    0000038AEDh: LZO (Compr: 005C79Ch, Unpack: 00FF100%, Type 0, lossy)
    00000952D9h: LZO (Compr: 002E8B2h, Unpack: 00FF100%, Type 0, lossy)
    00000C3BDBh: LZO (Compr: 00BB86Eh, Unpack: 00FF100%, Type 0, lossy)
    000017F499h: LZO (Compr: 00A63BAh, Unpack: 00C0100%, Type 0, lossy)

    WARNING! This archive contains LZO streams that can not be restored lossless!
    WARNING! Stream contains raw data. Possible after recompression game will not work!
    Total non-LZO stream size: 0kb
    Total skipped LZO stream size: 0kb
    тогда архив тест не проходит (бесконечная распаковка)
     
  19. Ветеран Модератор

    Регистрация:
    15 июн 2011
    Сообщения:
    899
    Симпатии:
    500
    Понятно тогда всё, не знаю, имеет ли смысл вообще добавлять поддержку этих потоков.

    не, это другой прогой вообще)
    И ясен пень не распакует, там же ошибки crc посыпаться должны
     
  20. Ветеран

    Регистрация:
    3 фев 2014
    Сообщения:
    187
    Симпатии:
    38
    ну, да, проще автора мода попросить об опции не сжимать данные
    лучше как то ускорить определение type
    и этому может помочь только многопоточность...
    :\
    полагаю спрашивать о названии этой проги - бессмысленно?
     

Поделиться этой страницей