mesa (Media Scanner Advanced) 23.12.30.rev.1

[ShuLLeR]

P.S. Для дальнейшего изучения мне нужны наборы файлов с FSB, GIF и SWF. Детект MP2, MP3 реализовал

FSB - это же звукосодержащие? Какой обьём? Если память не изменяет, есть с Velvet Assasin и Mark of ninja, там должно быть под гиг. И нужны ли файлы .lst, лежащие рядом?

 

[Shegorat]

Shegorat обновил(а) ресурс mesa новой записью:

mesa v.22.08.02.rev.1

Изменения:

• Добавил матчеры для MP2, MP3,
• Добавил прогресс извлечения файлов
• Добавил режим для FreeArc и CLS для распаковки
• Много исправлений в матчерах и фиксы

NOTE: К сожалению пока допускаются только абсолютные пути в ini файлах. Смотрите пример использования

arc.ini

[External compressor:mesa]
header    = 0
packcmd   = ..\{compressor} -x -i=$$arcdatafile$$.tmp -t=$$arcpackedfile$$.tmp -o=z:\tempfiles

cls.ini

[mesa]...

Узнать больше об этом обновлении...

 

[Masquerade]

Hello Shegorat. WWise Detection isn't working correctly. If you use "-m wwise", Mesa will search for nothing.

 

[Mickey1s]

@Shegorat, можно ли сделать детект множества форматов в одном файле?

так не работает

mesa64 -i file.zip -m ogg wav bk2 bik -x -s

через запятую тоже ищет только ogg

 

[Shegorat]

@Mickey1s, матчеры через запятую без пробелов. По умолчанию используются все матчеры

mesa -i file.zip -m ogg,wav,bk2,bik -x -s
mesa -ifile.zip -mogg,wav,bk2,bik -x -s
mesa -i=file.zip -m=ogg,wav,bk2,bik -x -s

Вышеприведенные команды идентичны

Hello Shegorat. WWise Detection isn't working correctly. If you use "-m wwise", Mesa will search for nothing.

Yep, my mistake. I'll fix it in next version. Use "-m wem" for WWise detection for now

P.S. Всё баги и предложения можно писать сразу в гитлаб

 

[Masquerade]

Hey Shegorat. Please may I suggest adding support for FSB5 data to mesa? Here's some info about the file type (QuickBMS script):

for OFFSET = 0
    goto OFFSET
    findloc OFFSET string "FSB5"
    goto OFFSET
    getdstring FSB_SIGN 4   # FSOUND_FSB_HEADER_FSB5 (fsb.h)
    get version long
    get numsamples long
    get shdrsize long
    get namesize long
    get datasize long
    xmath SIZE "0x3c + shdrsize + namesize + datasize"
    log "" OFFSET SIZE
next OFFSET + SIZE

 

[Shegorat]

@Masquerade, FSB5 matcher in progress, I'm trying to reduce the chance of false positives.

 

[Mickey1s]

@Shegorat, указывал так mesa64 -i stream.bundle -m ogg,wav,bk2,bik,mp2,mp3 -x -s

сканер работает со всеми указанными параметрами, кроме mp3 (если убрать mp3 - все ок)

с ним вот так (так же пробовал убрать все остальные):

..\Desktop\1>mesa64 -i stream.bundle -m mp3 -x -s
Use matchers for: mp3


..\Desktop\1>pause
Для продолжения нажмите любую клавишу . . .

 

[Shegorat]

@Mickey1s, а если запустить без параметра -s ?
Как я понял, там возникает какая-то ошибка в матчере, ведущая к исключению. Какой набор файлов используется?

 

[Mickey1s]

@Shegorat, без -s тоже самое
файл stream.bundle из Bionic Commando (2009) 1.56 ГБ, внутри wav/ogg
с mp2 тоже не хочет
я понимаю что внутри нет mp3 и искать их нет смысла, но ведь с bik/bk2 такого нет

mesa64 -i stream.bundle -m ogg,wav,bk2,bik -x -s
Use matchers for: ogg, wav, bk2, bik

File '..\mesa_bug\stream.bundle':
Stats by type:
 * wav     :     5228, (1588.39 MB)
 * ogg     :       62, (16.13 MB)
 * Total   :     5290, (1604.52 MB)

Total time: 1.26s.

 

[Shegorat]

@Mickey1s, ок, скачаю, гляну.

 

[Shegorat]

Да, есть косяк, причем он проявляется только в x64 версии приложения. Поправлю

 

[Shegorat]

Shegorat обновил(а) ресурс mesa новой записью:

mesa v.22.08.28.rev.1

Изменения:

• vp6: Добавлена поддержка видео с альфа-каналом
• mp3: Улучшена точность обнаружения mp3 фреймов (thx Edison007)
• Добавлена опция -ws=<window_size> для управления размером окна поиска
• Фикс сопоставления консольных параметров для wwise матчера (thx Masquerade)
• Фикс краша в mp2, mp3 матчерах (thx Edison007, Mickey1s)
• Исправлены возможные проблемы, связанные с типами данных
• Небольшие оптимизации

Узнать больше об этом обновлении...

 

[Mickey1s]

@Shegorat, матчер ogg в трилогии STALKER находит еще и видео (формата .ogm / Theora) вместе с .ogg файлами
вот пример файлов - https://anonfiles.com/hbO0Me51y2/ogm_zip

 

[Mickey1s]

@Shegorat, нашел еще баг в CLS

arc.ini

Спойлер

[External compressor:mesa]
header = 0
packcmd = mesa64 -x -i=$$arcdatafile$$.tmp -t=$$arcpackedfile$$.tmp -m ogg -o=C:\mesa_cls\oggs

при запаковке было такое:

Спойлер

новая версия просто зависает при распаковке

Спойлер: log

подозреваю из-за %

cls.ini

Спойлер

[mesa]
FilesPath=C:\mesa_cls\unpack\oggs

Пробовал и на других файлах, тоже самое, висит бесконечно

Спойлер

Решил попробовать старую версию mesa v.22.08.02.rev.1
там инжект идёт, только:
1. архив mesa 15 ГБ
2. папка с .ogg 2 ГБ
3. оригинальный файл 17 ГБ

Спойлер: log

Inject file C:\mesa_cls\unpack\oggs\0000000003EDBF1A.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EE1CDC.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EE4900.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EE7882.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EEA99F.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EEDD4C.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EEFD69.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EF2386.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EF45B2.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EF6EF0.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EF9672.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003EFAF18.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003F045DA.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003F0A622.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003F0C859.ogg
Inject file C:\mesa_cls\unpack\oggs\0000000003F0E66B.ogg

но файл в папке unpacked раздувается до 150 ГБ+ (дальше у меня просто кончилось место на диске)

Если можно, то хотфикс CLS-ки в ЛС, протестирую

+ предложения по улучшению:

1. нельзя сканировать несколько форматов через cls
packcmd = mesa64 -x -i=$$arcdatafile$$.tmp -t=$$arcpackedfile$$.tmp -m bik,bk2 -o=C:\mesa_cls_2\bik
ищет только .bik

2. есть игра где нужно вытащить ogg (чтоб прогнать через oggre), их там ~100.000, записывать столько файлов на диск (особенно SSD) - не круто (флешбеки с reflate), можно ли вытащенные файлы упаковывать в какой-то условный "контейнер" (а-ля streams.mesa)? опционально добавить, чтоб было 2 файла, архив и контейнер с ogg (или чем угодно ещё)

 

[Shegorat]

1. нельзя сканировать несколько форматов через cls
packcmd = mesa64 -x -i=$$arcdatafile$$.tmp -t=$$arcpackedfile$$.tmp -m bik,bk2 -o=C:\mesa_cls_2\bik
ищет только .bik

Там немного поменялись идентификаторы матчеров, посмотреть можно при запуске mesa -h либо без параметров

Available matchers:
  * bik      - Generic BIK video
  * bik2     - Generic BIK2 video
  * vp6      - Generic VP6 video
  * snd      - SND audio bank
  * wwise    - Audiokinetic Wwise
  * bmp      - Bitmap Picture
  * png      - Generic PNG file
  * jpg      - Generic JPG
  * wav      - Waveform Audio File Format
  * ogg      - Vorbis OGG
  * mp2      - MPEG Layer II
  * mp3      - MPEG Layer III

2. есть игра где нужно вытащить ogg (чтоб прогнать через oggre), их там ~100.000, записывать столько файлов на диск (особенно SSD) - не круто (флешбеки с reflate), можно ли вытащенные файлы упаковывать в какой-то условный "контейнер" (а-ля streams.mesa)? опционально добавить, чтоб было 2 файла, архив и контейнер с ogg (или чем угодно ещё)

Такое предложение уже есть, можно будет использовать опции -g --squash, которые ещё не реализованы

подозреваю из-за %

Нет, не думаю, что в этом дело. Это просто конфликт вывода в консоль FA и CLS. Тут проблема в другом, хорошо посмотрю

@Shegorat, матчер ogg в трилогии STALKER находит еще и видео (формата .ogm / Theora) вместе с .ogg файлами
вот пример файлов - https://anonfiles.com/hbO0Me51y2/ogm_zip

Ну по сути у них контейнер один, только разные данные внутри используются. Я посмотрю, что можно сделать

 

[Mickey1s]

Там немного поменялись идентификаторы матчеров

увидел, и правда. а зачем менять bk2 на bik2? ведь извлекаются файлы .bk2
это как поменять mp3 на mpeg3

Такое предложение уже есть

будет очень удобно! посмотрел какие еще предложения есть и не увидел детекта raw audio (те, что находит MSC)

Тут проблема в другом, хорошо посмотрю

я возможно запутал предыдущим сообщением, уточнение:
"сжимал" новой версией mesa, при распаковке зависает, потом пробовал заменить cls от старой версии, файл раздувался бесконечно

только что попробовал использовать v.22.08.02.rev.1 при сжатии (на тех же bik/ogg файлах)
oриг.файл - 3 ГБ, извлекается 98 роликов на 412 МБ, архив mesa 2.59 ГБ
обратно восстановилось без проблем.

а вот со ~100.000 ogg файлов всё так же раздувается файл, даже на старой версии

 

[Shegorat]

увидел, и правда. а зачем менять bk2 на bik2? ведь извлекаются файлы .bk2
это как поменять mp3 на mpeg3

Просто для моего собственного удобства. В дальнейшем постараюсь избегать переименования матчеров.

будет очень удобно! посмотрел какие еще предложения есть и не увидел детекта raw audio (те, что находит MSC)

Никто не запрещает добавить это предложение
Собственно к вопросу выше - это будет уже другой матчер, с другим названием

я возможно запутал предыдущим сообщением, уточнение:
"сжимал" новой версией mesa, при распаковке зависает, потом пробовал заменить cls от старой версии, файл раздувался бесконечно

Да, я понял. Сейчас просто времени нет, смогу посмотреть только на выходных

 

[Edison007]

не увидел детекта raw audio (те, что находит MSC)

А какое в этом практическое применение?

* Будем понимать под raw-audio - PCM без заголовков.

Так как RAW-audio детектится по содержимому, то (скорее всего) результаты детекта в MSC и MESA будут разными - негативное влияние на конечное сжатие.

С извлеченными кусками ничего толком не сделать - неизвестны: частоты дискретизации, кол-во каналов, bits per sample. Можно, конечно, лепить свой WAVE-заголовок или же в извлеченное имя писать.

А в будущем с опциями -g и --squash, вообще хрен знает, что получится

 

[Mickey1s]

А какое в этом практическое применение?

извлечь и прогнать в мультипотоке через frog(9) (и при распаковке так же), есть игра где 2+ГБ такого аудио, очень долго сжимать\разжимать в 1 поток