Как Rockstar Games сжали GTA IV до 7 гб?

[Leonid Bankirov]

Всех приветствую! Уже больше месяца изучаю форумы про сжатие данных и хочу попробовать записать GTA IV на DVD9, как она когда то и выходила официально. Заранее извиняюсь за такой длинный рассказ, поделюсь всем, что сам узнал об этой игре и какой путь проделал).
Про оригинал от Rockstar на DVD9:
На Archive org находил разные образы дисков тех лет с этой игрой, которая каким то образом весила в запакованном виде в районе 7гб (точно не помню, но это не столь важно), получается у них оставалось ещё чуть меньше 1 гб на диске, где они разместили всякие Redist'ы и красивые установщики для Social Club и самой игры. Всё это они провернули на InstallShield, через обычные .cab архивы, но внутри как я понимаю использовали какие то свои запаковщики хитрые. Игру я так и не смог установить, так и не понял в чем проблема (якобы не соответствует требованием железа, хотя может быть там как то проверка сделана криво), но это тоже не важно. Главное вот что - их версия ничем не отличается от той, что была в Steam до какого то там года (когда ещё не было Complete Edition, где соединили 3 игры в одну и сделали их зависимыми друг от друга). То есть я через какой то там распаковщик глянул исходные файлы внутри их архивов установщика и их размеры, всё идентично байт в байт тому, что у меня есть, то есть это Lossless репак, они ничего не вырезали и не прекодировали. Это важный момент. Распакованая версия весит 15гб
Чужие репаки и мои попытки:
Ну так вот, у репаков с интернета размеры +- те же у разных людей, 9.2гб. У меня получается тот же самый результат стандартной цепочкой (precomp (-slow) + SREP(mem2g, l512, m3f)+ lzma (d512m, mc5000)). Сжимал папки отдельно, по типам данных, чтобы удобней было и srep лучше находил повторы. Всё вроде в пределах нормы. Папки с моделями, текстурами, анимациями и всякими такими данными дали Ratio 43% (3,26гб получилось). Всё остальное (всякие exeшники, dllки и какие то файлы движка вместе с видосами заставок) дали Ratio 65% (1,77гб вышло). Но самая главная проблема - это звук. Папка Audio весит 6гб несжатая, это треть веса игры, которая сама по себе то не жмётся из-за своих особенностей (на сколько помню, там формат PCM или ADPCM 16bit Mono, 32000hz). Максимум её удалось сжать до 4,22гб той же цепочкой, хотя precomp можно исключить, он все равно никаких потоков там не видит. И что у меня вышло вообще. Модели и текстуры 3,26гб + прочее 1,77гб + аудио 4,22гб = 9,25гб
Что я собственно хотел узнать:
Вопрос в том, как же Rockstar упаковали эту игрушку в 7 гигов. Например даже если взять 3,26гб и 1,77гб (в сумме примерно 5), то что они сделали такого со звуком, что он так похудел? И если даже они брали не звук, а что то другое, то как они добились такого сильно сжатия... И такое вообще возможно добиться стандартными методами, чтобы не разворачивать какие то сложные кастомные запаковщики и распаковщики игровых данных? Раз у них получилось, то в теории же данные вообще способны до такой степени сжиматься? И ещё, на время установки игры мне все равно, пусть хоть весь день что то устанавливает, главное чтобы хоть как то всё это дело влезло)

 

[emordnilap0palindrome]

Вероятно где то ошибка? (Эффект Манделы?)

 

[Leonid Bankirov]

Вероятно где то ошибка? (Эффект Манделы?)
Посмотреть вложение 10276

Не, всё в порядке, это просто Complete Edition, на первом диске расположена сама GTA IV, а на втором дополнения Episodes From Liberty City (EFLC). Раньше это было 2 независимых издания, то есть можно было играть в EFLC без наличия основной игры, соответственно основная может работать без EFLC. На другой раздаче это указано, здесь похоже забыли подписать, что это Complete Edition. Чуть позже скину скриншот с файлами внутри образа

 

[Leonid Bankirov]

Вероятно где то ошибка? (Эффект Манделы?)
Посмотреть вложение 10276

Распаковались они как то странно, половина больших файлов просто какую то ошибку выдало (если запустить распаковку с выводом лога о файлах, то прога просто бесконечно что то делает и никакой полезной информации не даёт). Возможно это какой то кастомный запаковщик Rockstar, который понимает только сам установщик. Я сейчас что-то так подумал, а может быть они спрятали остатки на втором диске? Ну то есть архив хоть и пишет, что файлы внутри есть, а они может для лучшего сжатия были перенесены на диск с EFLC? Там же некоторые аудио повторяются, модели городов почти идентичные. Я же не смог по нормальному эту игру установить, якобы железо не поддерживает, может быть реально он просит второй диск во время установки... Хотя тогда возникает другой вопрос. На озоне видел, что когда то в продаже был скорее всего пиратский диск с этой игрой, но тоже DVD9, причём 1. Значит всё же реально вместить всё это на 1 диск, данные могут так сжаться? Но не исключено то, что в диске с озона могли что-то перекодировать или вырезать. Что думаете?

 

[emordnilap0palindrome]

Leonid Bankirov пришли в ЛС ссылку где ты скачал эту версию.​

 

[audiofeel]

Посмотреть вложение 10279Распаковались они как то странно, половина больших файлов просто какую то ошибку выдало (если запустить распаковку с выводом лога о файлах, то прога просто бесконечно что то делает и никакой полезной информации не даёт). Возможно это какой то кастомный запаковщик Rockstar, который понимает только сам установщик. Я сейчас что-то так подумал, а может быть они спрятали остатки на втором диске? Ну то есть архив хоть и пишет, что файлы внутри есть, а они может для лучшего сжатия были перенесены на диск с EFLC? Там же некоторые аудио повторяются, модели городов почти идентичные. Я же не смог по нормальному эту игру установить, якобы железо не поддерживает, может быть реально он просит второй диск во время установки... Хотя тогда возникает другой вопрос. На озоне видел, что когда то в продаже был скорее всего пиратский диск с этой игрой, но тоже DVD9, причём 1. Значит всё же реально вместить всё это на 1 диск, данные могут так сжаться? Но не исключено то, что в диске с озона могли что-то перекодировать или вырезать. Что думаете?

Rockstar выпустила GTA IV на двух двухслойных дисках (DVD9).

На озоне видел, что когда то в продаже был скорее всего пиратский диск с этой игрой, но тоже DVD9, причём 1. Значит всё же реально вместить всё это на 1 диск

Давно это было, но, насколько помню, сделать это можно. Когда-то я пытался собрать игру на один DVD10 = 2 стороны, по 1 слою (9,4 ГБ примерно), но не хватило места. Пришлось сильно сжимать видеоролик, который воспроизводятся на телевизоре в квартире Нико. Кажется, я уменьшил их качество и разрешение практически до минимума.


Впрочем, могу ошибаться - с тех пор прошло больше десяти лет, это было ещё примерно в 2013 году.

 

[Leonid Bankirov]

Rockstar выпустила GTA IV на двух двухслойных дисках (DVD9).

Давно это было, но, насколько помню, сделать это можно. Когда-то я пытался собрать игру на один DVD10 = 2 стороны, по 1 слою (9,4 ГБ примерно), но не хватило места. Пришлось сильно сжимать видеоролик, который воспроизводятся на телевизоре в квартире Нико. Кажется, я уменьшил их качество и разрешение практически до минимума.


Впрочем, могу ошибаться - с тех пор прошло больше десяти лет, это было ещё примерно в 2013 году.

Сейчас внимательнее изучил релиз от Rockstar на 2xDVD9. Короче скорее всего дело в том, что на втором диске записаны остатки GTA IV и EFLC, потому что там файлы городов, радио и прочее дублируется, типо нет смысла на 2 диска писать одни и те же данные, проще пользователя попросить вставить 2 диск, где уже как раз находятся остатки, причём независимо от того что он выбрал (GTA IV или EFLC), он в любом случае будет использовать 2 диска. Так что никаких секретных волшебных цепочек скорее всего не было, всё это банальное правильно размещение данных для лучшего сжатия. А с четвёркой я поступлю наверное так же, как и вы, DVD10 или 2xDVD5 реально в этой ситуации логичнее выглядит. И сжать видео реально хороший вариант, я честно говоря даже никогда не подходил к телевизору в доме Нико и не смотрел его. Сжимать аудио действительно больнее было бы, ведь оно звучит на протяжении всей игры, а ролики это уже своеобразные дополнения. Так что вместить игру на 8,5гб всё же реально, хоть и Lossy качество будет). Ладно, вобщем спасибо за рассказ с вашим опытом!

 

[audiofeel]

Сейчас внимательнее изучил релиз от Rockstar на 2xDVD9. Короче скорее всего дело в том, что на втором диске записаны остатки GTA IV и EFLC, потому что там файлы городов, радио и прочее дублируется, типо нет смысла на 2 диска писать одни и те же данные, проще пользователя попросить вставить 2 диск, где уже как раз находятся остатки, причём независимо от того что он выбрал (GTA IV или EFLC), он в любом случае будет использовать 2 диска. Так что никаких секретных волшебных цепочек скорее всего не было, всё это банальное правильно размещение данных для лучшего сжатия. А с четвёркой я поступлю наверное так же, как и вы, DVD10 или 2xDVD5 реально в этой ситуации логичнее выглядит. И сжать видео реально хороший вариант, я честно говоря даже никогда не подходил к телевизору в доме Нико и не смотрел его. Сжимать аудио действительно больнее было бы, ведь оно звучит на протяжении всей игры, а ролики это уже своеобразные дополнения. Так что вместить игру на 8,5гб всё же реально, хоть и Lossy качество будет). Ладно, вобщем спасибо за рассказ с вашим опытом!

Да, скорее всего это получиться. И тогда в 2013 году насколько помню я вообще не сжимал видео (смысла не было, так как "оно вообще не сжималось"). Я всего лишь изменил разрешение у одного видео до минимум (именно для tv в первой квартире Нико).

 

[Leonid Bankirov]

Да, скорее всего это получиться. И тогда в 2013 году насколько помню я вообще не сжимал видео (смысла не было, так как "оно вообще не сжималось"). Я всего лишь изменил разрешение у одного видео до минимум (именно для tv в первой квартире Нико).

Ну да, видео сами по себе там уже имеют сжатый формат, так что дальше их никак не пережать, Ratio будет высоченным и толку от этого 0). Тогда тоже так и сделаю, сожму видосы и дело в шляпе). Просто я ещё накинул сверху FusionFix, чтобы игра на современном железе запускалась нормально, так что чуточку игра ещё потолстела, но не так критично. Вобщем спасибо ещё раз за совет)

 

[audiofeel]

Так что никаких секретных волшебных цепочек скорее всего не было, всё это банальное правильно размещение данных для лучшего сжатия.

Не всегда была какая-то продуманная логика размещения. Мне попадались релизы (лицензии), где для заполнения диска до нужного объёма просто добавлялись файлы-пустышки. Скорее всего, это могло делаться либо из-за особенностей работы SecuROM или другой защиты, либо по маркетинговым и юридическим причинам. Поэтому сам размер диска ещё не говорит о том, что всё его содержимое действительно необходимо.

 

[Leonid Bankirov]

Не всегда была какая-то продуманная логика размещения. Мне попадались релизы (лицензии), где для заполнения диска до нужного объёма просто добавлялись файлы-пустышки. Скорее всего, это могло делаться либо из-за особенностей работы SecuROM или другой защиты, либо по маркетинговым и юридическим причинам. Поэтому сам размер диска ещё не говорит о том, что всё его содержимое действительно необходимо.

Ого, интересно, никогда такого не видел, чтобы пустые файлы для объема добавляли, может быть реально для какой то защиты или стандарта производства, хотя в любом случае же финализировали потом диск. Но в нашем случае всё содержимое необходимо, там и так пустого места нет практически. У меня были лицензии только от 1С, там такого не наблюдал. Да у них и защита самая жестокая была, Starforce, который никак не скопируешь (именно физически, обойти то на программном уровне можно). Но мне и не попадалось от них никаких запакованых игрушек, обычно самые простые exe установщики, где внутри все файлы лежат, то есть без внешних архивов

 

[HernanG47]

Всех приветствую! Уже больше месяца изучаю форумы про сжатие данных и хочу попробовать записать GTA IV на DVD9, как она когда то и выходила официально. Заранее извиняюсь за такой длинный рассказ, поделюсь всем, что сам узнал об этой игре и какой путь проделал).
Про оригинал от Rockstar на DVD9:
En Archive org encontré diferentes imágenes de discos de aquellos años con este juego, que de alguna manera pesaba alrededor de 7GB (no recuerdo exactamente, pero eso no es tan importante), resulta que todavía les quedaba un poco menos de 1GB en el disco, donde colocaron todo tipo de Redist's y hermosos instaladores para el Social Club y el juego en sí. Hicieron todo esto en InstallShield, a través de archivos regular.cab, pero dentro, según tengo entendido, utilizaron algunos astutos empaquetadores propios. Nunca pude establecer el juego, todavía no entendía cuál era el problema (supuestamente no cumple con los requisitos de hardware, aunque tal vez la verificación se hizo de manera torcida), pero eso tampoco importa. Lo principal es que su versión no es diferente a la que estuvo en Steam hasta cierto año (cuando no existía la Edición Completa, donde combinaban 3 juegos en uno y los hacían dependientes unos de otros).Es decir, a través de algún tipo de desempaquetador miré los archivos fuente dentro de sus archivos de instalación y sus tamaños, todo es idéntico byte a byte a lo que tengo, es decir, este es un reempaquetado sin pérdida, no cortaron ni precodificaron nada. Este es un punto importante. La versión desempaquetada pesa 15 GB
Reempaquetados e intentos de otras personas:
Bueno, los repacks de Internet tienen los mismos tamaños + - personas diferentes, 9,2 GB. Obtengo el mismo resultado con una cadena estándar (precomp (-slow) + SREP(mem2g, l512, m3f)+ lzma (d512m, mc5000)). Comprimió las carpetas por separado, por tipo de datos, para que fuera más conveniente y para que srep fuera mejor a la hora de encontrar repeticiones. Todo parece estar dentro de los límites normales. Las carpetas con modelos, texturas, animaciones y todo tipo de datos dieron como resultado una proporción del 43% (se obtuvieron 3,26 GB). Todo lo demás (todo tipo de ejecutables, dllkas y algunos archivos de motor junto con vistas de pantalla de presentación) dieron una relación del 65% (salieron 1,77 GB). Pero el problema principal es el sonido. La carpeta Audio pesa 6GB sin comprimir, esto es un tercio del peso del juego, que en sí no se reduce debido a sus características (hasta donde recuerdo, existe un formato PCM o ADPCM 16bit Mono, 32000hz). Se comprimió a un máximo de 4,22 GB utilizando la misma cadena, aunque se puede excluir la precompilaciónÉl todavía no ve ningún arroyo allí. Y lo que me pasó a mí en general. Modelos y texturas 3,26gb + otros 1,77gb + audio 4,22gb = 9,25gb
Lo que realmente quería saber:
La pregunta es cómo Rockstar empaquetó este juguete de 7 gigas. Por ejemplo, incluso si tomas 3,26 gb y 1,77 gb (unos 5 en total), ¿qué le hicieron al sonido que le hizo perder tanto peso? Y aunque tomaran algo más que sonido, ¿cómo lograron una compresión tan fuerte... ¿Y es posible lograr esto utilizando métodos estándar, para no implementar algunos empaquetadores personalizados complejos y descomprimidores de datos de juegos? Dado que tuvieron éxito, ¿en teoría los datos generalmente se pueden comprimir hasta tal punto? Y, sin embargo, durante la instalación del juego, no me importa, incluso si ha estado instalando algo todo el día, lo principal es que al menos de alguna manera todo esto encajará)

buen trabajo con todo tu sistema de investigación, hermano, pero puede ser algun tipo de efecto mandela ya que yo también pensaba algo similar con el HItman Absolution de 2012, creía que había salido en discos de hasta solo 5gb, pero era imposible ya que el juego pesa 10gb en su máxima compresión (LOLZ), así que deberías chequear, o quizás la wayback machine marca un tamaño diferente por alguna extraña razón, quien sabe...

 

[Leonid Bankirov]

buen trabajo con todo tu sistema de investigación, hermano, pero puede ser algun tipo de efecto mandela ya que yo también pensaba algo similar con el HItman Absolution de 2012, creía que había salido en discos de hasta solo 5gb, pero era imposible ya que el juego pesa 10gb en su máxima compresión (LOLZ), así que deberías chequear, o quizás la wayback machine marca un tamaño diferente por alguna extraña razón, quien sabe...

¡Hola! Ya descubrí cuál era el problema con GTA IV. Decidí examinar la imagen del segundo disco, que pensé que se usaba para EFLC, pero resultó ser solo una extensión del instalador completo. Básicamente, resulta que GTA IV requiere dos discos para instalarse, lo que significa que se empaquetó junto con EFLC, lo cual parece más probable (GTA IV + EFLC combinados ocupan aproximadamente 14 GB, mientras que sin comprimir pesan entre 23 y 25 GB). Resulta que un disco contiene datos únicos que son difíciles de comprimir, mientras que el segundo contiene datos que se comprimen bien usando Precomp + SREP. Resulta que Rockstar no usó ningún algoritmo de compresión mágico o único; simplemente mezclaron inteligentemente los dos juegos y comprimieron los datos entre ellos. Quizás el instalador original descomprime tanto GTA IV como EFLC a la vez. Pero por cierto, aún así logré grabar GTA IV en un disco DVD9. Tuve que hacer un Lossy Repack, comprimí el vídeo bink del televisor (que ni siquiera había usado) y el juego encajó en el disco sin problema. En cuanto a Hitman Absolution 2012, es posible que se trate del efecto Mandela o de algún tipo de compresión inteligente (algunos ajustes especiales de Precomp y SREP para una mejor descompresión y detección de repeticiones).

 

[HernanG47]

epico hermano, me alegro que se ha vuelto este secreto monumental de compresión de rockstar jajaja!, saludos

 

[Leonid Bankirov]

epico hermano, me alegro que se ha vuelto este secreto monumental de compresión de rockstar jajaja!, saludos

Sí, jajaja. Como siempre, todo lo ingenioso resulta ser muy simple