Проблема Ошибка при распаковке SREP 3.93a (is not checksum of original data)

[rDes7]

Булат есть проблема при распаковке архива c версией SREP 3.93a beta (October 11, 2014) на этом наборе данных (проверял на 2-x PC; данные перепаковывал повторно; процессор и память в норме)

Спойлер: упаковка

FreeArc 0.67 (March 15 2014) Creating archive: .\data.arc using
srep+delta+lzma:158mb:normal:bt4:273:mc1000:lc8
Memory for compression 1645mb, decompression 158mb, cache 1mb
Started: 0.00 sec
Found 54 files: 0.55 sec
Sorted 54 files: 0.55 sec
Joined filelists, 54 files: 0.55 sec
Compressing 54 files of 5,884,514,917 bytes: 0.55 sec
  Using srep+delta+lzma:158mb:normal:bt4:273:mc1000:lc8
  Memory for compression 1645mb, decompression 10.0%
Compressing 5,884,514,917 bytes with srep -m5f -l512 -c256 -a1 $$arcdatafile$$.t
mp $$arcpackedfile$$.tmp
10.0%SREP 3.93a beta (October 11, 2014): input size 5611 mb, memory used 352 mb
, -m5f -l512 -c256 -a1/1 -ia+ -hash=vmac -b8mb
0%: 8,388,608 -> 7,264,932: 86.60%.  Cpu 43 mb/s (0.187 sec), real 10 mb/s (0.81
0%: 16,777,216 -> 15,630,446: 93.16%.  Cpu 45 mb/s (0.359 sec), real 13 mb/s (1.
0%: 33,554,432 -> 32,389,434: 96.53%.  Cpu 50 mb/s (0.640 sec), real 22 mb/s (1.
0%: 50,331,648 -> 48,038,943: 95.44%.  Cpu 55 mb/s (0.874 sec), real 26 mb/s (1.
1%: 67,108,864 -> 61,845,924: 92.16%.  Cpu 59 mb/s (1.092 sec), real 31 mb/s (2.
1%: 83,886,080 -> 77,652,660: 92.57%.  Cpu 58 mb/s (1.373 sec), real 33 mb/s (2.
...
...
99%: 5,863,636,992  10.0%86,398,943: 85.04%.  Cpu 49 mb/s (114.037 sec), real 30
99%: 5,872,025,600 -> 4,994,292,272: 85.05%.  Cpu 49 mb/s (114.208 sec), real 30
99%: 5,880,414,208 -> 5,002,165,264: 85.06%.  Cpu 49 mb/s (114.411 sec), real 30
100%: 5,884,514,917 -> 5,006,004,282: 85.07%.  Cpu 49 mb/s (114.505 sec), real 3
0 mb/s (187.640 sec) = 61%.  Remains 00:00
Decompression memory is 44 mb.  518,285 matches = 8,292,560 bytes = 0.17% of fil
e

Errorlevel=0
99.9%
  Solid block compression results (3915.251 seconds)
    srep: 5,006,005,898 bytes in 397.002 seconds
    delta: 5,019,676,658 bytes in 51.902 seconds
    lzma:158mb:normal:bt4:273:mc1000:lc8: 2,324,960,881 bytes in -1.000 seconds
    aes-256/ctr:n1000:r0:k9527858120df504210e2c904494329d710c826c32ba81b2aa5cac5
8c832ecc25:i9bb98e62954972de509d9652e4d801d3: 2,324,960,881 bytes in 27.909 seco
nds

  Writing directory: 2764.29 sec
  Found 1 directory names: 2764.29 sec
  Directory written: 2764.
Compressed 54 files, 5,884,514,917 => 2,324,960,881 bytes. Ratio 39.51%
Compression time: cpu 3915.25 sec/real 2764.32 sec = 142%. Speed 2.13 mB/s
All OK

Спойлер: листинг архива

E:\arc lt data.arc -di -di+$#!
FreeArc 0.67 (March 15 2014) Listing archive: .\data.arc
  Decoding directory: 0.02 sec
  Directory decoded: 0.02 sec
  Directory built: 0.02 sec
Archive type: FreeArc
Total bytes: 5,884,514,917
Compressed bytes: 2,324,960,881
Ratio: 39.51%

Directory blocks: 1
Directory, bytes: 1,706
Directory, compressed: 817
Solid blocks: 1
Avg. blocksize: 5 gb

Compression memory: 1637 mb
Decompression memory: 158 mb
Dictionary: lzma:158mb

Archive locked: Yes
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: Yes

Encryption algorithms: aes-256/ctr

              Pos            Size      Compressed   Files Method
-----------------------------------------------------------------------------
*              31   5,884,514,917   2,324,960,881      54 srep+delta+lzma:158mb:
normal:bt4:273:mc1000:lc8+aes-256/ctr:n1000:r0:i9bb98e62954972de509d9652e4d801d3
:s0cee8787110feabd32a868598a596d9e1cc6a2bbbe7e9e38b95140365f28fc6b:c1461
-----------------------------------------------------------------------------
54 files, 5,884,514,917 bytes, 2,324,960,881 compressed
All OK

Спойлер: тест архива

E:\arc t data.arc -di -di+$#!
FreeArc 0.67 (March 15 2014) Testing archive: .\data.arc
  Decoding directory: 0.03 sec
  Directory decoded: 0.03 sec
  Directory built: 0.03 sec
Testing 54 files, 5,884,514,917 bytes. Processed   0.0%
Unpacking 5,006,005,898 bytes with srep -d -s $$arcpackedfile$$.tmp $$arcdatafil
e$$.tmp
0%: 7,267,972 -> 8,388,608: 86.64%.  Cpu inf mb/s (0.000 sec), real 24 mb/s (0.3
36 sec) = 0%.  Remains 03:43
0%: 15,647,854 -> 16,777,216: 93.27%.  Cpu 1026 mb/s (0.016 sec), real 43 mb/s (
0.373 sec) = 4%.  Remains 01:55
0%: 24,026,026 -> 25,165,824: 95.47%.  Cpu 769 mb/s (0.031 sec), real 48 mb/s (0
.498 sec) = 6%.  Remains 01:41
0%: 32,420,154 -> 33,554,432: 96.62%  0.0% 1026 mb/s (0.031 sec), real 50 mb/s (
0.645 sec) = 5%.  Remains 01:37
...
...
70%: 3,546,786,072 -> 4,253,024,256: 83.39%.  Cpu 741 mb/s (5.476 sec), real 29
mb/s (137.997 sec) = 4%.  Remains 00:57
71%: 3,554,742,438 -> 4,261,412,864: 83.42%.  Cpu 740 mb/s (5.491 sec), real 29
mb/s (138.356 sec) = 4%.  Remains 00:56
71%: 3,563,038,988 -> 4,269,801,472: 83.45%.  Cpu 739 mb/s (5.507 sec), real 29
mb/s (138.683 sec) = 4%.  Remains 00:56
71%: 3,571,427,624 -> 4,278,190,080: 83.48%.  Cpu 739 mb/s (5.522 sec), real 29
mb/s (138.900 sec) = 4%.  Remains 00:56

  ERROR! Decompression problem: checksum of decompressed data is not the same as
checksum of original data
  0.0%
Errorlevel=4
  0.0%
ERROR: invalid compression method or parameters in srep

 

[Булат Зиганшин]

рекомендую для начала перехватимть данные которые пордаются srep, и проверить их упаковку вне arc.exe

 

[rDes7]

Булат вот что у меня получилось

Спойлер: log pack

E:\srep -m5f -l512 -c256 -a1 data.zip
SREP 3.93a beta (October 11, 2014): input size 5611 mb, memory used 352 mb, -m5f
-l512 -c256 -a1/1 -ia+ -hash=vmac -b8mb
0%: 8,388,608 -> 7,273,584: 86.71%.  Cpu 39 mb/s (0.203 sec), real 22 mb/s (0.36
0%: 16,777,216 -> 15,643,860: 93.24%.  Cpu 41 mb/s (0.390 sec), real 28 mb/s (0.
0%: 25,165,824 -> 24,021,414: 95.45%.  Cpu 39 mb/s (0.608 sec), real 29 mb/s (0.
0%: 33,554,432 -> 32,402,918: 96.57%.  Cpu 39 mb/s (0.827 sec), real 31 mb/s (1.
0%: 41,943,040 -> 39,673,614: 94.59%.  Cpu 39 mb/s (1.014 sec), real 32 mb/s (1.
0%: 50,331,648 -> 48,052,427: 95.47%.  Cpu 39 mb/s (1.217 sec), real 15 mb/s (3.
1%: 67,108,864 -> 61,856,911: 92.17%.  Cpu 41 mb/s (1.544 sec), real 17 mb/s (3.
1%: 75,497,472 -> 70,237,964: 93.03%.  Cpu 41 mb/s (1.747 sec), real 19 mb/s (3.
1%: 92,274,688 -> 85,030,770: 92.15%.  Cpu 41 mb/s (2.122 sec), real 21 mb/s (4.
1%: 109,051,904 -> 100,797,595: 92.43%.  Cpu 41 mb/s (2.543 sec), real 23 mb/s (
1%: 117,440,512 -> 108,595,270: 92.47%.  Cpu 41 mb/s (2.746 sec), real 23 mb/s(
...
...
98%: 5,796,528,128 -> 4,938,276,520: 85.19%.  Cpu 34 mb/s (160.697 sec), real 15
98%: 5,804,916,736 -> 4,940,927,962: 85.12%.  Cpu 34 mb/s (160.853 sec), real 15
98%: 5,813,305,344 -> 4,948,327,746: 85.12%.  Cpu 34 mb/s (161.102 sec), real 15
98%: 5,821,693,952 -> 4,955,658,700: 85.12%.  Cpu 34 mb/s (161.367 sec), real 15
99%: 5,830,082,560 -> 4,959,777,584: 85.07%.  Cpu 34 mb/s (161.664 sec), real 15
99%: 5,838,471,168 -> 4,965,337,527: 85.05%.  Cpu 34 mb/s (161.913 sec), real 15
99%: 5,846,859,776 -> 4,969,085,715: 84.99%.  Cpu 34 mb/s (162.085 sec), real 15
99%: 5,855,248,384 -> 4,977,237,573: 85.00%.  Cpu 34 mb/s (162.350 sec), real 15
99%: 5,863,636,992 -> 4,985,455,800: 85.02%.  Cpu 34 mb/s (162.662 sec), real 15
99%: 5,872,025,600 -> 4,993,349,597: 85.04%.  Cpu 34 mb/s (162.974 sec), real 15
99%: 5,880,414,208 -> 5,001,224,463: 85.05%.  Cpu 34 mb/s (163.255 sec), real 15
100%: 5,884,523,297 -> 5,005,070,517: 85.05%.  Cpu 34 mb/s (163.380 sec), real 1
5 mb/s (372.923 sec) = 44%.  Remains 00:00
Decompression memory is 43 mb.  510,908 matches = 8,174,528 bytes = 0.16% of fil
e

Спойлер: log unpack

E:\srep -d data.zip.srep
0%: 7,313,888 -> 8,388,608: 87.19%.  Cpu inf mb/s (0.000 sec), real 66 mb/s (0.1
21 sec) = 0%.  Remains 01:22
0%: 15,698,340 -> 16,777,216: 93.57%.  Cpu inf mb/s (0.000 sec), real 86 mb/s (0
.185 sec) = 0%.  Remains 00:59
0%: 24,076,582 -> 25,165,824: 95.67%.  Cpu 1538 mb/s (0.016 sec), real 84 mb/s (
0.286 sec) = 5%.  Remains 00:59

  ERROR! Decompression problem: checksum of decompressed data is not the same as
checksum of original data

пробовал менять опцию -m5 на -m3 также получаю ошибку при распаковке

 

[Булат Зиганшин]

a тебя не смущает что ошибка теперь уже в другом месте? попробуй упакковать только первые 100 мб этого файла. или можешь передать мне его целиком, например через mega.co.nz

кстати, сочетание "-m3 -l512 -c256" сбоит, у меня уже есть баг-репорт, но "-m5 -l512 -c256" должно работать нормально; более того оно эквивалентно просто -m5

 

[rDes7]

Булат вот этот файл целиком

a тебя не смущает что ошибка теперь уже в другом месте?

да смущает я обратил на это внимание

сегодня постараюсь еще протестировать и сравним полученные результаты

 

[Булат Зиганшин]

уже тестирую. получаю ошибку как у тебя, причём что самое интересное - в разных местах, от 2444 мб до 2503 мб. второй раз сжал - распаковалось нормально. третий - плавающая ошибка в конце первого гигабайта

update 1: при распаковке надо добавить опцию -s0.0001 чтобы видеть точно где произошла ошибка, тогда она (для одной упаковки) получается всегда в одном месте

update 2: на -m3 не смотри, там даже сообщение об ошибке другое. сбоит -m4f/-m5f с любыми другими параметрами, при этом -m4/-m5 не сбоит. ещё забавный момент - у меня файл получается меньше всего с -m4 -c256

update 3: на дданный момент удалось выяснить, что данные распаковываются нормально, сбоит только проверка КС блоков. если её отключить опцией -hash-, то распакованные данные равны оригинальным. в принципе, при использовании внутри архивов arc это допустимо, поскольку у него своя проверка по crc32

из проверенных хешей сбоят vmac/siphash/md5, а вот sha1 работает нормально. т.е. поставив при упаковке -hash=sha1, можно получить надёжно, хоть и медленно, распаковываемый архив

к слову говоря, SREP говорит что ему для упаковки хватит 44 мб, что указывает на то, что SREP вряд ли сильно улучшит сжатие. и действительно, я попробовал сжать 7-zip оригинальный файл и пару вариантов сжатия SREP, и исходный файл сжимается лучше

update4: сбойный файл можно загрузить как https://mega.co.nz/#!bsxwyYBJ!Ilivf89Ng9Iq361FOv08fSaNwST9bXXZTJEgNeqb_7s

 

[rDes7]

Булат большое Вам спасибо за разъяснения!
распаковываю архив через cls-srep.dll поэтому и сжимать необходимо с параметром -f
с опцией -m5f у меня трабла только с этим набором данных

сбоит -m4f/-m5f с любыми другими параметрами

буду паковать эти данные версией SuperREP 3.0 (Jan 30, 2012) с опцией -m3f по моим тестам проблем замечено не было

Спойлер: pack srep3.0

SuperREP 3.0 (Jan 30, 2012)

E:\>srep -m3f -l512 -c256 -a1 data.zip
SREP 3.0 (January 30, 2012): input size 5611 mb, memory used 280 mb, -m3f -l512
-c256 -a1
100%: 5,884,523,297 -> 5,004,997,727: 85.05%. Cpu 24 mb/s, real 16 mb/s
Second pass: 100%

Спойлер: unpack srep3.0

E:\>srep -d data.zip.srep
0%: 7,313,856 -> 8,388,608: 87.19%. Cpu 256 mb/s, real 46 mb/s. Matches 2519 251
9 3405, I/Os 0, RAM 3/4, VM 0/0, R/W 0/0
0%: 15,698,308 -> 16,777,216: 93.57%. Cpu 256 mb/s, real 70 mb/s. Matches 3405 3
405 4325, I/Os 0, RAM 5/6, VM 0/0, R/W 0/0
0%: 24,076,550 -> 25,165,824: 95.67%. Cpu 220 mb/s, real 62 mb/s. Matches 3448 3
448 4386, I/Os 0, RAM 5/6, VM 0/0, R/W 0/0
0%: 32,470,678 -> 33,554,432: 96.77%. Cpu 205 mb/s, real 64 mb/s. Matches 4237 4
237 5183, I/Os 0, RAM 6/7, VM 0/0, R/W 0/0
0%: 39,728,686 -> 41,943,040: 94.72%. Cpu 214 mb/s, real 63 mb/s. Matches 3444 4
238 5184, I/Os 0, RAM 5/7, VM 0/0, R/W 0/0
0%: 48,107,547 -> 50,331,648: 95.58%. Cpu 220 mb/s, real 69 mb/s. Matches 3447 4
238 5205, I/Os 0, RAM 5/7, VM 0/0, R/W 0/0
1%: 55,885,121 -> 58,720,256: 95.17%. Cpu 224 mb/s, real 65 mb/s. Matches 3573 4
238 5756, I/Os 0, RAM 5/7, VM 0/0, R/W 0/0
1%: 61,898,143 -> 67,108,864: 92.24%. Cpu 241 mb/s, real 69 mb/s. Matches 2579 4
...
...
98%: 4,948,282,113 -> 5,813,305,344: 85.12%. Cpu 215 mb/s, real 30 mb/s. Matches
3156 36978 503644, I/Os 0, RAM 2/43, VM 0/0, R/W 0/0
99%: 4,955,611,329 -> 5,821,693,952: 85.12%. Cpu 215 mb/s, real 30 mb/s. Matches
2923 36978 504296, I/Os 0, RAM 2/43, VM 0/0, R/W 0/0
99%: 4,959,711,304 -> 5,830,082,560: 85.07%. Cpu 215 mb/s, real 30 mb/s. Matches
1497 36978 507070, I/Os 0, RAM 1/43, VM 0/0, R/W 0/0
99%: 4,965,267,602 -> 5,838,471,168: 85.04%. Cpu 215 mb/s, real 30 mb/s. Matches
858 36978 508099, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
99%: 4,969,014,505 -> 5,846,859,776: 84.99%. Cpu 215 mb/s, real 30 mb/s. Matches
177 36978 509912, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
99%: 4,977,167,509 -> 5,855,248,384: 85.00%. Cpu 215 mb/s, real 30 mb/s. Matches
121 36978 510079, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
99%: 4,985,385,969 -> 5,863,636,992: 85.02%. Cpu 215 mb/s, real 30 mb/s. Matches
123 36978 510242, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
99%: 4,993,279,413 -> 5,872,025,600: 85.04%. Cpu 215 mb/s, real 30 mb/s. Matches
114 36978 510518, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
99%: 5,001,152,947 -> 5,880,414,208: 85.05%. Cpu 215 mb/s, real 30 mb/s. Matches
34 36978 510838, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
100%: 5,004,998,863 -> 5,884,523,297: 85.05%. Cpu 215 mb/s, real 30 mb/s. Matche
s 0 36978 511006, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0

SREP вряд ли сильно улучшит сжатие

в цепочке до передачи этих данных на SREP обрабатываю их precomp и архив после LZMA получается компактней

 

[Булат Зиганшин]

да, для тебя это будет лучший способ решить проблему. вероятно, можно и srep 3.2 взять

продолжаю записывать свои наблюдения:

1. сбоит на любом файле достаточно большого размера и с достаточно случайными данными. верооятность сбоя зависит от процесса упаковки, но если взять случайные/упакованные данные на 5 ГБ и сжать их с "-m5f -l512 -c256 -a1 -ia-", то сбой почти гарантирован

2. сбои зарегистрированы в режимах -m{0/3/4/5}f c доп. параметрами и без оных, с любыми хешами (опция -hash)

3. сбоям подвержены все виндовые exe-шники из srep 3.93. сбоя линуксовой версии добиться не удалось

4. во всех случаях сбоя (а я их проверил с десяток) данные восстанавливаются корректно, проблема только в хеше, который видимо неправильно вычисляется при упаковке