1. Уважаемые гости и пользователи форума.
    Администрация настоятельно рекомендует не регистрировать несколько аккаунтов для одного пользователя. При выявлении наличия мультиаккаунтов будут заблокированы все учетные записи данного пользователя.
    Аккаунты, зарегистрированные на временную почту будут также заблокированы.

Проблема Ошибка при распаковке SREP 3.93a (is not checksum of original data)

Тема в разделе "FreeArc", создана пользователем rDes7, 7 апр 2015.

  1. Ветеран

    Регистрация:
    26 янв 2015
    Сообщения:
    41
    Симпатии:
    6
    Булат есть проблема при распаковке архива c версией SREP 3.93a beta (October 11, 2014) на этом наборе данных (проверял на 2-x PC; данные перепаковывал повторно; процессор и память в норме)
    Код (Text):
    FreeArc 0.67 (March 15 2014) Creating archive: .\data.arc using
    srep+delta+lzma:158mb:normal:bt4:273:mc1000:lc8
    Memory for compression 1645mb, decompression 158mb, cache 1mb
    Started: 0.00 sec
    Found 54 files: 0.55 sec
    Sorted 54 files: 0.55 sec
    Joined filelists, 54 files: 0.55 sec
    Compressing 54 files of 5,884,514,917 bytes: 0.55 sec
      Using srep+delta+lzma:158mb:normal:bt4:273:mc1000:lc8
      Memory for compression 1645mb, decompression 10.0%
    Compressing 5,884,514,917 bytes with srep -m5f -l512 -c256 -a1 $$arcdatafile$$.t
    mp $$arcpackedfile$$.tmp
    10.0%SREP 3.93a beta (October 11, 2014): input size 5611 mb, memory used 352 mb
    , -m5f -l512 -c256 -a1/1 -ia+ -hash=vmac -b8mb
    0%: 8,388,608 -> 7,264,932: 86.60%.  Cpu 43 mb/s (0.187 sec), real 10 mb/s (0.81
    0%: 16,777,216 -> 15,630,446: 93.16%.  Cpu 45 mb/s (0.359 sec), real 13 mb/s (1.
    0%: 33,554,432 -> 32,389,434: 96.53%.  Cpu 50 mb/s (0.640 sec), real 22 mb/s (1.
    0%: 50,331,648 -> 48,038,943: 95.44%.  Cpu 55 mb/s (0.874 sec), real 26 mb/s (1.
    1%: 67,108,864 -> 61,845,924: 92.16%.  Cpu 59 mb/s (1.092 sec), real 31 mb/s (2.
    1%: 83,886,080 -> 77,652,660: 92.57%.  Cpu 58 mb/s (1.373 sec), real 33 mb/s (2.
    ...
    ...
    99%: 5,863,636,992  10.0%86,398,943: 85.04%.  Cpu 49 mb/s (114.037 sec), real 30
    99%: 5,872,025,600 -> 4,994,292,272: 85.05%.  Cpu 49 mb/s (114.208 sec), real 30
    99%: 5,880,414,208 -> 5,002,165,264: 85.06%.  Cpu 49 mb/s (114.411 sec), real 30
    100%: 5,884,514,917 -> 5,006,004,282: 85.07%.  Cpu 49 mb/s (114.505 sec), real 3
    0 mb/s (187.640 sec) = 61%.  Remains 00:00
    Decompression memory is 44 mb.  518,285 matches = 8,292,560 bytes = 0.17% of fil
    e

    Errorlevel=0
    99.9%
      Solid block compression results (3915.251 seconds)
        srep: 5,006,005,898 bytes in 397.002 seconds
        delta: 5,019,676,658 bytes in 51.902 seconds
        lzma:158mb:normal:bt4:273:mc1000:lc8: 2,324,960,881 bytes in -1.000 seconds
        aes-256/ctr:n1000:r0:k9527858120df504210e2c904494329d710c826c32ba81b2aa5cac5
    8c832ecc25:i9bb98e62954972de509d9652e4d801d3: 2,324,960,881 bytes in 27.909 seco
    nds

      Writing directory: 2764.29 sec
      Found 1 directory names: 2764.29 sec
      Directory written: 2764.
    Compressed 54 files, 5,884,514,917 => 2,324,960,881 bytes. Ratio 39.51%
    Compression time: cpu 3915.25 sec/real 2764.32 sec = 142%. Speed 2.13 mB/s
    All OK
    Код (Text):
    E:\arc lt data.arc -di -di+$#!
    FreeArc 0.67 (March 15 2014) Listing archive: .\data.arc
      Decoding directory: 0.02 sec
      Directory decoded: 0.02 sec
      Directory built: 0.02 sec
    Archive type: FreeArc
    Total bytes: 5,884,514,917
    Compressed bytes: 2,324,960,881
    Ratio: 39.51%

    Directory blocks: 1
    Directory, bytes: 1,706
    Directory, compressed: 817
    Solid blocks: 1
    Avg. blocksize: 5 gb

    Compression memory: 1637 mb
    Decompression memory: 158 mb
    Dictionary: lzma:158mb

    Archive locked: Yes
    Archive comment: -
    Recovery info: -
    SFX size: -
    Headers encrypted: Yes

    Encryption algorithms: aes-256/ctr

                  Pos            Size      Compressed   Files Method
    -----------------------------------------------------------------------------
    *              31   5,884,514,917   2,324,960,881      54 srep+delta+lzma:158mb:
    normal:bt4:273:mc1000:lc8+aes-256/ctr:n1000:r0:i9bb98e62954972de509d9652e4d801d3
    :s0cee8787110feabd32a868598a596d9e1cc6a2bbbe7e9e38b95140365f28fc6b:c1461
    -----------------------------------------------------------------------------
    54 files, 5,884,514,917 bytes, 2,324,960,881 compressed
    All OK
    Код (Text):
    E:\arc t data.arc -di -di+$#!
    FreeArc 0.67 (March 15 2014) Testing archive: .\data.arc
      Decoding directory: 0.03 sec
      Directory decoded: 0.03 sec
      Directory built: 0.03 sec
    Testing 54 files, 5,884,514,917 bytes. Processed   0.0%
    Unpacking 5,006,005,898 bytes with srep -d -s $$arcpackedfile$$.tmp $$arcdatafil
    e$$.tmp
    0%: 7,267,972 -> 8,388,608: 86.64%.  Cpu inf mb/s (0.000 sec), real 24 mb/s (0.3
    36 sec) = 0%.  Remains 03:43
    0%: 15,647,854 -> 16,777,216: 93.27%.  Cpu 1026 mb/s (0.016 sec), real 43 mb/s (
    0.373 sec) = 4%.  Remains 01:55
    0%: 24,026,026 -> 25,165,824: 95.47%.  Cpu 769 mb/s (0.031 sec), real 48 mb/s (0
    .498 sec) = 6%.  Remains 01:41
    0%: 32,420,154 -> 33,554,432: 96.62%  0.0% 1026 mb/s (0.031 sec), real 50 mb/s (
    0.645 sec) = 5%.  Remains 01:37
    ...
    ...
    70%: 3,546,786,072 -> 4,253,024,256: 83.39%.  Cpu 741 mb/s (5.476 sec), real 29
    mb/s (137.997 sec) = 4%.  Remains 00:57
    71%: 3,554,742,438 -> 4,261,412,864: 83.42%.  Cpu 740 mb/s (5.491 sec), real 29
    mb/s (138.356 sec) = 4%.  Remains 00:56
    71%: 3,563,038,988 -> 4,269,801,472: 83.45%.  Cpu 739 mb/s (5.507 sec), real 29
    mb/s (138.683 sec) = 4%.  Remains 00:56
    71%: 3,571,427,624 -> 4,278,190,080: 83.48%.  Cpu 739 mb/s (5.522 sec), real 29
    mb/s (138.900 sec) = 4%.  Remains 00:56

      ERROR! Decompression problem: checksum of decompressed data is not the same as
    checksum of original data
      0.0%
    Errorlevel=4
      0.0%
    ERROR: invalid compression method or parameters in srep
     
  2. Developer Модератор

    Регистрация:
    26 июн 2011
    Сообщения:
    205
    Симпатии:
    122
    рекомендую для начала перехватимть данные которые пордаются srep, и проверить их упаковку вне arc.exe
     
  3. Ветеран

    Регистрация:
    26 янв 2015
    Сообщения:
    41
    Симпатии:
    6
    Булат вот что у меня получилось
    Код (Text):
    E:\srep -m5f -l512 -c256 -a1 data.zip
    SREP 3.93a beta (October 11, 2014): input size 5611 mb, memory used 352 mb, -m5f
    -l512 -c256 -a1/1 -ia+ -hash=vmac -b8mb
    0%: 8,388,608 -> 7,273,584: 86.71%.  Cpu 39 mb/s (0.203 sec), real 22 mb/s (0.36
    0%: 16,777,216 -> 15,643,860: 93.24%.  Cpu 41 mb/s (0.390 sec), real 28 mb/s (0.
    0%: 25,165,824 -> 24,021,414: 95.45%.  Cpu 39 mb/s (0.608 sec), real 29 mb/s (0.
    0%: 33,554,432 -> 32,402,918: 96.57%.  Cpu 39 mb/s (0.827 sec), real 31 mb/s (1.
    0%: 41,943,040 -> 39,673,614: 94.59%.  Cpu 39 mb/s (1.014 sec), real 32 mb/s (1.
    0%: 50,331,648 -> 48,052,427: 95.47%.  Cpu 39 mb/s (1.217 sec), real 15 mb/s (3.
    1%: 67,108,864 -> 61,856,911: 92.17%.  Cpu 41 mb/s (1.544 sec), real 17 mb/s (3.
    1%: 75,497,472 -> 70,237,964: 93.03%.  Cpu 41 mb/s (1.747 sec), real 19 mb/s (3.
    1%: 92,274,688 -> 85,030,770: 92.15%.  Cpu 41 mb/s (2.122 sec), real 21 mb/s (4.
    1%: 109,051,904 -> 100,797,595: 92.43%.  Cpu 41 mb/s (2.543 sec), real 23 mb/s (
    1%: 117,440,512 -> 108,595,270: 92.47%.  Cpu 41 mb/s (2.746 sec), real 23 mb/s(
    ...
    ...
    98%: 5,796,528,128 -> 4,938,276,520: 85.19%.  Cpu 34 mb/s (160.697 sec), real 15
    98%: 5,804,916,736 -> 4,940,927,962: 85.12%.  Cpu 34 mb/s (160.853 sec), real 15
    98%: 5,813,305,344 -> 4,948,327,746: 85.12%.  Cpu 34 mb/s (161.102 sec), real 15
    98%: 5,821,693,952 -> 4,955,658,700: 85.12%.  Cpu 34 mb/s (161.367 sec), real 15
    99%: 5,830,082,560 -> 4,959,777,584: 85.07%.  Cpu 34 mb/s (161.664 sec), real 15
    99%: 5,838,471,168 -> 4,965,337,527: 85.05%.  Cpu 34 mb/s (161.913 sec), real 15
    99%: 5,846,859,776 -> 4,969,085,715: 84.99%.  Cpu 34 mb/s (162.085 sec), real 15
    99%: 5,855,248,384 -> 4,977,237,573: 85.00%.  Cpu 34 mb/s (162.350 sec), real 15
    99%: 5,863,636,992 -> 4,985,455,800: 85.02%.  Cpu 34 mb/s (162.662 sec), real 15
    99%: 5,872,025,600 -> 4,993,349,597: 85.04%.  Cpu 34 mb/s (162.974 sec), real 15
    99%: 5,880,414,208 -> 5,001,224,463: 85.05%.  Cpu 34 mb/s (163.255 sec), real 15
    100%: 5,884,523,297 -> 5,005,070,517: 85.05%.  Cpu 34 mb/s (163.380 sec), real 1
    5 mb/s (372.923 sec) = 44%.  Remains 00:00
    Decompression memory is 43 mb.  510,908 matches = 8,174,528 bytes = 0.16% of fil
    e
     
    Код (Text):
    E:\srep -d data.zip.srep
    0%: 7,313,888 -> 8,388,608: 87.19%.  Cpu inf mb/s (0.000 sec), real 66 mb/s (0.1
    21 sec) = 0%.  Remains 01:22
    0%: 15,698,340 -> 16,777,216: 93.57%.  Cpu inf mb/s (0.000 sec), real 86 mb/s (0
    .185 sec) = 0%.  Remains 00:59
    0%: 24,076,582 -> 25,165,824: 95.67%.  Cpu 1538 mb/s (0.016 sec), real 84 mb/s (
    0.286 sec) = 5%.  Remains 00:59

      ERROR! Decompression problem: checksum of decompressed data is not the same as
    checksum of original data
    пробовал менять опцию -m5 на -m3 также получаю ошибку при распаковке
     
  4. Developer Модератор

    Регистрация:
    26 июн 2011
    Сообщения:
    205
    Симпатии:
    122
    a тебя не смущает что ошибка теперь уже в другом месте? попробуй упакковать только первые 100 мб этого файла. или можешь передать мне его целиком, например через mega.co.nz

    кстати, сочетание "-m3 -l512 -c256" сбоит, у меня уже есть баг-репорт, но "-m5 -l512 -c256" должно работать нормально; более того оно эквивалентно просто -m5
     
  5. Ветеран

    Регистрация:
    26 янв 2015
    Сообщения:
    41
    Симпатии:
    6
    Булат вот этот файл целиком

    да смущает я обратил на это внимание

    сегодня постараюсь еще протестировать и сравним полученные результаты
     
  6. Developer Модератор

    Регистрация:
    26 июн 2011
    Сообщения:
    205
    Симпатии:
    122
    уже тестирую. получаю ошибку как у тебя, причём что самое интересное - в разных местах, от 2444 мб до 2503 мб. второй раз сжал - распаковалось нормально. третий - плавающая ошибка в конце первого гигабайта

    update 1: при распаковке надо добавить опцию -s0.0001 чтобы видеть точно где произошла ошибка, тогда она (для одной упаковки) получается всегда в одном месте

    update 2: на -m3 не смотри, там даже сообщение об ошибке другое. сбоит -m4f/-m5f с любыми другими параметрами, при этом -m4/-m5 не сбоит. ещё забавный момент - у меня файл получается меньше всего с -m4 -c256

    update 3: на дданный момент удалось выяснить, что данные распаковываются нормально, сбоит только проверка КС блоков. если её отключить опцией -hash-, то распакованные данные равны оригинальным. в принципе, при использовании внутри архивов arc это допустимо, поскольку у него своя проверка по crc32

    из проверенных хешей сбоят vmac/siphash/md5, а вот sha1 работает нормально. т.е. поставив при упаковке -hash=sha1, можно получить надёжно, хоть и медленно, распаковываемый архив

    к слову говоря, SREP говорит что ему для упаковки хватит 44 мб, что указывает на то, что SREP вряд ли сильно улучшит сжатие. и действительно, я попробовал сжать 7-zip оригинальный файл и пару вариантов сжатия SREP, и исходный файл сжимается лучше

    update4: сбойный файл можно загрузить как https://mega.co.nz/#!bsxwyYBJ!Ilivf89Ng9Iq361FOv08fSaNwST9bXXZTJEgNeqb_7s
     
    Последнее редактирование: 8 апр 2015
    rDes7 нравится это.
  7. Ветеран

    Регистрация:
    26 янв 2015
    Сообщения:
    41
    Симпатии:
    6
    Булат большое Вам спасибо за разъяснения!
    распаковываю архив через cls-srep.dll поэтому и сжимать необходимо с параметром -f
    с опцией -m5f у меня трабла только с этим набором данных
    буду паковать эти данные версией SuperREP 3.0 (Jan 30, 2012) с опцией -m3f по моим тестам проблем замечено не было
    Код (Text):
    SuperREP 3.0 (Jan 30, 2012)

    E:\>srep -m3f -l512 -c256 -a1 data.zip
    SREP 3.0 (January 30, 2012): input size 5611 mb, memory used 280 mb, -m3f -l512
    -c256 -a1
    100%: 5,884,523,297 -> 5,004,997,727: 85.05%. Cpu 24 mb/s, real 16 mb/s
    Second pass: 100%
    Код (Text):
    E:\>srep -d data.zip.srep
    0%: 7,313,856 -> 8,388,608: 87.19%. Cpu 256 mb/s, real 46 mb/s. Matches 2519 251
    9 3405, I/Os 0, RAM 3/4, VM 0/0, R/W 0/0
    0%: 15,698,308 -> 16,777,216: 93.57%. Cpu 256 mb/s, real 70 mb/s. Matches 3405 3
    405 4325, I/Os 0, RAM 5/6, VM 0/0, R/W 0/0
    0%: 24,076,550 -> 25,165,824: 95.67%. Cpu 220 mb/s, real 62 mb/s. Matches 3448 3
    448 4386, I/Os 0, RAM 5/6, VM 0/0, R/W 0/0
    0%: 32,470,678 -> 33,554,432: 96.77%. Cpu 205 mb/s, real 64 mb/s. Matches 4237 4
    237 5183, I/Os 0, RAM 6/7, VM 0/0, R/W 0/0
    0%: 39,728,686 -> 41,943,040: 94.72%. Cpu 214 mb/s, real 63 mb/s. Matches 3444 4
    238 5184, I/Os 0, RAM 5/7, VM 0/0, R/W 0/0
    0%: 48,107,547 -> 50,331,648: 95.58%. Cpu 220 mb/s, real 69 mb/s. Matches 3447 4
    238 5205, I/Os 0, RAM 5/7, VM 0/0, R/W 0/0
    1%: 55,885,121 -> 58,720,256: 95.17%. Cpu 224 mb/s, real 65 mb/s. Matches 3573 4
    238 5756, I/Os 0, RAM 5/7, VM 0/0, R/W 0/0
    1%: 61,898,143 -> 67,108,864: 92.24%. Cpu 241 mb/s, real 69 mb/s. Matches 2579 4
    ...
    ...
    98%: 4,948,282,113 -> 5,813,305,344: 85.12%. Cpu 215 mb/s, real 30 mb/s. Matches
    3156 36978 503644, I/Os 0, RAM 2/43, VM 0/0, R/W 0/0
    99%: 4,955,611,329 -> 5,821,693,952: 85.12%. Cpu 215 mb/s, real 30 mb/s. Matches
    2923 36978 504296, I/Os 0, RAM 2/43, VM 0/0, R/W 0/0
    99%: 4,959,711,304 -> 5,830,082,560: 85.07%. Cpu 215 mb/s, real 30 mb/s. Matches
    1497 36978 507070, I/Os 0, RAM 1/43, VM 0/0, R/W 0/0
    99%: 4,965,267,602 -> 5,838,471,168: 85.04%. Cpu 215 mb/s, real 30 mb/s. Matches
    858 36978 508099, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    99%: 4,969,014,505 -> 5,846,859,776: 84.99%. Cpu 215 mb/s, real 30 mb/s. Matches
    177 36978 509912, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    99%: 4,977,167,509 -> 5,855,248,384: 85.00%. Cpu 215 mb/s, real 30 mb/s. Matches
    121 36978 510079, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    99%: 4,985,385,969 -> 5,863,636,992: 85.02%. Cpu 215 mb/s, real 30 mb/s. Matches
    123 36978 510242, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    99%: 4,993,279,413 -> 5,872,025,600: 85.04%. Cpu 215 mb/s, real 30 mb/s. Matches
    114 36978 510518, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    99%: 5,001,152,947 -> 5,880,414,208: 85.05%. Cpu 215 mb/s, real 30 mb/s. Matches
    34 36978 510838, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    100%: 5,004,998,863 -> 5,884,523,297: 85.05%. Cpu 215 mb/s, real 30 mb/s. Matche
    s 0 36978 511006, I/Os 0, RAM 0/43, VM 0/0, R/W 0/0
    в цепочке до передачи этих данных на SREP обрабатываю их precomp и архив после LZMA получается компактней
     
    Последнее редактирование: 8 апр 2015
  8. Developer Модератор

    Регистрация:
    26 июн 2011
    Сообщения:
    205
    Симпатии:
    122
    да, для тебя это будет лучший способ решить проблему. вероятно, можно и srep 3.2 взять

    продолжаю записывать свои наблюдения:

    1. сбоит на любом файле достаточно большого размера и с достаточно случайными данными. верооятность сбоя зависит от процесса упаковки, но если взять случайные/упакованные данные на 5 ГБ и сжать их с "-m5f -l512 -c256 -a1 -ia-", то сбой почти гарантирован

    2. сбои зарегистрированы в режимах -m{0/3/4/5}f c доп. параметрами и без оных, с любыми хешами (опция -hash)

    3. сбоям подвержены все виндовые exe-шники из srep 3.93. сбоя линуксовой версии добиться не удалось

    4. во всех случаях сбоя (а я их проверил с десяток) данные восстанавливаются корректно, проблема только в хеше, который видимо неправильно вычисляется при упаковке
     
    Последнее редактирование: 8 апр 2015
    rDes7 нравится это.

Поделиться этой страницей