SuperREP — огромный словарь LZ77-препроцессора

SREP является первым LZ77 компрессором, который поддерживает словарь большого объема оперативной памяти.  Настройки по умолчанию (-L512) позволяет обрабатывать файлы, которые в 20 раз больше, чем размер оперативной памяти.  Требования к памяти пропорциональна 1/L, так что за счет увеличения -L значения можно обрабатывать даже большие файлы.  Скорость сжатия проходит на 100 Мб/с и декомпрессия на скорости 250 Мб/с на i3-2100.

 

Режимы сжатия алгоритма сжатия LZ77

  • -M1: входной файл разделен на куски L байт (указанные опцией-C, 512 байт по умолчанию).  Для каждой порции, программа сохраняет SHA-1 хэш.  Когда позже она столкнуться с L-байтный массив с тем же SHA-1 значение, она заменяет новый блок со ссылкой на предыдущий, при условии, что куски равны.
  • -М2: так же, как и М1, но только слабого хэша хранится для каждого блока.  Когда программа обнаруживает кусок с тем же хэш-значение, он перечитывает старые кусок из входного файла для сравнения данных.
  • -M3: то же, что и М2, но программа сравнивает байт до и после равные куски для того, чтобы расширить соответствуют как можно больше.  -L вариант может быть использован для указания минимальной длины куска.

На декомпрессии, каждый кусок сжимается и восстанавливается путем чтения содержимого предыдущей равных кусочков от выходного файла. Алгоритм сжатия в -М2/М3 режимов перечитывает же куски для того, чтобы сравнить их с текущими данными.  Это ставит большую нагрузку на ОС система ввода/вывода и дискового кэша.

Алгоритм требует, чтобы входной файл при сжатии (за исключением М1-режиме) и выходного файла при распаковке является доступной для поиска.  Если это не так, вы можете использовать темп, чтобы сообщить, программа для создания временных файлов используется для хранения копий всех данных без сжатия.

Алгоритму также необходимо знать размер входного файла заранее при сжатии.  Если программа не может определить размер файла (то есть при сжатии со стандартного ввода), размер файла должны быть обеспечены с помощью опции -S.  Значения больше, чем фактический размер файла будет работать также и по умолчанию предполагается, 25gb.

Вам может также понравиться...

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *


Срок проверки reCAPTCHA истек. Перезагрузите страницу.