Большая тайна, большое и светлое волшебство происходит, когда добровольцы объединяются для творения чего-то всем нужного, и, хотя бы немножечко, вечного.

Почему-то от этого чаще солнце выглядывает из-за облаков и очень хочется жить.

Правила и обычаи

Алгоритм сжатия для модулей магос

Re: Алгоритм сжатия для модулей магос

Еще тесты xz vs lz4 на двух машинах:

 Спойлер Show Spoiler Hide Spoiler
 Машина: Intel Core i5 2500 (4 ядра, 3.3ГГц)

Носитель SSD 250GB:

Код:

time for a in base/*.xzm ;do echo $a ;unsquashfs -d /tmp/$a $a ; rm -fr /tmp/$a ;done


xz:
real    0m27.905s
user    1m36.988s
sys     0m6.291s

lz4:
real    0m7.856s
user    0m3.165s
sys     0m6.329s

Носитель флешка Transcend 16GB USB3.0 в порт USB3.0:

Код:

time -p rsync -a /usr/bin/ /tmp/


xz:
real 9.73
user 1.38
sys 8.51

lz4:
real 3.14
user 1.26
sys 1.03

Режим copy2ram:

Код:

time -p rsync -a /usr/bin/ /tmp/


xz:
real 7.80
user 1.22
sys 7.29

lz4:
real 1.56
user 1.29
sys 0.98

Машина: Ноутбук Celeron B940 (2 ядра, 2ГГц)

Во всех тестах носитель SSD 120GB SmartBuy

Код:

time ( mksquashfs /memory/bundles/46-2-libreoffice.xzm/ /home/user/module.lz4 -comp lz4 && sync ) 


xz:
real 0m13.441s
user 0m1.438s
sys  0m11.215s   

lz4:
real    0m3.678s
user    0m1.455s
sys     0m1.238s

Код:

time -p rsync -a /usr/bin/ /tmp/


xz:
real 14.29
user 2.20
sys 13.14

lz4:
real 2.98
user 2.16
sys 1.77

Код:

time for a in *.xzm ;do echo $a ;unsquashfs -d /tmp/$a $a ; rm -fr /tmp/$a ;done


xz:
real    1m32.066s
user    2m46.231s
sys     0m11.262s

lz4:
real    0m14.169s
user    0m5.563s
sys     0m10.413s

ilfat
Ильфат
начинающий волшебник
ranks
useravatar
Онлайн
242 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

Что то нет в Магее  для mksquashfs lz4

 Спойлер Show Spoiler Hide Spoiler
 Compressors available:
                                gzip
                                lzma
                                lzo
                                xz (default)
Хотя сам lz4 присутствует в пакетах
Видимо надо обновлять squashfs ?

Попробовал от mksquashfs от  Suse (что было под рукой )
Здесь есть lz4


 Спойлер Show Spoiler Hide Spoiler
  Compressors available:
                                gzip (default)
                                lzo
                                lz4
                                xz
Но нет   lzma  ?

Однако lz4  работает быстро

папка       70 Мб
xz              25 сек
lzma          25 сек
lz4             ~5 сек       Может ошибка, но не успеешь два раза моргнуть уже готово

ingvar
Игорь
первоклассный волшебник
ranks
useravatar
Offline
371 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

У нас lzma собирается, но не подключаетмя потом.

MagOS-Чат http://chat.magos-linux.ru
MagOS-Загрузки http://files.magos-linux.ru/upload
MagOS-Торренты http://tracker.magos-linux.ru

betcher
Александр
магистр-волшебник
ranks
useravatar
Offline
2559 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

betcher написал(а):

У нас lzma собирается, но не подключаетмя потом.

lzma  вроде по скорости то же, что и  xz
Зато xz сжимает сильнее
xz      -    22.3 Мб
lz4   -     36,4  Мб

ingvar
Игорь
первоклассный волшебник
ranks
useravatar
Offline
371 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

Тут то вся фишка с lz4 нужно больше прочитать, но легче распаковать. А с xz прочитать меньше, а распаковать сложнее. Для разных машин и носителей выбор по скорости чтения будет разным.

MagOS-Чат http://chat.magos-linux.ru
MagOS-Загрузки http://files.magos-linux.ru/upload
MagOS-Торренты http://tracker.magos-linux.ru

betcher
Александр
магистр-волшебник
ranks
useravatar
Offline
2559 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

Установил сегодня Rosa PLASMA5 R9 и решил прогнать наш микротест "time rsync -a /usr/bin /tmp/" и сравнить с Магос.
Тестировал по 2 раза, каждый раз после перезагрузки. Роса показала 6.20 сек при размере /usr/bin 270M, Магос показал 6.78 сек при размере /usr/bin 626M. Сжатие в Магос lz4.
Также протестировал Магос с флешки через усб 2.0 порт, правда уже на другом ПК. Результат 5.56 при размере /usr/bin 320M. Сжатие на флешке lz4 -Xhc.
Декомпрессия lz4 [-Xhc] опережает чтение несжатых данных с диска smile

ilfat
Ильфат
начинающий волшебник
ranks
useravatar
Онлайн
242 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

Это на вашем железе так. А на более производительном операжать будет с дефолтным сжатием.

MagOS-Чат http://chat.magos-linux.ru
MagOS-Загрузки http://files.magos-linux.ru/upload
MagOS-Торренты http://tracker.magos-linux.ru

betcher
Александр
магистр-волшебник
ranks
useravatar
Offline
2559 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Re: Алгоритм сжатия для модулей магос

betcher, теоретически да, но пока с таким не сталкивался, даже на четырех ядерном i5 2500 lz4 с флешки усб 3.0 был заметно быстрее чем xz. А так конечно имелось ввиду, что мой вывод справедлив для тестируемого ПК.
xz видимо удел i7-ых smile
P.S. Больше то хотелось показать разницу с фул системой.

ilfat
Ильфат
начинающий волшебник
ranks
useravatar
Онлайн
242 Сообщений
Мужчина 
Администратор отключил публичную отправку сообщений

Авторизация