Nowy typ pakietów zstd

funn · Styczeń 05, 2020, 05:20:35 PM

Czy nowy typ pakietów w Archu, będzie miał jakiś wpływ na stabilność tej dystrybucji?
https://www.phoronix.com/scan.php?page=news_item&px=Arch-XZ-To-Zstd-Results
https://community.centminmod.com/threads/round-4-compression-comparison-benchmarks-zstd-vs-brotli-vs-pigz-vs-bzip2-vs-xz-etc.18669/

LinGruby · Styczeń 05, 2020, 05:39:30 PM

w tłumaczeniu Google:
info ze strony Arch

Cytat
[...]
zstd i xz handlują ciosem w stosunku kompresji. Ponowna kompresja wszystkich pakietów do zstd za pomocą naszych opcji daje w sumie ~ 0,8% wzrost wielkości wszystkich pakietów łącznie, ale czas dekompresji dla wszystkich pakietów przyspieszył o ~ 1300%.

W naszych repozytoriach mamy już ponad 545 skompresowanych pakietów ZSTD, a wraz z aktualizacją pakietów kolejne będą się pojawiać. Do tej pory nie znaleźliśmy żadnych problemów z użytkownikami, więc wydaje się, że wszystko działa.
Jeśli mimo to nie zaktualizowałeś libarchive od 2018 roku, cała nadzieja nie zostanie utracona! Binarne kompilacje pacman-static są dostępne z osobistego repozytorium Eli Schwartz -> https://wiki.archlinux.org/index.php/Unofficial_user_repositories#eschwartz, podpisanego kluczami Zaufanego użytkownika, za pomocą którego można przeprowadzić aktualizację.

no i info

Cytat

Jako program pakujący automatycznie zaczniesz budować pakiety .pkg.tar.zst, jeśli używasz najnowszej wersji devtools (> = 20191227).
Jako użytkownik końcowy nie jest wymagana ręczna interwencja, zakładając, że przeczytałeś i śledziłeś wpis

Algorytm kompresji zstd zapewnia szybszą kompresję i dekompresję, przy zachowaniu współczynnika kompresji porównywalnego z xz. Przyspieszy to instalację pakietu za pomocą Pacmana, bez dalszych wad.

Nadchodzące wydanie Pacman 5.2 wprowadza narzędzia do budowania z obsługą kompresji pakietów za pomocą ZSTD. Aby zainstalować te pakiety, potrzebujesz libarchive ze wsparciem dla zstd, który wszedł do repozytoriów we wrześniu 2018 roku. Aby skompresowane pakiety zstd były dystrybuowane, wymagamy od wszystkich użytkowników aktualizacji przynajmniej do libarchive 3.3.3-1. Miałeś rok, więc oczekujemy, że już dokonałeś aktualizacji. Pośpiesz się, jeśli nie masz.

Jeśli korzystasz ze skryptów niestandardowych, upewnij się, że nie polegają one na rozszerzeniach plików zapisanych na stałe. Rozszerzenie pliku pakietu ZSTD to .pkg.tar.zst.

to tak w skrócie ;)

pavbaranov · Styczeń 05, 2020, 05:52:58 PM

To nie jest nowy typ pakietów, a jedynie jeden ze standardów kompresji, ot taki jak obecnie używany xz - zob. https://en.wikipedia.org/wiki/Zstandard.
Na "stabilność" nie ma to żadnego wpływu podobnie jak plamy na Słońcu.

funn · Styczeń 05, 2020, 06:19:28 PM

Nie jest to tak, że zstd wykorzystuje wielowątkowość procesora co sprawia, że tu może być wykorzystywany procesor na 100% a tam nie? Jak nie będzie dobrze przetestowany jak xz to porównanie do plam na Słońcu jest nie na miejscu.

pavbaranov · Styczeń 05, 2020, 06:31:08 PM

Chłopie bzdurzysz jak potyrpany. Zip, czy rar jest lepszy? A może xz? Co to ma do rzeczy ze "stabilnością" systemu???
Przetestowany? Jakie to ma znaczenie? To jest jedynie format paczki tar. Ma zostać spakowane, ma zostać pobrane, ma zostać rozpakowane. Proste jak konstrukcja cepa. Tyle.

funn · Styczeń 05, 2020, 06:59:42 PM

Może ty bzdurzysz, ponieważ wiele razy pod nautilusem miałem problemy z rozpakowywaniem niektórych plików zip. Natomiast inne wypakowywałem bez problemu. Czyli stwarza problem który trzeba rozwiązywać w ten sposób, że przy nazwach plików do rozpakowania, musiałem usuwać kropki. Jeden format sobie z tym poradził inny nie w połączeniu z menadżerem plików, których na Linuksie jest kilka. Piszesz, że proste jak budowa cepa, a ja myślałem, że potrzebny jest programista który musi napisać bardziej zaawansowane algorytmy, aby lepiej skompresowały(upakowały) pliki.

LinGruby · Styczeń 05, 2020, 08:37:43 PM

Cytat: funn w Styczeń 05, 2020, 06:59:42 PM
[...]ponieważ wiele razy pod nautilusem miałem problemy z rozpakowywaniem niektórych plików zip. Natomiast inne wypakowywałem bez problemu. [...]

co do .zip

https://pl.wikipedia.org/wiki/ZIP

i tak dodatkowo .rar

https://pl.wikipedia.org/wiki/RAR

oba te kompresory zostały stworzone stricte dla Windows więc się nie dziwię że na Linux zdarzają się problemy jak u Ciebie...

kolejna sprawa od kiedy to rozpakowuje się paczki w menedżerze plików, paczki instaluje się za pomocą

Kod [Zaznacz]

pacman -Syu paczka

i jak wspomniano na stronie Arch dla użytkownika końcowego zmiana niema większego wpływu no chyba że nie zaktualizował z jakiś przyczyn libarchive

więc przyjacielu nie rozszerzaj fanaberii ;)

osobiście nigdy nie miałem problemów z jakimkolwiek rozszerzeniem w kompresji...

dodam jeszcze że ja jak robię swoje paczki to robię

Kod [Zaznacz]



PKGEXT='.pkg.tar'
SRCEXT='.src.tar'

funn · Styczeń 05, 2020, 09:01:57 PM

Gdy napisałem o tym zip i rar to nie miałem na myśli paczki Archa, tylko ogólnie pisałem, że takie problemy z tymi kompresorami występują. To że jednej osobie wszystko działa, to nie znaczy że innej też musi tak działać przy tysiącach różnych konfiguracji. Domyślam się że te problemy z pakietami które miałem, mogły być wynikiem tego, że zostały utworzone na systemie Windows, macOS lub innym systemie. Nie rozszerzam fanaberii, po prostu czytałem komentarze pod tym wpisem na phoronix.

nycko · Styczeń 05, 2020, 10:11:57 PM

Używam od kiedy wprowadzili tą funkcjonalność do pacmana. Żadnych problemów nie zauważyłem.

pavbaranov · Styczeń 06, 2020, 12:25:03 AM

Cytat: funn w Styczeń 05, 2020, 06:59:42 PM
Może ty bzdurzysz, ponieważ wiele razy pod nautilusem miałem problemy z rozpakowywaniem niektórych plików zip. Natomiast inne wypakowywałem bez problemu. Czyli stwarza problem który trzeba rozwiązywać w ten sposób, że przy nazwach plików do rozpakowania, musiałem usuwać kropki. Jeden format sobie z tym poradził inny nie w połączeniu z menadżerem plików, których na Linuksie jest kilka. Piszesz, że proste jak budowa cepa, a ja myślałem, że potrzebny jest programista który musi napisać bardziej zaawansowane algorytmy, aby lepiej skompresowały(upakowały) pliki.

No chyba jednak nie ja bzdurzę. Czy Ty paczki do instalacji w Archu masz w zip, pobierasz je, wypakowujesz w Nautilusie i w ten sposób instalujesz? :D
To o czym piszesz i nie wiadomo po jakiego grzyba ten temat jeszcze jest toczony oznacza, że domyślny format pakowania paczek w Archu zmieni się z *.pkg.tar.xz na *.pkg.tar.zstd. Paczki mają być mniejsze, a ich instalacja szybsza. Co to ma wspólnego ze stabilnością? Ja nie wiem, a Ty musisz sobie odpowiedzieć sam, skoro już tego typu brednie wymyślasz.
TIP: Paczka pacmana ma format *.pkg.tar.*, ważne *.pkg.tar. Może być potem skompresowana w dowolny sposób. Zstd, xz, cokolwiek. To że Tobie jakiś menedżer plików nie działa jako nakładka na jakiś format kompresji nie ma kompletnie nic wspólnego ze stabilnością systemu. Jeśli masz problemy z pakowaniem/rozpakowywaniem *.zip - zgłoś to w GNOME.

funn · Styczeń 06, 2020, 05:14:36 PM

Zauważ, że to ty pierwszy napisałeś o zip i rar i dołączyłeś te formaty do dyskusji. Więc ci tylko odpisałem, że miałem z nimi problem. Zaatakowałeś mnie tak, jak bym strasznie skrytykował dystrybucję Arch Linux. Więc nie rób teraz ze mnie głupca, że to ja nie wiem w jakich paczkach są programy Arch. Nigdzie nie napisałem, że pakiety w Archu tworzy się w zip lub rar.

pavbaranov · Styczeń 06, 2020, 05:40:26 PM

Ale zip, rar, xz, zstd i pier... innych, to jest dokładnie to samo. Paczka dla Archa w ogóle nawet nie musi być kompresowana. I nie chodzi mi o tego zipa. Dałem Ci to jako przykład. Dlaczego akurat wybrano zstd masz opisane tutaj: https://www.archlinux.org/news/now-using-zstandard-instead-of-xz-for-package-compression/. Cała informacja jest zasadniczo dla osób, które tworzą paczki, a nie dla użytkowników (no, chyba, by nie byli zaskoczeni, że ściągnięta paczka ma inne rozszerzenie niż zazwyczaj lub też nie mają zainstalowanego zstd w systemie, albowiem nie zainstalują wówczas paczek w nowym formacie).
Cała dyskusja sprowadza się do próby odpowiedzenia Ci na postawiony przez Ciebie problem zawarty w pytaniu:

Cytat: funn w Styczeń 05, 2020, 05:20:35 PM
Czy nowy typ pakietów w Archu, będzie miał jakiś wpływ na stabilność tej dystrybucji?

na które dostałeś już kilka odpowiedzi. Skoro nie trafia, to raz jeszcze: format kompresji pliku w dowolnej paczce, dowolnej dystrybucji nie ma znaczenia dla stabilności systemu. W przypadku Archa format paczki to pak.tar, a nie pak.tar.cokolwiek, bowiem owe cokolwiek nie ma kompletnego znaczenia dla paczki i jest używane, by starowana paczka Archa była po prostu mniejsza. Przeglądnij sobie plik /etc/makepkg.conf - masz możliwość kompresji w kilku formatach i nie ma to dla pacmana kompletnie znaczenia. Tak samo poradzi sobie z pak.tar, jak z pak.tar.xz, czy pak.tar.gz, czy w końcu z pak.tar.zst.
Zadane przez Ciebie pytanie jest po prostu bez sensu i sprowadza się do następującego: czy format kompresji użyty dla starowanego archiwum paczki Archa ma wpływ na stabilność tej dystrybucji. Innymi słowy, czy roztrząsamy wyższość jednego formatu kompresji od innego. Można nawet i to robić, ale w tym przypadku nie ma to znaczenia, albowiem decyzja została podjęta za nas przez dewów Archa. Podobnie jak to się dzieje w każdej innej dystrybucji. Różnica taka, że w przypadku deb (domyślny archiwizator ar), czy rpm (o ile pamiętam cpio) w przypadku zmiany w ogóle byś tego nie widział i nie zadał takiego pytania.
Dla użytkownika ma to być rozwiązanie lepsze o tyle, że paczki winny być mniejsze, a szybkość ich rozpakowywania (czyli instalacji) wyższa w porównaniu z dotychczasowym xz.

sir_lucjan · Styczeń 08, 2020, 03:25:46 AM

Jeśli ktoś korzysta z zst w makepkg.conf powinien zainteresować się tym:

https://git.archlinux.org/devtools.git/commit/?id=bcda211dd86b3bf54a9bc40d2e19f1aad4bbfbb8

W przeciwnym razie paczki mogą sporo spuchnąć.

Przykład pierwszy z brzegu, paczka git.

1. pkg.tar.xz -> 5.9 MB
2. pkg.tar.zst (przed zmianą) -> 12.6 MB
3. pkg.tar.zst (po zmianie) -> 6.0 MB

Sprawdzone, działa bez problemu.