Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Раздел полезных советов: Скрипт для конвертации архива gz в lzma, auto_tips (ok), 27-Фев-22, (0) [смотреть все] +2 Привер того, как нельзя делать переменные без кавычек, вызов внешних программ с, ABATAPA (ok), 18:44 , 27-Фев-22, (1) +15 соглашусь с предыдущим оратором Автор, вбей свой скрипт в shellcheck что за зад, Аноним (2), 20:45 , 28-Фев-22, (2) +7 // там в шебанге -- bin sh , нет никакого pipefail какой такой шопт его тоже нет, Омомо (?), 22:25 , 03-Мрт-22, (9) +1 // однако set -e есть есть такие потребители смузей, что линкуют жырный bash на , john_erohin (?), 07:46 , 04-Мрт-22, (11) +2 // Не знаю, как в gentoo, но в calculate по дефолту А может и в gentoo тоже , ммнюмнюмус (?), 02:30 , 29-Мрт-22, (21) А ещё у bash конвейеры передают быстрее, чем внезапно тот же dash, сам мерял , ммнюмнюмус (?), 22:08 , 19-Апр-22, (42) Пытаться сделать что-то с POSIX-шеллом сложнее hello world 8212 бесполезная т, Аноним (29), 05:56 , 03-Апр-22, (29) –1 // на чистом bin sh - да, возможно но зачем, если есть grep, sed и awk , john_erohin (?), 05:50 , 06-Апр-22, (30) Если что-то трудно изобразить на чистом шелле, то на баше получится урод еще пок, Аноним (34), 03:31 , 07-Апр-22, (34) которые к тому же могут быть не совместимыми между версиями, OpenEcho (?), 19:24 , 25-Фев-23, (54) Так и запишем, - не одолел На чистом шеле стандартных утилитах типа sed, a, OpenEcho (?), 19:28 , 25-Фев-23, (55) я хочу перепаковать накопилось всякого в tar gz, CPU и память есть в дальнейшем, john_erohin (?), 21:43 , 28-Фев-22, (3) –4   // echo не надежен, т к не дает универсального интерфейса для вывода самых разных, Аноним (2), 07:55 , 01-Мрт-22, (4) +4   // Например, выведи мне строку -n echo -e b-n , pavlinux (ok), 11:59 , 26-Мрт-22, (17)   // А если переносимо, чтоб и на bash и на dash Например, dash выдаст -e-nВ стандар, ммнюмнюмус (?), 02:38 , 29-Мрт-22, (22)   SHELL dash then SHELL bash then SHELL mash then SH, pavlinux (ok), 12:24 , 29-Мрт-22, (23) +1   Кажется, вы предлагали echo для компактности Все, гуляй компактность Прямо пере, ммнюмнюмус (?), 22:50 , 31-Мрт-22, (24)   echo - -n, echomaster (?), 20:58 , 07-Май-22, (47)   Я что то не понял, а в чем проблема echo -n -n , OpenEcho (?), 19:35 , 25-Фев-23, (56)   zcat in tar gz 124 lzma out tar xzИспользования неименованного канала коман, Аноним (6), 20:03 , 02-Мрт-22, (6) +4   // zcat in tar gz 124 lzma out tar lzma, Аноним (6), 20:04 , 02-Мрт-22, (7)   // не все так хорошо от использования cpulimit в tar gz появился концевой мусор,поэ, john_erohin (?), 07:55 , 04-Мрт-22, (12) –1   А зачем вот это все , OpenEcho (?), 23:17 , 25-Фев-23, (57)   А скрипт просто ужасен Переменные без кавычек после rm и mv - верный путь удали, Аноним (6), 20:09 , 02-Мрт-22, (8) +3   // Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками Есл, Аноним (34), 03:19 , 07-Апр-22, (33) –1   // Из каких конструкций можно понять, что переменная действительно проверяется до m, Аноним (36), 12:23 , 13-Апр-22, (36)   Дешёвые понты Засирать - это как раз про такой говнокод, в котором нужно пост, Аноним (46), 15:26 , 28-Апр-22, (46) +1   Значит вы еще не наступали на грабли, иначе бы знали почему шелчек ругается на б, OpenEcho (?), 23:22 , 25-Фев-23, (58)   Но зачем в устаревший lzma, а не в xz , Аноним (14), 15:59 , 22-Мрт-22, (14)   // по результатам тестов у lzma лучше результаты на этой коллекции , john_erohin (?), 13:20 , 26-Мрт-22, (18)   // zstd пробовали , Werwolf (ok), 12:24 , 04-Окт-22, (53)   Хорош, но очень уж голоден до памяти, S2 не хуже, быстрей и жрет памяти меньше, OpenEcho (?), 23:27 , 25-Фев-23, (59)   Мы всегда когда-то только учились , Аноним (5), 12:07 , 02-Мрт-22, (5) +2 не нужно этот ваш шелл нечитаемый пишите на нормальных языках я не знаю ст, Омомо (?), 22:31 , 03-Мрт-22, (10) // Выглядит как сарказм, зачем это минусовать , ммнюмнюмус (?), 23:34 , 31-Мрт-22, (25) +2 Одно дело написать скриптец, чтобы он за вечерок перелопатил что-то, или за выхо, i (??), 01:29 , 09-Мрт-22, (13) // А чего тут муторного PIDFILE run myscript pid if -f PIDFILE then , Pavel (??), 16:04 , 23-Мрт-22, (15) // Если на полную катушку, то у шеллов не только bash должны быть стандартные пут, ммнюмнюмус (?), 23:37 , 31-Мрт-22, (26) // Так это делают source папка файлТолько тогда необходимость учитывать в каждый , Аноним (36), 12:40 , 13-Апр-22, (37) А это точно есть в posix posix-мануал для set про это ни слова про опцию -e , д, ммнюмнюмус (?), 16:16 , 17-Апр-22, (39) -o pipefail тоже не по posix, ммнюмнюмус (?), 16:32 , 17-Апр-22, (40) То же самое, но чуть более читаемоPIDFILE run myscript pid if -f PIDFIL, ммнюмнюмус (?), 23:51 , 31-Мрт-22, (28) Вроде бы есть утилитка, которая нечто подобное реализует , Аноним (34), 03:06 , 07-Апр-22, (32) LZMA было модно лет 15 назад, ща ZSTD в тренде https github com facebook zst, pavlinux (ok), 11:45 , 26-Мрт-22, (16) +1 // S2 ИМХО значительно, лучше, OpenEcho (?), 23:34 , 25-Фев-23, (60) Дедовские методы и особо без гарантий mount -t cgroup -o all cgroup sys fs cg, pavlinux (ok), 18:30 , 26-Мрт-22, (19) // Смузи выпил , AntiSmoozer (?), 00:13 , 11-Апр-22, (35) Так ведь у автора зато без sudo , Аноним (36), 12:43 , 13-Апр-22, (38) // Афтор - чайник, у него usr bin nice -19 , он наверное не в курсе, что МИНУС 19, pavlinux (ok), 11:30 , 25-Апр-22, (43) // тонко я даже начал сомневаться в себе но потом проверил 0 есть builtin nice в, john_erohin (?), 21:55 , 12-Май-22, (48) Косяк это шелов и окружений env , если nice -19 exec у тебя показывает наименьш, pavlinux (ok), 17:07 , 21-Май-22, (49) отказать чтобы работало везде надо вызывать usr bin nice именно так как написа, john_erohin (?), 22:17 , 10-Июн-22, (50) Угу, у меня такое-же мнение, OpenEcho (?), 23:37 , 25-Фев-23, (61) Скрипт прочтения man gz lzma bash, Ano (?), 17:04 , 18-Апр-22, (41) code bin bash перед стартом проверить наличие find, file, rename, stat, c, pavlinux (ok), 12:23 , 25-Апр-22, (44) // case env LC_ALL C file --mime-type --brief -- i in application gzip c, Аноним (46), 15:18 , 28-Апр-22, (45) src file --verfile-5 33magic file from etc magic usr share misc magic , другой Аноним (?), 14:02 , 25-Июн-22, (51) // Я тож считают, что за время гемора в разработке этого скрипта, можно было зарабо, pavlinux (ok), 19:12 , 20-Июл-22, (52) С этим можно хорошенько нарваться если в директории будет очень много файлов, т , OpenEcho (?), 23:40 , 25-Фев-23, (62) 1,2,3,5,10,13,16,19,41,44

Сообщения

[Сортировка по времени | RSS]

3. "Скрипт для конвертации архива gz в lzma"	–4 +/–
Сообщение от john_erohin (?), 28-Фев-22, 21:43
> что за задачка такая странная? Зачем это вообще нужно? я хочу перепаковать. накопилось всякого в tar.gz, CPU и память есть. в дальнейшем переведу упаковку логов в lzma. >> echo > printf отказать. снижает читаемость. > Зачем весь скрипт помещать внутрь гигантского ифа? "структурное програмирование". слыхали про такую парадигму ? > зачем универсальному кросс-дистровому скрипту linux only. существенно используется https://www.opennet.dev/tips/3187_idle_cpulimit_limit_process... > почему ошибки идут в stdout, а не в stderr? справделиво. я исправлю это. > где стандартная преамбула, врубающая строгий режим? в dash этого нет. и наконец: > > CopyLeft (L) > Что за лицензия такая? как копирайт, только наоборот. google it.
Ответить | Правка | Наверх | Cообщить модератору

	4. "Скрипт для конвертации архива gz в lzma"	+4 +/–
	Сообщение от Аноним (2), 01-Мрт-22, 07:55
	> отказать. снижает читаемость echo не надежен, т. к. не дает универсального интерфейса для вывода самых разных строк. Например, выведи мне строку "-n". Вот попробуй сам: echo -n > "структурное програмирование". слыхали про такую парадигму ? если весь код оформлять чисто структурно, то он быстро перейдет в трудноподдерживаемое состояние. Вместо этого следует использовать контрактное программирование, при котором все предусловия проверяются еще до начала работы. (Забудем на минуту, что конкретно в этом скрипте предусловия проверять вообще не надо -- пусть падает вызываемая прога.) > linux only че за рандомная ссылка? как она отвечает на мой вопрос? > в dash этого нет. Ну а в каких шеллах ты вообще проверял свой скрипт, раз хочешь "кросс-шелловость"? bash? csh? zsh? ash? fish? > как копирайт, только наоборот. google it. нет такой лицензии "копирайт". Нет такой лицензии "копилефт". google it: https://choosealicense.com/
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от pavlinux (ok), 26-Мрт-22, 11:59
	Например, выведи мне строку "-n". echo -e  '\b-n'
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от ммнюмнюмус (?), 29-Мрт-22, 02:38
	> Например, выведи мне строку "-n". > echo -e  '\b-n' А если переносимо, чтоб и на bash и на dash? Например, dash выдаст: -e-n В стандарте на posix shell вообще нет echo. printf '%s' "строка"  # Вполне читаемо
	Ответить | Правка | Наверх | Cообщить модератору

	23. "Скрипт для конвертации архива gz в lzma"	+1 +/–
	Сообщение от pavlinux (ok), 29-Мрт-22, 12:24
	>> Например, выведи мне строку "-n". >> echo -e  '\b-n' > А если переносимо, чтоб и на bash и на dash? [ $SHELL == "dash" ] then [ $SHELL == "bash" ] then [ $SHELL == "mash" ] then [ $SHELL == "sash" ] then > Например, dash выдаст: -e-n On XSI-conformant systems, if the first operand is -n, it shall be treated as a string, not an option. The following character sequences shall be recognized on XSI-conformant systems within any of the arguments: Так что, это ты пишешь не по стандарту, а не echo плохое.  :D > В стандарте на posix shell вообще нет echo. The Open Group Base Specifications Issue 7, 2018 edition IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) Copyright © 2001-2018 IEEE and The Open Group https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/
	Ответить | Правка | Наверх | Cообщить модератору

	24. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от ммнюмнюмус (?), 31-Мрт-22, 22:50
	>>> Например, выведи мне строку "-n". >>> echo -e  '\b-n' >> А если переносимо, чтоб и на bash и на dash? > [ $SHELL == "dash" ] then > [ $SHELL == "bash" ] then > [ $SHELL == "mash" ] then > [ $SHELL == "sash" ] then Кажется, вы предлагали echo для компактности. Все, гуляй компактность. >> Например, dash выдаст: -e-n > On XSI-conformant systems, if the first operand is -n, it shall be > treated as a string, > not an option. The following character sequences shall be recognized on XSI-conformant > systems within any of the arguments: Прямо перед этим: > If the first operand is -n, or if any of the operands contain a <backslash> character, the results are implementation-defined. =============== > Так что, это ты пишешь не по стандарту, а не echo плохое. >  :D printf един, а у echo >APPLICATION USAGE > It is not possible to use echo portably across all POSIX systems unless both -n (as the first argument) and escape sequences are omitted. > The printf utility can be used portably to emulate any of the traditional behaviors of the echo utility as follows (assuming that IFS has its standard value or is unset): ================ >> В стандарте на posix shell вообще нет echo. > The Open Group Base Specifications Issue 7, 2018 edition > IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) > Copyright © 2001-2018 IEEE and The Open Group > https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/ Ну тогда уж сюда, а то еще раздел "Command language" искать. https://pubs.opengroup.org/onlinepubs/9699919799.2018edition... И то - сам стандарт прямо говорит, что переносимость у echo так себе. Вот делать нечего, как зачитывать все эти имена вместо одной строчки printf. Не та цель.
	Ответить | Правка | Наверх | Cообщить модератору

	47. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от echomaster (?), 07-Май-22, 20:58
	echo - -n
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	56. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 19:35
	> разных строк. Например, выведи мне строку "-n". Вот попробуй сам: echo -n Я что то не понял, а в чем проблема? echo -n '-n'
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	6. "Скрипт для конвертации архива gz в lzma"	+4 +/–
	Сообщение от Аноним (6), 02-Мрт-22, 20:03
	> хочу перепаковать .. в lzma zcat in.tar.gz | lzma > out.tar.xz Использования неименованного канала командной оболочки предотвращает передачу метаданных сжатого файла tar-архива. Но метаданные файлов внутри tar-архива хранятся в самом tar-архиве и сохраняются, он вообще не распаковывается. Так как и gzip, и xz (lzma) умеют сжимать только один файл, имеет смысл использовать их только в связке с tar, который обеспечит сохранность метаданных.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	7. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (6), 02-Мрт-22, 20:04
	zcat in.tar.gz | lzma > out.tar.lzma
	Ответить | Правка | Наверх | Cообщить модератору

	12. "Скрипт для конвертации архива gz в lzma"	–1 +/–
	Сообщение от john_erohin (?), 04-Мрт-22, 07:55
	> zcat in.tar.gz | lzma > out.tar.lzma не все так хорошо. от использования cpulimit в tar.gz появился концевой мусор, поэтому придеься усложнить проверку: GZT=`mktemp` /usr/bin/eatmydata -- \   /usr/bin/nice -19 \    /usr/bin/chrt --idle 0 \     /usr/bin/ionice -c 3 \       gzip -vt $F.gz > $GZT 2>&1   RC=$?   if [ $RC -ge 1 ]; then     grep -q "decompression OK, trailing garbage ignored" $GZT     if [ $? -eq 0 ]; then       RC=0     else       echo error $RC in $F.gz : integrity test failed       rm $GZT       exit $RC     fi   fi
	Ответить | Правка | Наверх | Cообщить модератору

	57. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 23:17
	А зачем вот это все? >  /usr/bin/eatmydata -- \ >   /usr/bin/nice -19 \ >    /usr/bin/chrt --idle 0 \ >     /usr/bin/ionice -c 3 \
	Ответить | Правка | Наверх | Cообщить модератору

	8. "Скрипт для конвертации архива gz в lzma"	+3 +/–
	Сообщение от Аноним (6), 02-Мрт-22, 20:09
	А скрипт просто ужасен. Переменные без кавычек после rm и mv - верный путь удалить себе ноги или переместить их вместо рук. Надо так: mv -v -- "$F" rm -v -- "$F"
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	33. "Скрипт для конвертации архива gz в lzma"	–1 +/–
	Сообщение от Аноним (34), 07-Апр-22, 03:19
	Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками. Если что-то такое с пробелами в $F подсунуть, иф упадет. У вас просто догма - нужно все обкавычивать, как бы чего не вышло.
	Ответить | Правка | Наверх | Cообщить модератору

	36. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (36), 13-Апр-22, 12:23
	Из каких конструкций можно понять, что переменная действительно проверяется до mv и rm? Неочевидно и неизвестно никому через два месяца. Без кавычек при вносе изменений придётся каждый раз, каждый раз, перечитывать всё, убеждаясь и разыскивая, что переменная проверяется до mv и rm. Это трата времени и внимания. Подход с кавычками не требует анализировать весь скрипт каждый раз. (Но, этот шелл такой шелл, что чтобы окавычивать и не перечитывать всё каждый раз с нуля, нужно окавычивать вообще всё всегда или сохраняется необходимость перечитки кода при вносе изменения. Такая магия развёртки переменных в кавычках и без, более-менее однозначность только если вообще всегда в кавычках. А иначе - тоже вчитываться надо опытному магу.) Потому кавычки упрощают в долгосрочной перспективе. P.S. В Шелле нет хорошего способа программировать. Инструмент для другого. Инструмент админа для интеграции/связи утилит, написанных на богатых инструментами и средствами программирования языках.
	Ответить | Правка | Наверх | Cообщить модератору

	46. "Скрипт для конвертации архива gz в lzma"	+1 +/–
	Сообщение от Аноним (46), 28-Апр-22, 15:26
	> Переменная проверяется до mv и rm, смысла нет засирать кавычками и флажками. Дешёвые понты. "Засирать" - это как раз про такой говнокод, в котором нужно постоянно разбираться, что за чем проверялось. А двойные кавычки и EoO спасут ещё не один системный корень.
	Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

	58. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 23:22
	> У вас просто догма - нужно все обкавычивать, как бы чего не вышло. Значит вы еще не наступали на грабли, иначе бы знали почему шелчек ругается на безковычковые переменные
	Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

	14. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Аноним (14), 22-Мрт-22, 15:59
	Но зачем в устаревший lzma, а не в xz?
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	18. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от john_erohin (?), 26-Мрт-22, 13:20
	> Но зачем в устаревший lzma, а не в xz? по результатам тестов. у lzma лучше результаты на этой коллекции.
	Ответить | Правка | Наверх | Cообщить модератору

	53. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от Werwolf (ok), 04-Окт-22, 12:24
	zstd пробовали?
	Ответить | Правка | Наверх | Cообщить модератору

	59. "Скрипт для конвертации архива gz в lzma"	+/–
	Сообщение от OpenEcho (?), 25-Фев-23, 23:27
	> zstd пробовали? Хорош, но очень уж голоден до памяти, S2 не хуже, быстрей и жрет памяти меньше
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема