Изучаем команды Linux: sed

Оригинал: Learning Linux Commands: sed
Автор: Rares Aioanei
Дата публикации: 19 ноября 2011 года
Перевод: А. Кривошей
Дата перевода: июль 2012 г.

Николай Игнатушко проверил на GNU sed version 4.2.1 в дистрибутиве Gentoo все команды, упомянутые в этой статье. Не все скрипты хорошо отрабатывали на версии GNU sed. Но дело касалось мелочей, которые исправлены. Только скрипт по замене hill на mountains пришлось существенно переделать.

1. Введение

Добро пожаловать во вторую часть нашей серии, которая посвящена sed, версии GNU. Существует несколько версий sed, которые доступны на разных платформах, но мы сфокусируемся на GNU sed версии 4.x. Многие из вас слышали о sed, или уже использовали его, скорее всего в качестве инструмента замены. Но это только одно из предназначений sed, и мы постараемся показать вам все аспекты использования этой утилиты. Его название расшифровывается как "Stream EDitor" и слово "stream" (поток) в данном случае может означать файл, канал, или просто stdin. Мы надеемся, что у вас уже есть базовые знания о Linux, а если вы уже работали с регулярными выражениями, или по крайней мере знаете, что это такое, то все для вас будет намного проще. Объем статьи не позволяет включить в нее полное руководство по регулярным выражениям, вместо этого мы озвучим базовые концепции и дадим большое количество примеров использования sed.

2. Установка

Здесь не нужно много рассказывать. Скорее все sed у вас уже установлен, так как он используется различными системными скриптами, а также пользователями Linux, которые хотят повысить эффективность своей работы. Вы можете узнать, какая версия sed у вас установлена, с помощью команды:

$ sed --version

В моей системе эта команда показывает, что у меня установлен GNU sed 4.2.1 плюс дает ссылку на домашнюю страницу программы и другие полезные сведения. Пакет называется "sed" независимо от дистрибутива, кроме Gentoo, где он присутствует неявно.

3. Концепции

Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает "sed", так как словосочетание "потоковый редактор" мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст. Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.

4. Регулярные выражения

Так как команды (скрипты) sed для многих остаются загадкой, мы чувствуем, что наши читатели должны понимать базовые концепции, а не слепо копировать и вставлять команды, значения которых они не понимают. Когда человек хочет понять, что представляют собой регулярные выражения, ключевым словом является "соответствие", или, точнее, "шаблон соответствия". Например, в отчете для своего департамента вы написали имя Nick, обращаясь к сетевому архитектору. Но Nick ушел, а на его место пришел John, поэтому теперь вы должны заменить слово Nick на John. Если файл с отчетом называется report.txt, вы должны выполнить следующую команду:

$ cat report.txt | sed 's/Nick/John/g' > report_new.txt

По умолчанию sed использует stdout, вы можете использовать оператор перенаправления вывода, как показано в примере выше. Это очень простой пример, но мы проиллюстрировали несколько моментов: мы ищем все соответствия шаблону "Nick" и заменяем во всех случаях на "John". Отметим, что sed призводит поиск с учетом регистра, поэтому будьте внимательны и проверьте выходной файл, чтобы убедиться, что все замены были выполнены. Приведенный выше пример можно было записать и так:

$ sed 's/Nick/John/g' report.txt > report_new.txt

Хорошо, скажете вы, но где же здесь регулярные выражения? Да, мы хотели сначала показать пример, а теперь начинается самая интересная часть.
Если вы не уверены, написали ли вы "nick" или "Nick", и хотите предусмотреть оба случая, необходимо использовать команду sed 's/Nick|nick/John/g'. Вертикальная черта имеет значение, которое вы должны знать, если изучали C, то есть ваше выражение будет соответствовать "nick" или "Nick". Как вы увидите ниже, канал может использоваться и другими способами, но смысл остается тот же самый. Другие операторы, широко использующиеся в регулярных выражениях - это "?", который соответствует повторению предшествующего символа ноль или один раз (то есть flavou?r будет соответствовать flavor и flavour), "*" - ноль или более раз, "+" - один или более раз. "^" соответствует началу строки, а "$" - наоборот. Если вы - пользователь vi или vim, многие вещи покажутся вам знакомыми. В конце концов, эти утилиты, вместе с awk и С уходят корнями в ранние дни UNIX. Мы не будем больше говорить на эту тему, так как проще понять значение этих символов на примерах, но вы должны знать, что существуют различные реализации регулярных выражений: POSIX, POSIX Extended, Perl, а также различные реализации нечетких регулярных выражений, гарантирующие вам головную боль.

5. Примеры использования sed

sed 's/Nick/John/g' report.txt

sed 's/Nick\|nick/John/g' report.txt

sed 's/^/        /' file.txt > file_new.txt

sed -n '/Of course/,/attention you pay/p' myfile

sed -n 12,18p file.txt

sed 12,18d file.txt

sed G file.txt 

sed -f script.sed file.txt

sed '5!s/ham/cheese/' file.txt

sed '$d' file.txt

sed -n '/[0-9]\{3\}/p' file.txt

sed '/boom/s/aaa/bb/' file.txt

sed '17,/disk/d' file.txt

echo ONE TWO | sed "s/one/unos/I"

sed 'G;G' file.txt

sed 's/.$//' file.txt

sed 's/^[ \t]*//' file.txt

sed 's/[ \t]*$//' file.txt

sed 's/^[ \t]*//;s/[ \t]*$//' file.txt

sed 's/foo/bar/' file.txt

sed 's/foo/bar/4' file.txt

sed 's/foo/bar/g' file.txt

sed '/baz/s/foo/bar/g' file.txt

sed '/./,/^$/!d' file.txt

sed '/^$/N;/\n$/D' file.txt

sed '/./,$!d' file.txt

sed -e :a -e '/^\n*$/{$d;N;};/\n$/ba' file.txt

sed -e :a -e '/\\$/N; s/\\\n/ /; ta' file.txt

sed -n '/regex/,+5p' file.txt

sed '1~3d' file.txt

sed -n '2~5p' file.txt

sed 's/[Nn]ick/John/g' report.txt

sed -n '/RE/{p;q;}' file.txt

sed '0,/RE/{//d;}' file.txt

sed '0,/RE/s//to_that/' file.txt

sed 's/^[^,]*,/9999,/' file.csv

s/^ *\(.*[^ ]\) *$/|\1|/;
s/" *, */"|/g;
: loop
s/| *\([^",|][^,|]*\) *, */|\1|/g;
s/| *, */||/g;
t loop
s/ *|/|/g;
s/| */|/g;
s/^|\(.*\)|$/\1/;

sed ':a;s/\(^\|[^0-9.]\)\([0-9]\+\)\([0-9]\{3\}\)/\1\2,\3/g;ta' file.txt

sed -r "s/\<(reg|exp)[a-z]+/\U&/g"

sed '1,20 s/Johnson/White/g' file.txt

sed '1,20 !s/Johnson/White/g' file.txt

sed '/from/,/until/ { s/\<red\>/magenta/g; s/<blue\>/cyan/g; }' file.txt

sed '/ENDNOTES:/,$ { s/Schaff/Herzog/g; s/Kraft/Ebbing/g; }' file.txt

sed '/./{H;$!d;};x;/regex/!d' file.txt

sed -e '/./{H;$!d;}' -e 'x;/RE1/!d;/RE2/!d;/RE3/!d' file.txt

sed 's/14"/fourteen inches/g' file.txt

sed 's/\/some\/UNIX\/path/\/a\/new\/path/g' file.txt

sed 's/[a-g]//g' file.txt

sed 's/\(.*\)foo/\1bar/' file.txt

sed '1!G;h;$!d' 

sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'

sed 10q file.txt

sed -e :a -e '$q;N;11,$D;ba' file.txt

sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt

sed '$!N; s/^\(.*\)\n\1$/\1/;t; D' file.txt

sed '$!N;$!D' file.txt

sed -n '$p' file.txt

sed '/regexp/!d' file.txt

sed -n '/regexp/{g;1!p;};h' file.txt

sed -n '/regexp/{n;p;}' file.txt

sed '/pattern/d' file.txt

sed '/./!d' file.txt

sed '/^$/N;/\n$/N;//D' file.txt

sed -n '/^$/{p;h;};/./{x;/./p;}' file.txt

sed '/^$/q'

sed '1,/^$/d'

sed '/^Subject: */!d; s///;q'

sed 's/^/> /'

sed 's/^> //'

sed -e :a -e 's/<[^>]*>//g;/</N;//ba'

 sed '/./{H;$!d;};x;s/\n/={NL}=/g' file.txt\
 | sort | sed '1s/={NL}=//;s/={NL}=/\n/g'

sed 's@/usr/bin@&/local@g' path.txt

sed 's@^.*$@<&>>>@g' path.txt

sed 's/\(\/[^:]*\).*/\1/g' path.txt

sed 's/\([^:]*\).*/\1/' /etc/passwd

echo "Welcome To The Geek Stuff" | sed 's/\(\b[A-Z]\)/\(\1\)/g' 

sed '/./{H;$!d;};x;s/\n/={NL}=/g' file.txt\
 | sed '/END$/s/hills/mountains/g'\
 | sed '1s/={NL}=//;s/={NL}=/\n/g'

sed -e '/^#/d' /etc/services | more

sed '$s@\([^:]*\):\([^:]*\):\([^:]*\)@\3:\2:\1:@g' path.txt

sed '/regex/{x;p;x;}' file.txt

sed '/AAA/!d; /BBB/!d; /CCC/!d' file.txt

sed '/AAA.*BBB.*CCC/!d' file.txt

sed -n '/^.\{65\}/p' file.txt

sed -n '/^.\{65\}/!p' file.txt

sed '/regex/G' file.txt

sed '/regex/{x;p;x;G;}' file.txt

sed = file.txt | sed 'N;s/\n/\t/'

sed -e :a -e 's/^.\{1,78\}$/ &/;ta' file.txt

sed -e :a -e 's/^.\{1,77\}$/ &/;ta' -e 's/\( *\)\1/\1/' file.txt

6. Заключение

Это только часть того, что можно бы было рассказать о sed, но данная серия статей представляет собой скорее практическое руководство, которое, как мы надеемся, поможет вам оценить всю мощь утилит Unix и сделает вашу работу более эффективной.

Примечание:

Александр Панютин прислал письмо, в котором говорит:

CentOS 6; GNU sed 4.2.1
обратите внимание читателей что нельзя делать так
sed '....' file >file,
( и cat file | sed '...' file > file - тоже нельзя ),
но можно вот так
sed -i '.....' file