Команда sed – это потоковый редактор текста, работающий по принципу замены. Его можно использовать для поиска, вставки, замены и удаления фрагментов. Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил.
Команда sed в Linux
Сначала рассмотрим синтаксис команды:
$ sedопции-e командыфайл
А вот её основные опции:
- -n, –quiet – не выводить содержимое буфера шаблона в конце каждой итерации;
- -e – команды, которые надо выполнить для редактирования;
- -f – прочитать команды редактирования из файла;
- -i – сделать резервную копию файла перед редактированием;
- -l – указать свою длину строки;
- -r – включить поддержку расширенного синтаксиса регулярных выражений;
- -s – если передано несколько файлов, рассматривать их как отдельные потоки, а не как один длинный.
Установка
Здесь не нужно много рассказывать. Скорее все sed у вас уже установлен, так как он используется различными системными скриптами, а также пользователями Linux, которые хотят повысить эффективность своей работы. Вы можете узнать, какая версия sed у вас установлена, с помощью команды:
$ sed –version
В моей системе эта команда показывает, что у меня установлен GNU sed 4.2.1 плюс дает ссылку на домашнюю страницу программы и другие полезные сведения. Пакет называется “sed” независимо от дистрибутива, кроме Gentoo, где он присутствует неявно.
Концепции
Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает “sed”, так как словосочетание “потоковый редактор” мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст. Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.
Как работает sed
Теперь нужно понять как работает команда sed. У утилиты есть два буфера, это активный буфер шаблона и дополнительный буфер. Оба изначально пусты. Программа выполняет заданные условия для каждой строки в переданном ей файле.
sed читает одну строку, удаляет из неё все завершающие символы и символы новой строки и помещает её в буфер шаблона. Затем выполняются переданные в параметрах команды, с каждой командой может быть связан адрес, это своего рода условие и команда выполняется только если подходит условие.
Когда всё команды будут выполнены и не указана опция -n, содержимое буфера шаблона выводится в стандартный поток вывода перед этим добавляется обратно символ перевода строки. если он был удален. Затем запускается новая итерация цикла для следующей строки.
Если не используются специальные команды, например, D, то после завершения одной итерации цикла содержимое буфера шаблона удаляется. Однако содержимое предыдущей строки хранится в дополнительном буфере и его можно использовать.
Адреса sed
Каждой команде можно передать адрес, который будет указывать на строки, для которых она будет выполнена:
- номер – позволяет указать номер строки, в которой надо выполнять команду;
- первая~шаг – команда будет выполняется для указанной в первой части сроки, а затем для всех с указанным шагом;
- $ – последняя строка в файле;
- /регулярное_выражение/ – любая строка, которая подходит по регулярному выражению. Модификатор l указывает, что регулярное выражение должно быть не чувствительным к регистру;
- номер, номер – начиная от строки из первой части и заканчивая строкой из второй части;
- номер, /регулярное_выражение/ – начиная от сроки из первой части и до сроки, которая будет соответствовать регулярному выражению;
- номер, +количество – начиная от номера строки указанного в первой части и еще плюс количество строк после него;
- номер, ~число – начиная от строки номер и до строки номер которой будет кратный числу.
Если для команды не был задан адрес, то она будет выполнена для всех строк. Если передан один адрес, команда будет выполнена только для строки по этому адресу. Также можно передать диапазон адресов. Тогда адреса разделяются запятой и команда будет выполнена для всех адресов диапазона.
Синтаксис
Синтаксис данной утилиты не отличается сложностью. Он представлен в виде:
sed [параметры] [команды] (файл)
Первоначально необходимо изучить основные параметры, которые поддерживает команда:
- «-n» – дает возможность не выводить содержимое, присутствующее в буфере шаблона после каждой итерации.
- «-e» – позволяет выполнить команды, которые необходимы для редактирования текста.
- «-f» – дает возможность прочесть команды, которые были использованы при изменении файла.
- «-l». Опция позволяет указать требуемую длину строки.
- «-r». Опция применяется для включения поддержки синтаксиса расширенного типа, распространяющегося на активно используемые выражения.
- «-i». Функция предназначена для создания копии файла (в резерве) перед тем, как он будет отредактирован.
- «-s». Опция позволяет изучить несколько файлов единовременно. Они будут просмотрены не как длинные потоки, а как отдельные.
Чтобы выполнить несколько действий, используется аргумент “-e”.
sed -e [команды] (файл)
Первоначально кажется, что данная утилита очень сложная. На самом деле это не так, ей сможет пользоваться даже новичок в сфере программирования.
Стоит отметить, что данная утилита имеет два отдельно обособленных буфера – это основной и вспомогательный буфер (активного и пассивного плана). Первоначально они абсолютно пусты. Специальная программа передает предварительно определенные условия для всех строк передаваемого файла.
Первоначально программа «sed» изучает одну строку. Из нее удаляются все завершающие данные, а также символы, присутствующие в новой строке. Обрабатываемая стока помещается в главный буфер.
Далее выполняются команды, которые были переданы пользователем в параметрах. За каждой определенной командой закрепляется адрес. Он используется в качестве своеобразного условия. Команда пройдет лишь в том случае, если данное условие будет соблюдено.
После выполнения всех предписанных команд, содержимое буфера шаблона попадает в классический поток вывода. Это происходит в том случае, если предварительно не была указана функция «-n», которая ограничивает вывод содержимого.
Когда символ перевода изначально был удален, он добавляется обратно. Только после этого запускается следующая интерпретация, подразумевающая обработку новой строки.
Когда пользователь не планирует использование специальных команд, после завершения первой интерпретации все содержимое основного буфера будет удалено. Стоит отметить, что содержимое, которое относится к первоначально обработанной строке, сохраняется во вспомогательном буфере. Его применяют в дальнейшем при осуществлении задач.
Особенности адресов, предающихся утилите «sed»
Все команды получают свой адрес. Именно он указывает на строки, для которых выполняется команда:
- «номер». В данном случае прописывается номер определенной строки, где в последующем будет выполняться команда.
- «первая~шаг». Здесь команда выполняется для изначальной части строки, а далее – для всех остальных. В обязательном порядке указывается шаг.
- «$». Обрабатывается последняя строка, которая относится к выбранному вами файлу.
- «/часто используемое_выражение/». Здесь используется любая строка, подходящая по регулярному выражению. Оно не должно зависеть от особенностей регистра.
- «номер, номер». Обработка начинается с начала первой строки, а заканчивается концом второй строки.
- «номер,/регулярное_выражение/». Обработка начинается с первоначальной строки, заканчивается в той, которая соответствует информации в часто используемых фразах.
- «номер+количество». Обработка начинается с верхней строки, длится до той поры, пока не будет исчерпано предварительно указанное число строк.
- «номер~число». Обработка начинается со строки с определенным номеров. Она заканчивается той строкой, которая кратна определенному числовому обозначению.
Когда пользователь не желает задавать определенный адрес для программы «sed», она распространяется на все строки в файле. Если передается один адрес, команда выполняется до той строки, которая расположена по указанному адресу.
Есть возможность передавать диапазон адресов. Информация разделяется запятыми, а команда осуществляется для тех адресов, которые находятся в требуемом диапазоне.
Использование специальных символов:
Можно использовать спецсимволы:
^ – начало строки
$ – конец строки
. – обозначение одного символа
Полный набор не ограничен только этими тремя. Sed прекрасно понимает регулярные выражения (regular expressions).
Следующая команда заменит root на Admin в тех строках, которые начинаются с user:
sed ‘/^user/s/root/Admin/g’ имя_файла
Следующая команда заменит root на Admin в тех строках, которые заканчиваются словом data:
sed ‘/data$/s/root/Admin/g’ имя_файла
В том, случае если Вам нужно использовать какой-либо спецсимвол в sed ( $, ^, /, пробел, точка, ‘, и т.д.) его нужно экранировать с помощью .
С помощью следующей конструкции слово root с пробелом после него будет заменено на Admin с двоеточием:
sed ‘s/root /Admin:/g’ имя_файла
| В случае использования символа |
(pipe) в качестве разделителя спецсимволы экранировать не нужно, но при этом регулярные выражения работать не будут |
sed ‘s|root |Admin:|g’ имя_файла
Регулярные выражения
Убрать все цыфры из вывода:
sed ‘s/[0-9][0-9]//g’
Продублировать отсеченное значение:
sed ‘s/root/& &/g’
Попробуйте выполнить:
echo`123 abc` | sed ‘s/[0-9][0-9]*/&-&/’
Регулярное выражение [0-9]* определят 0 или больше цыфр.
Регулярное выражение [0-9][0-9]* определят 1 или больше цыфр.
Если Вам нужно использовать первое слово из строки текста – обзначьте его экранированой цыфрой:
sed ‘s/([a-z]*).*/1/’
Проверьте сами:
echo’abcd qwer zxc 123’| sed ‘s/([a-z]*).*/1/’
Для того что бы поменять местами первое и второе слово – воспользуйтесь следующей конструкцией:
sed ‘s/([a-z]*) ([a-z]*)/2 1/’
Пробел в левой части выражения может быть заменен на любой другой разделитель.
Для теста:
echo’abcd qwer zxc 123’| sed -r’s/([a-z]+) ([a-z]+)/2 1/’
и
echo’abcd_qwer_zxc_123’| sed -r’s/([a-z]+)_([a-z]+)/2**_**1/’echo’abcd_qwer_zxc_123’| sed -r’s/([a-z]+)**_**([a-z]+)/2 1/’
Замена текства между двумя словами:
sed -ure’s/**word1**.+?**word2**/**word1** замена **word2**/g’-i файл
Использование переменных в выражениях sed
При написании bash скриптов мы используем переменные. Иногда возникает необходимость использовать эти переменные в выражениях sed.
Самый простой подход – использование двойных кавычек для обертки выражения:
sed ‘s/$var1/$var2/g’
Двойные кавычки не сработают, есть в $var1 или $var2 присутвствуют спецсимволы. Лучше всего – исключать переменные из обертки:
sed ‘s/”$var1”/”$var2”/g’
Основные команды Sed
Для того чтобы применить SED достаточно ввести в командную строку
echo ice | sed s/ice/fire/
Результат:
fire
Замена слова в файле
Обычно SED применяют к файлам, например к логам или конфигам.
Предположим, что у нас есть файл input.txt следующего содержания
Here is a StringHere is an IntegerHere is a Float
Мы хотим заменить слово Here на There
sed ‘s/Here/There/’ input.txt
Результат будет выведен в консоль:
There is a String
There is an Integer
There is a Float
Если нужно не вывести в консоль а изменить содержание файла – используем опцию -i
sed -i ‘s/Here/There/’ input.txt
В этом случае перепишется исходный файл input.txt
Рассмотрим пример посложнее. Файл input.txt теперь выглядит так:
Here is an Apple. Here is a Pen. Here is an ApplePenInteger is HereHere is a FloatHere is a Pen. Here is a Pineapple. Here is a PineapplePen
sed ‘s/Here/There/’ input.txt
Как Вы сейчас увидите, замена произойдёт только по одному разу в строке
There is an Apple. Here is a Pen. Here is an ApplePen
Integer is There
There is a Float
There is a Pen. Here is a Pineapple. Here is a PineapplePen
Чтобы заменить все слова нужна опция g
sed ‘s/Here/There/g’ input.txt
There is an Apple. There is a Pen. There is an ApplePen
Integer is There
There is a Float
There is a Pen. There is a Pineapple. There is a PineapplePen
Замена слова в файле и вывод результата в другой файл
Та же замена, но с выводом в новый текстовый файл, который мы назовём output:
sed ‘s/Here/There/’ input.txt > output.txt
Замена слова в нескольких файлах одновременно
Если нужно обработать сразу несколько файлов: например файл 1.txt с содержанием
First File: Here
И файл 2.txt с содержанием
Second File: Here
Это можно сделать используя *.txt
sed ‘s/Here/There/’ *.txt > output.txt
На выходе файл output.txt будет выглядеть так
First File: ThereSecond File: There
Отбросить всё, что левее определённого слова
Предположим, что у нас есть файл input.txt следующего содержания
Here is a String it has a NameHere is an Integer it has a NameHere is a Float it has a Name
Мы хотим отбросить всё, что находится левее слова it, включая слово it, и записать в файл.
sed ‘s/^.*it//’ input.txt > output.txt
^ означает, что мы стартуем с начала строки Результат:
has a Name
has a Name
has a Name
Для доступности объясню синтаксис сравнив две команды. Посмотрите внимательно, когда мы заменяем слово Here на There.
There находится между двумя слэшами. Раскрашу их для наглядности в зелёный и красный.
sed ‘s/Here/There/‘
А когда мы хотим удалить что-то, мы сначала описываем, что мы хотим удалить. Например, всё от начала строки до слова it.
Теперь в правой части условия, где раньше была величина на замену, мы ничего не пишем, т.е. заменяем на пустое место. Надеюсь, логика понятна.
sed ‘s/^.*it//‘ > output.txt
Отбросить всё, что правее определённого слова
Предположим, что у нас есть файл input.txt следующего содержания
Here is a String / it has a NameHere is an Integer / it has a NameHere is a Float / it has a Name
Мы хотим отбросить всё, что находится правее слова is, включая слово is, и записать в файл.
sed ‘s/is.*//’ > output.txt
Результат:
HereHereHere
Экранирование символов в sed
Специальные символы экранируются с помощью
Предположим, что у нас есть файл input.txt следующего содержания
Here is a String / it has a NameHere is an Integer / it has a NameHere is a Float it / has a Name
Мы хотим отбросить всё, что находится левее /a, включая /a, и записать в файл.
sed ‘s/^.*/a//’ > output.txt
В результате получим ошибку
-e expression #1, char 15: unknown option to `s’
Чтобы команда заработала нужно добавить перед /
sed ‘s/^.*/a//’ > output.txt
Результат:
Here is a StringHere is an IntegerHere is a Float
Два условия одновременно в Sed
Предположим, что у нас есть файл input.txt следующего содержания
Here is a String /b it has a NameHere is an Integer /b it has a NameHere is a Float /b it has a Name
Мы хотим отбросить всё, что находится левее /b, включая /b, и всё, что правее has.
Таким образом, в каждой строчке должно остаться только слово it.
Нужно учесть необходимость экранирования специального символа / а также мы хотим направить вывод в файл.
sed ‘s/^.*/b// s/has.*//’ input.txt > output.txt
Результат:
ititit
Удаление переходов на новую строку
sed ‘:a;N;$!ba;s/n//g’ file
Удалить всё после определённой строки
Допустим Вы хотите удалить все строки после третьей
sed 3q input.txt > output.txt
Удаление текста
Можно легко удалить текст, который мы выводили в предыдущем примере, заменив команду “p” на команду “d”. Команда «-n» нам больше не нужна, потому что при использовании команды удаления утилита выводит все, что не удалено. Это позволяет нам видеть, что происходит. Изменим последнюю команду из предыдущего раздела так, чтобы она удаляла все нечетные строки, начиная с первой. В результате мы должны получить все строки, которые не были выведены в прошлый раз.
sed ‘1~2d’ BSD All rights reserved. Redistribution and use in source and binary forms, with or without are met: notice, this list of conditions and the following disclaimer. notice, this list of conditions and the following disclaimer in the 3. Neither the name of the University nor the names of its contributors without specific prior written permission. . . . . . .
При этом исходный файл не меняется. Результаты редактирования просто выводятся на экран. Если результат нужно сохранить, можно перенаправить стандартный вывод в файл:
sed ‘1~2d’ BSD > everyother.txt
Открыв этот файл командой cat, мы увидим тот же результат, который был на экране после выполнения предыдущей команды. По умолчанию sed не редактирует исходный файл в целях безопасности. Это можно изменить при помощи опции «-i», которая означает редактирование на месте. Исходный файл будет изменен. Давайте попробуем отредактировать только что созданный нами файл «everyother.txt». Снова удалим все нечетные строки:
sed -i ‘1~2d’ everyother.txt
При помощи cat можно убедиться, что файл был отредактирован.
Опция “-i” может быть опасной, но утилита предоставляет возможность создания резервной копии перед редактированием. Для этого сразу после опции “-i” укажите расширение резервной копии “.bak”:
sed -i.bak ‘1~2d’ everyother.txt
Будет создан файл резервной копии с расширением “bak”, а затем выполнено редактирование исходного файла.
Замена текста
Чаще всего sed используется для замены текста. Редактор позволяет осуществлять поиск текста по шаблону при помощи регулярных выражений. А затем заменять найденный текст. В простейшем варианте можно заменить одно слово на другое, используя следующий синтаксис:
‘s/старое_слово/новое_слово/’
Параметр «s» – это команда замены. Три слэша (/) нужны для разделения различных текстовых полей. Если вам удобно, вы можете использовать для этого другие символы. Например, если нам нужно изменить имя веб-сайта, удобнее использовать другой разделитель, так как URL содержат слэши. Воспользуемся командой echo для передачи примера:
echo “http://www.example.com/index.html” | sed ‘s_com/index_org/home_’ http://www.example.org/home.html
Здесь секция «com/index» заменяется на «org/home». В качестве разделителя используется нижнее подчеркивание «_». Не забудьте про последний разделитель, иначе sed выдаст ошибку.
echo “http://www.example.com/index.html” | sed ‘s_com/index_org/home’ sed: -e expression #1, char 22: unterminated `s’ command
Создадим файл для отработки замен:
echo “this is the song that never ends yes, it goes on and on, my friend some people started singing it not knowing what it was and they’ll continue singing it forever just because…” > annoying.txt
Теперь заменим «on» на «forward»
sed ‘s/on/forward/’ annoying.txt this is the sforwardg that never ends yes, it goes forward and on, my friend some people started singing it not knowing what it was and they’ll cforwardtinue singing it forever just because…
Стоит обратить внимание на ряд моментов. Во-первых, мы заменяем шаблоны, а не слова. “on” в слове “song” было заменено на “forward”. Во-вторых, второе “on” в строке 2 заменено не было. Это произошло потому, что по умолчанию команда “s” обрабатывает первое совпадение в строке. А затем переходит к следующей строке. Для замены каждого “on”, а не только первого в строке, можно указать команде замены флаг “g” после шаблонов:
sed ‘s/on/forward/g’ annoying.txt this is the sforwardg that never ends yes, it goes forward and forward, my friend some people started singing it not knowing what it was and they’ll cforwardtinue singing it forever just because…
Теперь были заменены все “on”. Чтобы заменить только вторые “on” в каждой строке, вместо “g” нужно указать “2”:
sed ‘s/on/forward/2’ annoying.txt this is the song that never ends yes, it goes on and forward, my friend some people started singing it not knowing what it was and they’ll continue singing it forever just because…
Если нам нужно вывести только те строки, где выполнялась замена, для отмены автоматического вывода можно снова воспользоваться опцией «-n». Затем мы можем передать флаг “p” для вывода строк, в которых производились замены.
sed -n ‘s/on/forward/2p’ annoying.text yes, it goes on and forward, my friend
Пример показывает, что флаги в конце команды можно комбинировать. Чтобы игнорировать регистр, нужно указать флаг “i”.
sed ‘s/SINGING/saying/i’ annoying.txt this is the song that never ends yes, it goes on and on, my friend some people started saying it not knowing what it was and they’ll continue saying it forever just because…
Если нужно заменить текст во всех файлах директории то можно воспользоваться командой
grep ‘текс’ -P -R -I -l * | xargs sed -i ‘s/текст_который_нужно_искать/текст/g’
Примеры использования sed
| Синтаксис команды |
Описание |
| sed ‘s/Nick/John/g’ report.txt |
Заменяет каждое вхождение Nick на John в файле report.txt |
| sed ‘s/Nick|nick/John/g’ report.txt |
Заменяет каждое вхождение Nick или nick на John. |
| sed ‘s/^/ /’ file.txt > file_new.txt |
Добавляет 8 пробелов слева от текста для улучшения качества печати. |
| sed -n ‘/Of course/,/attention you pay/p’ myfile |
Выводит все абзацы, начинающиеся с “Of course” и заканчивающиеся на “attention you pay”. |
| sed -n 12,18p file.txt |
Выводит только строки 12-18 файла file.txt |
| sed 12,18d file.txt |
Выводит весь файл file.txt за исключением строк с 12 по 18 |
| sed G file.txt |
Вставляет пустую строку после каждой строки в file.txt |
| sed -f script.sed file.txt |
Записывает все команды в script.sed и выполняет их. |
| sed ‘5!s/ham/cheese/’ file.txt |
Заменяет ham на cheese в file.txt за исключением 5-й строки |
| sed ‘$d’ file.txt |
Удаляет последнюю строку |
| sed -n ‘/[0-9]{3}/p’ file.txt |
Печатает только строки с тремя последовательными цифрами |
| sed ‘/boom/s/aaa/bb/’ file.txt |
Если найден “boom”, заменить aaa на bb |
| sed ’17,/disk/d’ file.txt |
Удаляет все строки, начиная с 17-й, до “disk”. Если строк с “disk” несколько, удаляет до первой из них. |
| echo ONE TWO | sed “s/one/unos/I” |
Заменяет one на unos независимо от регистра, поэтому будет напечатано “unos TWO” |
| sed ‘G;G’ file.txt |
Вставляет две пустые строки после каждой строки в file.txt |
| sed ‘s/.$//’ file.txt |
Способ замены dos2unix :). В общем случае удаляет последний символ в каждой строке. |
| sed ‘s/^[ t]*//’ file.txt |
Удаляет все пробелы/табы перед каждой строкой в file.txt |
| sed ‘s/[ t]*$//’ file.txt |
Удаляет все пробелы/табы в конце каждой строки в file.txt |
| sed ‘s/^[ t]*//;s/[ t]*$//’ file.txt |
Удаляет все пробелы/табы в начале и в конце каждой строки в file.txt |
| sed ‘s/foo/bar/’ file.txt |
Заменяет foo на bar только в первом вхождении в строке. |
| sed ‘s/foo/bar/4’ file.txt |
Заменяет foo на bar только в четвертом вхождении в строке. |
| sed ‘s/foo/bar/g’ file.txt |
Заменяет foo на bar для всех вхождений в строке. |
| sed ‘/baz/s/foo/bar/g’ file.txt |
Заменить foo на bar только если строка содержит baz. |
| sed ‘/./,/^$/!d’ file.txt |
Сжать все последовательные пустые строки до одной. Пустой строки сверху не остается. |
| sed ‘/^$/N;/n$/D’ file.txt |
Сжать все последовательные пустые строки до одной, но оставить верхнюю пустую строку. |
| sed ‘/./,$!d’ file.txt |
Удалить все начальные пустые строки |
| sed -e :a -e ‘/^n*$/{$d;N;};/n$/ba’ file.txt |
Удалить все замыкающие пустые строки |
| sed -e :a -e ‘/$/N; s/n/ /; ta’ file.txt |
Если строка заканчивается обратным сплешем, соединить ее со следующей (полезно для скриптов оболочки) |
| sed -n ‘/regex/,+5p’ file.txt |
Выводит 5 строк после строки содержащей regex |
| sed ‘1~3d’ file.txt |
Удалить каждую третью строку, начиная с первой. |
| sed -n ‘2~5p’ file.txt |
Печатать каждую пятую строку, начиная со второй. |
| sed ‘s/[Nn]ick/John/g’ report.txt |
Другой способ записи некоторых приведенных выше примеров. Вы можете предложить свой? |
| sed -n ‘/RE/{p;q;}’ file.txt |
Печатает строку с первым соответствием RE (регулярного выражения) |
| sed ‘0,/RE/{//d;}’ file.txt |
Удаляет строку с первым соответствием |
| sed ‘0,/RE/s//to_that/’ file.txt |
Изменяет только первое соответствие |
| sed ‘s/^[^,]*,/9999,/’ file.csv |
Заменяет на 9999 все значения в первой колонке CSV-файла |
| s/^ *(.*[^ ]) *$/|1|/; s/” *, */”|/g; : loop s/| *([^”,|][^,|]*) *, */|1|/g; s/| *, */||/g; t loop s/ *|/|/g; s/| */|/g; s/^|(.*)|$/1/; |
Скрипт sed для конвертирования CSV-файла в файл с вертикальной чертой в качестве разделителя (работает только с некоторыми типами CSV, со встроенными кавычками и запятыми). |
| sed ‘:a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/12,3/g;ta’ file.txt |
Меняет формат чисел в file.txt с 1234.56 на 1.234.56 |
| sed -r “s/<(reg|exp)[a-z]+/U&/g” |
Переводит любое слово, начинающееся с reg или exp в верхний регистр. |
| sed ‘1,20 s/Johnson/White/g’ file.txt |
Производит замену Johnson на White только в строках 1 – 20. |
| sed ‘1,20 !s/Johnson/White/g’ file.txt |
Предыдущий пример наоборот (заменяет везде, кроме строк 1-20) |
| sed ‘/from/,/until/ { s//magenta/g; s//cyan/g; }’ file.txt |
Заменяет только между “from” и “until”. Если областей “from”-“until” несколько, заменяет в каждой из них. |
| sed ‘/ENDNOTES:/,$ { s/Schaff/Herzog/g; s/Kraft/Ebbing/g; }’ file.txt |
Заменяет только со слова “ENDNOTES:” и до EOF |
| sed ‘/./{H;$!d;};x;/regex/!d’ file.txt |
Печатает абзац только если он содержит regex |
| sed -e ‘/./{H;$!d;}’ -e ‘x;/RE1/!d;/RE2/!d;/RE3/!d’ file.txt |
Печатает абзацы только если они содержат RE1, RE2 и RE3. Порядок RE1, RE2 и RE3 не имеет значения. |
| sed ‘s/14″/fourteen inches/g’ file.txt |
Так вы сможете использовать двойные кавычки |
| sed ‘s//some/UNIX/path//a/new/path/g’ file.txt |
Работа с путями Unix |
| sed ‘s/[a-g]//g’ file.txt |
Удаляет все символы, начиная с a и заканчивая g из файла file.txt |
| sed ‘s/(.*)foo/1bar/’ file.txt |
Заменяет только последнее в строке соответствие foo на bar |
| sed ‘1!G;h;$!d’ |
Замена команды tac |
| sed ‘/n/!G;s/(.)(.*n)/&21/;//D;s/.//’ |
Замена команды rev |
| sed 10q file.txt |
Замена команды head |
| sed -e :a -e ‘$q;N;11,$D;ba’ file.txt |
Замена команды tail |
| sed ‘$!N; /^(.*)n1$/!P; D’ file.txt |
Замена команды uniq |
| sed ‘$!N; s/^(.*)n1$/1/;t; D’ file.txt |
Обратная команда (что эквивалентно uniq -d) |
| sed ‘$!N;$!D’ file.txt |
Эквивалент tail -n 2 |
| sed -n ‘$p’ file.txt |
… tail -n 1 (или tail -1) |
| sed ‘/regexp/!d’ file.txt |
Эквивалент grep |
| sed -n ‘/regexp/{g;1!p;};h’ file.txt |
Печатает строку, находящуюся перед первым соответствием регулярному выражению, но не включающую само соответствие |
| sed -n ‘/regexp/{n;p;}’ file.txt |
Печатает строку, находящуюся после первого соответствия регулярному выражению, но не включающую само соответствие |
| sed ‘/pattern/d’ file.txt |
Удаляет строки, соответствующие шаблону pattern |
| sed ‘/./!d’ file.txt |
Удаляет все пустые строки из файла |
| sed ‘/^$/N;/n$/N;//D’ file.txt |
Сжимает все последовательные пустые строки до двух пустых. Одинарные пустые строки не изменяются. |
| sed -n ‘/^$/{p;h;};/./{x;/./p;}’ file.txt |
Удаляет последнюю строку каждого абзаца |
| sed ‘/^$/q’ |
Получает заголовок письма. Другими словами – удаляет все после первой пустой строки. |
| sed ‘1,/^$/d’ |
Получает тело письма. Другими словами – удаляет все до первой пустой строки. |
| sed ‘/^Subject: */!d; s///;q’ |
Получает тему письма |
| sed ‘s/^/> /’ |
Цитирует сообщение, вставляя “> ” перед каждой строкой |
| sed ‘s/^> //’ |
Обратная команда (убирает цитирование из сообщения) |
| sed -e :a -e ‘s/<[^>]*>//g;/ |
Удаляет HTML-теги |
| sed ‘/./{H;$!d;};x;s/n/={NL}=/g’ file.txt | sort | sed ‘1s/={NL}=//;s/={NL}=/n/g’ |
Сортирует абзацы в file.txt в алфавитном порядке |
| sed ‘s@/usr/bin@&/local@g’ path.txt |
Заменяет /usr/bin на /usr/bin/local в path.txt |
| sed ‘s@^.*$@<&>>>@g’ path.txt |
Попробуйте и увидите 🙂 |
| sed ‘s/(/[^:]*).*/1/g’ path.txt |
При условии, что path.txt содержит $PATH, выводит только первый путь в каждой строке |
| sed ‘s/([^:]*).*/1/’ /etc/passwd |
Замена awk – показывает только пользователей из файла passwd |
| echo “Welcome To The Geek Stuff” | sed ‘s/(b[A-Z])/(1)/g’ |
Понятно без объяснений – (W)elcome (T)o (T)he (G)eek (S)tuff |
| sed ‘/./{H;$!d;};x;s/n/={NL}=/g’ file.txt | sed ‘/END$/s/hills/mountains/g’ | sed ‘1s/={NL}=//;s/={NL}=/n/g’ |
Заменяет “hills” на “mountains”, но только в блоках текста, начинающихся с пустой строки и заканчивающихся строкой с тремя символами “END”, включительно. |
| sed -e ‘/^#/d’ /etc/services | more |
Показывает файл services без закомментированных строк |
| sed ‘$s@([^:]*):([^:]*):([^:]*)@3:2:1:@g’ path.txt |
Меняет порядок первых трех элементов в последней строке файла path.txt на обратный |
| sed ‘/regex/{x;p;x;}’ file.txt |
Вставляет новую строку выше каждой строки, соответствующей регулярному выражению |
| sed ‘/AAA/!d; /BBB/!d; /CCC/!d’ file.txt |
Ищет строки содержащие AAA, BBB и CCC в любом порядке |
| sed ‘/AAA.*BBB.*CCC/!d’ file.txt |
Ищет строки содержащие AAA, BBB и CCC в заданном порядке |
| sed -n ‘/^.{65}/p’ file.txt |
Печатает строки длиной 65 символов и более |
| sed -n ‘/^.{65}/!p’ file.txt |
Печатает строки длиной 65 символов и менее |
| sed ‘/regex/G’ file.txt |
Вставляет пустую строку под каждой строкой, содержащей regex |
| sed ‘/regex/{x;p;x;G;}’ file.txt |
Вставляет пустую строку над и под каждой строкой, содержащей regex |
| sed = file.txt | sed ‘N;s/n/t/’ |
Нумерует строки в file.txt |
| sed -e :a -e ‘s/^.{1,78}$/ &/;ta’ file.txt |
Выровнять текст по правому краю |
| sed -e :a -e ‘s/^.{1,77}$/ &/;ta’ -e ‘s/( *)1/1/’ file.txt |
Выровнять текст по центру |
В окружении UNIX: конвертируем новые строки DOS (CR/LF) в формат Unix.
Предполагаем, что все строки оканчиваются на CR/LF
sed ‘s/.$//’
В bash/tcsh, нажмите Ctrl-V затем Ctrl-M
sed ‘s/^M$//’
Работает на ssed, gsed 3.02.80 или выше
sed ‘s/x0D$//’
В окружении UNIX: конвертируем новые строки Unix (LF) в формат DOS.
Командная строка под ksh
sed “s/$/`echo -e r`/”
Командная строка под bash
sed ‘s/$’”/`echo r`/”
Командная строка под zsh
sed “s/$/`echo r`/”
gsed 3.02.80 или выше
sed ‘s/$/r/’
В окружении DOS: конвертируем новые строки Unix (LF) в формат DOS.
Метод 1
sed “s/$//”
Метод 2
sed -n p
В окружении DOS: конвертировать DOS переводы строк (CR/LF) в формат Unix.
Может быть только сделано с UnxUtils sed, версии 4.0.7 или выше. Версию UnxUtils можно узнать пользовательским свичем “–text”, который появляется когда вы используете свич “–help”. В других случаях изменение перевода строк DOS в перевод строк Unix не может быть выполнено в окружении DOS. Используйте вместо этого “tr”.
UnxUtils sed v4.0.7 или выше
sed “s/r//” infile >outfile
GNU tr версия 1.22 или выше
tr -d r outfile
Удалить пустоту в начале (пробелы, табуляции) от передней части каждой строки выравнивает весь текст по левому краю
sed ‘s/^[ t]*//’
Удаление пустоты (пробелы, табуляции) в конце каждой строки
Удаление пустоты как в начале, так и в конце каждой строки
sed ‘s/^[ t]*//;s/[ t]*$//’
Вставка 5 пробелов в начале каждой строки (сделать отступ страницы)
sed ‘s/^/ /’
Выравнять весь текст заподлицо справа на 79-ом столбце по ширине
sed -e :a -e ‘s/^.{1,78}$/ &/;ta’ # установить в 78 плюс 1 пробел
Центрировать весь текст в середине на 79-ом столбце по ширине
В первом методе пробелы в начале строки имеют значение, и в конце строки добавляются пробелы.
sed -e :a -e ‘s/^.{1,77}$/ & /;ta’
Во втором методе пробелы из начала строки отбрасываются в центрируемой строке, и в конце строки пробелы не добавляются.
sed -e :a -e ‘s/^.{1,77}$/ &/;ta’ -e ‘s/( *)1/1/’
Подстановка (поиск и замена “foo” на “bar” в каждой строке
Заменить только первое вхождение в строке
sed ‘s/foo/bar/’
Заменить только четвёртое вхождение в строке
sed ‘s/foo/bar/4’
Заменить ВСЕ вхождения в строке
sed ‘s/foo/bar/g’
Заменяет следующее-на-последнее вхождение (the next-to-last case)
sed ‘s/(.*)foo(.*foo)/1bar2/’
Поменять только последний случай
sed ‘s/(.*)foo/1bar/’
Поменять “foo” на “bar” ТОЛЬКО для строк, которые содержат “baz”
sed ‘/baz/s/foo/bar/g’
Заменить “foo” на “bar” КРОМЕ строк, которые содержат “baz”
sed ‘/baz/!s/foo/bar/g’
Поменять “scarlet” или “ruby” или “puce” на “red”
Большинство sed
sed ‘s/scarlet/red/g;s/ruby/red/g;s/puce/red/g’
Только GNU sed
gsed ‘s/scarlet|ruby|puce/red/g’
Обратный порядок строк (эмулирует “tac”) баг/фича в HHsed v1.5 приводит к тому, что пустые строки удаляются
Метод первый
sed ‘1!G;h;$!d’
Метод второй
sed -n ‘1!G;h;$p’
Обратный порядок всех символов в строке (эмулирует “rev”)
sed ‘/n/!G;s/(.)(.*n)/&21/;//D;s/.//’
Соединить пары строк (наподобие “paste”)
sed ‘$!N;s/n/ /’
Если строка заканчивается на обратный слэш, прикрепить к ней следующую строку
sed -e :a -e ‘/$/N; s/n//; ta’
Если строка начинается со знака равно, прикрепить её к предыдущей строке и заменить “=” на пробел
sed -e :a -e ‘$!N;s/n=/ /;ta’ -e ‘P;D’
Добавить запятые в цифровую строку, замена “1234567” на “1,234,567”
GNU sed
gsed ‘:a;s/B[0-9]{3}>/,&/;ta’
Другие seds
sed -e :a -e ‘s/(.*[0-9])([0-9]{3})/1,2/;ta’
Добавить запятые к номерам, в том числе содержащим десятичные точки и знаки минус (GNU sed)
gsed -r ‘:a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/12,3/g;ta’
Добавить пустую строку каждые 5 строк (после каждых 5, 10, 15, 20 и т. д. строк)
Только GNU sed
gsed ‘0~5G’
Другие sed
sed ‘n;n;n;n;G;’
Выборочная печать конкретных строк:
Напечатать первые 10 строк файла (эмулирует поведение “head”)
sed 10q
Напечатать первую строку файла (эмулирует “head -1″)
sed q
Напечатать последние 10 строк файла (эмулирует “tail”)
sed -e :a -e ‘$q;N;11,$D;ba’
Напечатать последние 2 строки файла (эмулирует “tail -2″)
sed ‘$!N;$!D’
Напечатать последнюю строку файла (эмулирует “tail -1″)
Первый метод
sed ‘$!d’
Второй метод
sed -n ‘$p’
Напечатать строки файла начиная с последней
Для файла в одну строку напечатать пустую строку
sed -e ‘$!{h;d;}’ -e x
Для файла в одну строку, напечатать эту строку:
sed -e ‘1{$q;}’ -e ‘$!{h;d;}’ -e x
Для файла в одну строку ничего не печатать
sed -e ‘1{$d;}’ -e ‘$!{h;d;}’ -e x
Печатать только строки, которые соответствуют регулярному выражению (эмулирует “grep”)
Метод 1
sed -n ‘/regexp/p’
Метод 2
sed ‘/regexp/!d’
Печатать только строки, которые НЕ соответствуют регулярному выражению (эмулирует “grep -v”)
Метод 1, соответствует вышеприведённому
sed -n ‘/regexp/!p’
Метод 2, упрощённый синтаксис
sed ‘/regexp/d’
Печатать строку, которая идёт перед строкой, удовлетворяющей регулярному выражению, но не строку, содержащую регулярное выражение
sed -n ‘/regexp/{g;1!p;};h’
Печатать строку, которая идёт сразу после регулярного выражения, но не строку, содержащую регулярное выражение
sed -n ‘/regexp/{n;p;}’
Печатать по одной строке перед и после регулярного выражения, с номером строки, показывающей где встретилось регулярное выражение (наподобии “grep -A1 -B1″)
sed -n -e ‘/regexp/{=;x;1!p;g;$!N;p;D;}’ -e h
grep для AAA и BBB и CCC (в любом порядке)
sed ‘/AAA/!d; /BBB/!d; /CCC/!d’
grep для AAA и BBB и CCC (в таком порядке)
sed ‘/AAA.*BBB.*CCC/!d’
grep для AAA или BBB или CCC (эмулирует “egrep”)
Большинство sed
sed -e ‘/AAA/b’ -e ‘/BBB/b’ -e ‘/CCC/b’ -e d
Только GNU sed
gsed ‘/AAA|BBB|CCC/!d’
Напечатать параграф, если он содержит AAA (параграфы разделяют пустые строки) HHsed v1.5 должен вставить ‘G;’ после ‘x;’ в следующих трёх скриптах ниже
sed -e ‘/./{H;$!d;}’ -e ‘x;/AAA/!d;’
Напечатать параграф, если он содержит AAA и BBB и CCC (в любом порядке)
sed -e ‘/./{H;$!d;}’ -e ‘x;/AAA/!d;/BBB/!d;/CCC/!d’
Напечатать параграф, если он содержит AAA или BBB или CCC
sed -e ‘/./{H;$!d;}’ -e ‘x;/AAA/b’ -e ‘/BBB/b’ -e ‘/CCC/b’ -e d
Только GNU sed
gsed ‘/./{H;$!d;};x;/AAA|BBB|CCC/b;d’
Напечатать только строки длинной 65 символов или длиннее
sed -n ‘/^.{65}/p’
Напечатать только строки, которые короче 65 символов
Метод 1, соответствует вышеприведённому
sed -n ‘/^.{65}/!p’
Метод 2, упрощённый синтаксис
sed ‘/^.{65}/d’
Напечатать секцию файла от регулярного выражения до конца файла
sed -n ‘/regexp/,$p’
Напечатать секцию файла, включающую номера строк (строки 8-12, включая и 8 и 12)
Метод 1
sed -n ‘8,12p’
Метод 2
sed ‘8,12!d’
Напечатать строку с номером 52
Способ 1
sed -n ’52p’
Способ 2
sed ’52!d’
Способ 3, эффективен на больших файлах
sed ’52q;d’
Начиная со строки 3, печатать каждую седьмую строку
Только GNU sed
gsed -n ‘3~7p’
Другие sed
sed -n ‘3,${p;n;n;n;n;n;n;}’
Напечатать раздел файла между двумя регулярными выражениями (включая)
sed -n ‘/Iowa/,/Montana/p’ # чувствительно к регистру
Выборочное удаление конкретных строк:
Напечатать весь файл КРОМЕ секции между двумя регулярными выражениями 2
sed ‘/Iowa/,/Montana/d’
Удалить дубликаты последовательных строк файла (эмулирует “uniq”). Первая строка из двух дублирующих сохраняется, остальное удаляется.
sed ‘$!N; /^(.*)n1$/!P; D’
Удалить дубликаты непоследовательных строк из файла. Остерегайтесь переполнения буфера или используйте GNU sed.
sed -n ‘G; s/n/&&/; /^([ -~]*n).*n1/d; s/n//; h; P’
Удалить все строки, кроме дублирующих строк (эмулирует “uniq -d”).
sed ‘$!N; s/^(.*)n1$/1/; t; D’
Удалить первые 10 строк файла
sed ‘1,10d’
Удалить последние строки файла
sed ‘$d’
Удалить последние 2 строки файла
sed ‘N;$!P;$!D;$d’
Удалить последние 10 строк файла
Способ 1
sed -e :a -e ‘$d;N;2,10ba’ -e ‘P;D’
Способ 2
sed -n -e :a -e ‘1,10!{P;N;D;};N;ba’
Удалить каждую восьмую строку файла
Только GNU sed
gsed ‘0~8d’
Другие sed
sed ‘n;n;n;n;n;n;n;d;’
Удалить строки, содержащие паттерн
sed ‘/pattern/d’
Удалить ВСЕ пустые строки из файла (то же самое что и “grep ‘.’ “)
Способ 1
sed ‘/^$/d’
Способ 2
sed ‘/./!d’
Удалить все ПОСЛЕДОВАТЕЛЬНЫЕ пустые строки из файла, кроме первой, также удаляет все пустые строки в начале и в конце файла (эмулирует “cat -s”)
Способ 1, позволяет 0 пустых строк вверху, 1 в EOF
sed ‘/./,/^$/!d’
Способ 2, позволяет 1 пустую строку вверху, 0 в EOF
sed ‘/^$/N;/n$/D’
Удалить все ПОСЛЕДОВАТЕЛЬНЫЕ пустые строки из файла кроме первых двух:
sed ‘/^$/N;/n$/N;//D’
Удалить все первые пустые строки в файле
sed ‘/./,$!d’
Удалить все конечные пустые строки в файле
sed -e :a -e ‘/^n*$/{$d;N;ba’ -e ‘}’ # works on all seds
Удалить последнюю строку каждого параграфа
sed -n ‘/^$/{p;h;};/./{x;/./p;}’
Заключение
Мы рассмотрели основы использования sed. Теперь вы можете быстро редактировать текстовые документы при помощи соответствующих команд sed.
[spoiler title=”Источники”]
- https://losst.ru/komanda-sed-linux
- http://rus-linux.net/MyLDP/consol/sed.html
- https://www.vseprolinux.ru/linux-sed
- https://www.tech-notes.net/sed-examples/
- https://www.AndreyOlegovich.ru/IT/sed/
- https://ITProffi.ru/komanda-sed-v-linux-vyvod-teksta-udalenie-zamena/
- https://ZaLinux.ru/?p=266
[/spoiler]
2020-12-22T10:34:30
Linux
