регулярные выражения

[xelos]

по необходимости искал информацию о регулярных выражениях и наткнулся на очень интересный сайт - очень хорошее введение, понятно и общедоступно.
Вкратце - регулярные выражения позволяют осуществлять расширенный текстовый поиск. Формируется шаблон, по которому и ищутся строки соответствующие шаблону. grep работает именно на них, как я понял.
Чтобы использовать регулярные выражения, необходимо использовать соответствующий движок (или самому его написать). Такие движки интегрированы в .NET, JDK 1.4, perl и т.д. Что означает что при использовании этих технологий можно пользовать регулярные выражения безболезненно.

в общем, может пригодится кому:
http://www.regular-expressions.info/

[RXL]

Коли интегрированы, то что мешает использовать?
Кстати, хочу подметить, что не все regexp-ы имеют одинаковый формат. Помимо стандартов типа POSIX и PCRE есть различные диалекты - стоит сверится с документацией на конкретные API.

[xelos]

имеется ввиду что в MFC, например, движка нет. Так что придется своими силами реализовывать или использовать чужой.

[RXL]

В MFC я не разбираюсь - может там и есть какой-нибудь сторонний компонент для regexp-ов.

Могу порекомендовать библиотеку pcre. Объектного интерфейса в ней нет - расчитана на С. Работает с кодировками согласно локали. Основное что нужно: pcre_compile() и pcre_match(). Может сверять строку с шаблоном, вырезать подстроки и т.п. На ее базе есть библиотека pcrs - выполняет то же, что и оператор s/// в perl-е - замену подстрок.

[RXL]

Интересный факт, что на просторах рунета это единственное упоминание "библиотека pcrs" с темой о программировании. В не-рунете дела еще хуже обстоят. Забавно, что я нашел свой же пост, 4.5 лет давности.
Правда, инфы тут не густо и чтобы в следующий раз я ее таки здесь нашел, пишу:...

Библиотека PCRS (PCRE Substitution) — аналог оператора s/// в Perl. Предназначена для поиска и замены строк по шаблону.
В отдельной форме, судя по всему, существовала только в самых ранних версиях. Изначально была написана для проекта privoxy.org и поставляется в его исходниках как вкомпилируемый модуль.

В атаче прилагаю версию 1.29, взятую мною из пакета pryvoxy-3.0.12 и лишенную ненужных внутрипакетных зависимостей. Также прилагается реализация snprintf() для систем, где нет этой функции.

Сборка с GCC:

gcc -Wall -O2 -fPIC -c pcrs.c
gcc -Wall -shared -Wl,-soname,libpcrs.so.1 -o libpcrs.so.1 pcrs.o -lpcre

[Джон]

Тогда тему в ЧАВО

[RXL]

Жень, погоди - может еще материал в тему напишу. Я задался тут расширить MySQL недостающими функциями через UDF-интерфейс. Пробую сделать функцию REGEXP_REPLACE - в MySQL есть только REGEXP (он же RLIKE) для тестирования строки, но нет ничего для замены по шаблону. Первый блин уже работает, но есть проблемы с CASELESS для UTF-8.

Сборка:

Код:

gcc -Wall -O2 -fPIC -c regexp_replace.c
gcc -Wall -shared -Wl,-soname,libregexp_replace.so -o libregexp_replace.so regexp_replace.o -lpcre -lpcrs
mkdir /usr/local/lib/mysql
cp libregexp_replace.so /usr/local/lib/mysql
ldconfig /usr/local/lib/mysql

Установка (имя функции в нижнем регистре!):

Код:

CREATE FUNCTION regexp_replace RETURNS STRING SONAME 'libregexp_replace.so';

[Mayor]

имеется ввиду что в MFC, например, движка нет. Так что придется своими силами реализовывать или использовать чужой.

хм давненько не слышал про mfc, как и про попытки своими силами реализовать неучебный проект РВ

зы начинал пользоваться posix standart, потом pcre, потом posix extend. , немного почитал python_re - вроде особых различий от posix e не увидел и уже не пригодилось

у меня вопрос, кому какая реализация больше понравилась?:
boost.regex
boost.expressive
Gregex  (glib)
pcre
qRegEx (qt)
regex - какая то спенсеровская либа, хз в состав какой библиотеки входит

какой из 3х алгоритмов RE щас считается наиболее преспективным?

[Алексей++]

хм давненько не слышал про mfc

"Mayor не слышал" - это не показатель

[RXL]

Mayor, никакой - они не развиваются (и слава богу!).

Если говорить, какой мощнее и удобнее, то PCRE. Реализаций полно и сравнивать их смысла не вижу.

[RXL]

Разобрал вопрос о поддержке UTF-8 и Unicode в libpcre: если при компиляции конфигуратору было сказано --with-utf8, то многобайтные символы распознаются, но классы \w [:alpha:] и т.п. не-ASCII коды не признают. Оказалось, что это нормальное явление, что и сказано в документации.
В качестве компенсации есть поддержка метаконструкций \p и \P - для работы с классами юникодных символов. Как-то странно, что библиотека pcre из комплекта CentOS (и RHEL) собрана без этой поддержки.
Лечится легко:

1. Скачиваем src.rpm из дистрибутива и устанавливаем его.
2. В /usr/src/redhat/SPECS находим файлик pcre.spec, в котором находим строку "%build", а за ней - строка, начинающаяся с "%configure". Внесим в нее изменение:
%configure --enable-utf8 --enable-unicode-properties
3. Собираем бинарный rpm:
$ rpmbuild -bb pcre.spec
4. В директории /usr/src/redhat/RPMS/<platform>/ будут лежать собранные пакеты cpre и cpre-devel - устанавливаем их через rpm -U <package>.

Теперь мы можем "поймать" любое юникодное слово: вместо \w+ делаем \pL+


Последний атач (regexp_replace.c) оказался полностью рабочим. Разве что есть орфографические ляпы в сообщениях об ошибках.

[RXL]

Для желающих потестить или даже попользоваться - уже собранные библиотеки для CentOS 5/RHEL 5.

libpcrs поместить в /usr/local/lib
libregexp_replace - в /usr/local/lib/mysql

После выполнить ldconfig и рестартовать mysqld.