Морфологический анализ текстов...

[PoMkA]

Привет.
Помогите найти информацию (алгоритмы, коды, статьи, книги - всё что угодно) о морфологическом анализе текста. Его разбиении на главы, абзацы, предложения, слова.

[Finch]

Чтобы разбить текст на слова и предложения, тут нет ничего сложного, Так как есть явные маркеры концовки. На главы и абзаци это уже из области Искуственного интелекта. Так как такие разбиения не подвержены ни каким логическим правилам. В Word  обычно ставитcя маркеры окончания абзаца и главы. И человек сам вручную проставляет их.
Чтобы делать разбор текста на слова, обычно применяют конечные автоматы. Тут http://www.softcraft.ru/index.shtml  довольно большая подборка статей по конечным автоматам.

[LEON]

На http://club.shelek.ru есть книги Ахо, Ульмана по синтаксическому анализу. Если нужно больше информации 8) то могу еще несколько книг подкинуть

[Finch]

Какой текст ты хочеш разбирать. Если произвольный текст, например художественное произведение. То книга Ахо тут хотя и поможет но не до конца. Так как она нацелена на создание Компиляторов

[PoMkA]

Текст обычный, абсолютно из любой тематической среды.
Теория компиляторов не совсем годна.
На слова и педложения разбивка проста, я знаю - не стал бы интересоваться, если бы только это хотел узнать.
За ссылки и книги спасибо - всё посмотрю.

P.S. Если кому интересно, то есть несколько методов логического разбиения текста на абзацы - один из них это по содержанию каждого предложения и соседнего с ним анализируется их связь и выноситься решение - один это смысловой абзац или нет.

[Finch]

Ромка, мне просто интересно, как ты будеш разбивать на абзаци книги достопочтенного графа Льва Толстого. Там некоторые его предложения потянут на абзац.
Можеш провести эксперемент: Взять любой текст страници на три, убрать все абзаци. Т.е. получится сплошной текст без разметки. И дать своим друзьям разбить на абзаци. 99,9% уверен, что результаты будут разные и многие отличные от оригинала.

[PoMkA]

Конечно, всё так и будет. Это ведь не точное разбиение, всего лишь приближенное.

[Alf]

IMHO если 10 человек дают 10 разных решений одной и той же задачи и при этом все 10 решений приемлемы, значит, для ее решения достаточно генератора случайных чисел. И Ахи с Ульманами тут никаким боком не применимы.