Жанр: Учеба
Начала компьютерной лингвистики: учеб. пособие
...лова. Эта задача решается
путем сравнения текущей последовательности фонем со словарем, где записаны
эталоны слов в фонетической транскрипции.
Последовательность выделенных слов поступает в систему анализа и синтеза текста,
из которой ответ в виде текста предложения преобразуется и последовательность
фонем. Задача синтезатора - формирование искусственной речи на основе
последовательности фонем.
Построение любой системы, включающей в качестве обоих задач анализ и синтез
текстов определенной тематики, требует адекватного лингвистического обеспечения,
или, другими словами, создание модели конкретного подъязыка.
Процедуры анализа и синтеза текста (рис.7.4), реализованные в обрабатывающих
алгоритмах и программах, представляют собой следующее: морфологический,
синтаксический и семантический анализ; семантическую интерпретацию и
формирование ответа; семантический, синтаксический и морфологический синтез;
доступ к словарю, семантической сети и базе данных.
В достаточно сложных системах анализ и синтез текста предполагают выявление его
содержательно-смысловой структуры, что обусловливает преимущественное внимание к
семантике подъязыка и, соответственно, к семантическим процедурам анализа и
синтеза текста.
Морфологический анализ (МА) выполняет распознающую роль на входе системы.
Функцией морфологического анализа являются выделение основы слова и определение
морфологической информации, приписываемой этой основе по таблицам аффиксов и
словарю.
Рассмотрим алгоритм морфологического анализа (а также другие обрабатывающие
алгоритмы) на следующем примере. Сколько каменн(ого) угл(я) перевез(ено)
железнодорожн(ым) транспорт(ом) в 1975-м год(у)?
Морфологический анализ, отсекая аффиксы (заключенные в скобки), приписывает
полученным основам морфологическую информацию, соответствующую этому аффиксу.
Далее производится обращение с полученной основой к словарю для определения,
существует ли такая основа:
СКОЛЬКО
числительное количественное
КАМЕННОГО
падеж: родительный/винительный
число: единственное
род: мужской/средний
одушевленность: любая / одушевленное прилагательное
УГЛЯ
падеж: родительный
число: единственное
род: мужской
одушевленность: неодушевленное существительное
ПЕРЕВЕЗЕНО
время: любое
число: единственное
род: средний
залог: пассивный
глагол
ЖЕЛЕЗНОДОРОЖНЫМ
падеж: творительный / дательный
число: единственное / множественное
род: мужской/ средний / любой
прилагательное
ТРАНСПОРТОМ
падеж: творительный
число: единственное
род: мужской
одушевленность: неодушевленное
существительное
В
падеж: винительный / предложный
число: любое
род: любой
одушевленность: любая
предлог
1975
падеж: предложный
число: единственное
род: мужской / средний
одушевленность: неодушевленный / любая
числительное порядковое
ГОДУ
падеж: дательный / предложный
число: единственное
род: мужской
одушевленность: неодушевленное
существительное
Рис. 7.4.
В результате работы МА получается информация, поступающая на вход алгоритма
синтаксического анализа (СиА), который осуществляет перебор возможных о точки
зрения синтаксиса омонимичных способов разбиения всех вариантов разбора
синтаксических отношений. СиА служит для установления синтаксической взаимосвязи
между словами входного предложения (запроса).
Алгоритм синтаксического анализа использует модели управления. В рассмотренном
примере у основы ПЕРЕВЕЗ присутствует модель управления, поэтому она выбирается
в качестве головной (вершина дерева). По морфологической информации подбираются
слова, имеющие такую же морфологическую информацию в словах предложения,
строятся синтаксические отношения (рис..7.5). По правилам русского языка
реализуются синтаксические отношения.
Полученная синтаксическая структура обрабатывается алгоритмом семантического
анализа.
Рис.7.5
Семантический анализ (СеА) осуществляет построение интенсионального выражения
смысла обрабатываемого предложения в виде семантического графа. Здесь же
осуществляется разрешение неявных языковых ссылок (эллипсис). Семантический
анализ служит для построения семантического графа запроса, т.е. установления
смысловой связи между основами слов синтаксической структуры.
Замена синтаксических отношений семантическими осуществляется по модели
управления (МУ) и по абстрактной семантической сети. В примере каждому
синтаксическому отношению из МУ ставится в соответствие конкретный семантический
падеж.
Определенные синтаксические отношения (ОПРВД) заменяются по сети посредством
нахождения пути между парами слов: ТРАНСПОРТ -ЖЕЛЕЗНОДОРОЖЫЙ и УГОЛЬ - КАМЕННЫЙ.
В результате работы СеА получается семантический граф (рис.7.6).
Рис.7.6
Завершается процесс анализа сопоставлением семантического графа о моделью
предметной области. При такой семантической интерпретации происходят
сопоставление семантического графа о конкретной семантической сетью, получение
содержательной информации на конкретной сети, выбор числовой информации из базы
данных и обработка этой информации (суммирование, сравнение, вычисление процента
и т.д.).
В примере будет выбрана числовая информация по параметру • ОБЪЕМ (рис.7.7),
представляющему собой фактическое значение (14,4 млн т).
Рис.7.7
Алгоритм синтеза текста. Задача алгоритма синтеза состоит в переводе смысла
некоторого высказывания в предложение ограниченного русского языка. Синтез
осуществляется несколькими этапами.
Семантический синтез служит для построения семантического графа ответа,
получающегося из семантического графа запроса введением в него информации из
базы данных.
В рассматриваемом примере вопросительное слово заменяется фактическим значением,
приписываемым через характеристику КОЛИЧЕСТВО объекту события (т.е. понятию,
стоящему по семантическому падежу Т).
В результате получается семантический граф ответа, представленный на рис.7.7.
Синтаксический синтез (СиС) служит для перевода смысла некоторого высказывания,
эксплицитно выраженного семантическим графом ответа, в предложение ограниченного
русского языка. СиС необходим для сообщения смысла ответа пользователю. По
полученному выходному предложению пользователь сможет определить правильность
ответа.
В СиС для работы используются модель управления и грамматика русского языка
(подобно СиА). В рассматриваемом примере семантический граф ответа преобразуется
в синтаксическую структуру (рис. 7.6), в вершинах которой стоят основы слов c
приписанной им морфологической информацией. Полученная структура линеаризуется
по правилам русского языка в последовательность основ с приписанной
морфологической информацией.
Задача этапа морфологического синтеза (МC) - построение фраз естественного языка
по полученному упорядоченному набору основ слов c приписанной им информацией.
Алгоритм МС по морфологической информации находит конкретный аффикс и
приписывает его основе. В результате работы МС получается ответ: в 1975 г.
железнодорожный транспорт перевез 14,4 млн. т. каменного угля. Процедуры анализа
и синтеза текста являются основными процедурами в вопросно-ответных системах.
Рис. 7.8.
7.3. Визуальное общение.
Восприятие изображений. Несмотря на широкие возможности восприятия машиной
окружающей действительности в форме текста и речи, стремление представить
сведения об окружении в компактной и удобной форме приводит к необходимости
разработки средств машинного восприятия визуальной информации.
Общение с ЭВМ по зрительному каналу в форме изображений позволяет существенно
увеличить скорость ввода - вывода информации, хранить информацию не только в
бинарной, но и в аналоговой форме (на микрофишах, в топографических запоминающих
средах и т.п.), дает возможность решать на ЭВМ принципиально новый класс задач
(автоматическое чтение текста, чертежей, схем, карт; решение экономических задач
с привязкой и отображением информации по регионам, отраслям; автоматическое
введение видеоинформации со спутников и т.д.).
Работа систем восприятия изображения зависит от большого числа параметров:
двух- или трехмерности объектов;
освещенности;
количества и формы объектов на изображении;
затененности и скрытности объектов;
цвета (двух-, многоцветные);
разрешающей способности оборудования и т.д.
Следует указать, что в настоящее время наметился единый подход к решению
проблемы общения в форме текста, речи и изображения. Это единство основано на
необходимости решения для всех, способов общения двух задач: машинного
восприятия и машинного понимания. При восприятии человек преобразует свои
ощущения физического мира в образы и формирует свое внутреннее представление
внешнего мира, которое описывает наиболее важные отношения этими образами. При
понимании имеющееся внутреннее представление преобразуется в выходное сообщение.
Необходимые при этом действия включают сравнение внутреннего представления
окружающего мира с реальными или воображаемыми мирами.
Машинное восприятие пока даже отдаленно не приближается к человеческому. До
недавнего времени машинный анализ изображений ограничивался либо классификацией
фотографий, что фактически представляет собой задачу распознавания образов, либо
анализом простых сцен. Суть же восприятия визуальной информации состоит в том,
что входные сигналы должны интерпретироваться в терминах того, что мы уже знаем
о мире.
Главной чертой восприятия является способность находить определенные внутренние
модели, позволяющие реконструировать полученный сигнал. Процесс восприятия
изображения можно условно разделить на следующие этапы:
предварительную обработку изображения с целью повышения его качества;
разработку языка изображений с допустимыми ограничениями;
анализ изображения с выделением линий, областей, контуров, объектов;
определение трехмерной структуры сцены;
семантическую интерпретацию выделенных в изображении элементов c их
пространственными отношениями и описание сцены в терминах знаний системы.
Предположим, что определенная информация уже извлечена из изображения и
представлена в символическом виде, а не в виде яркостных точек изображения.
Задача состоит в отображении символической информации о представленной сцене на
накопленные знания системы. При этом будем исходить из того, что изображение
сложное и не может быть полностью обработано методами распознавания образов.
Для разработки систем восприятия изображения с большим успехом применяются
лингвистические методы. При анализе изображения могут быть использованы
синтаксические и семантические методы. На основе лингвистических объектов и
понятий, с которыми читатель познакомился выше (грамматика, синтаксис, дерево
разбора, сцена, семантические отношения, семантическая сеть и т.п.), строится
описание структуры изображения.
Формальное описание сцен. Рассмотрим простейшую сцену, изображенную на рис.7.9.
При кратком описании сцена может быть охарактеризована как "параллелепипед и
цилиндр". Более детально данная сцена может быть описана как "параллелепипед,
расположенный слева от цилиндра". Можно продолжить детализацию описания,
охарактеризовав, например, параллелепипед как совокупность трех граней, и так до
любого желаемого уровня конкретности. Указанный способ последовательного
уточнения описания изображения называется лингвистическим, так как он подобен
процессу анализа текста. Для анализа изображения в этом подходе, как в случае
анализа текста, вводится понятие грамматики. Однако в отличие от грамматик,
используемых при анализе текста, грамматики для изображений не одномерные, а
двухмерные. В одномерных строках естественной операцией соединения символов
является операция конкатенации - размещения символов друг за другом, в
двухмерных строках такой естественной операции не существует.
Поясним эту мысль на примере (см.рис.7.9). Одно из возможных деревьев разбора
для данной сцены приведено на рис.7.10. Даже если мы точно определим
терминальные вершины, дерево разбора будет только приблизительно описывать
сцену, поскольку три грани, например, могут быть соединены множеством способов,
из которых только некоторые дадут параллелепипед. Существуют различные подходы к
определению способа соединения символов в двухмерной строке (плоскости).
Рис. 7.9.
Рис. 7.10.
Наиболее прямолинейным является способ, полагающийся исключительно на описание
границ некоторой фигуры, что дает возможность воспользоваться преимуществами
естественного упорядочения точек в одномерном множестве. В качестве простейшего
примера этого подхода приведем описание четырехугольника (грани):
ЧЕТЫРЕХУГОЛЬНИК :: = ОТРЕЗОК + ОТРЕЗОК + ОТРЕЗОК + ОТРЕЗОК, где•"+" означает
конкатенацию.
Предполагается, что результирующая отрока должна замыкаться на себя. Выбор
терминального символа (отрезка) в этом простом примере очевиден. Однако для
фигур, состоящих из плавных кривых, этот выбор является менее очевидным и, кроме
того, часто трудно определить, где заканчивается один терминальный символ и
начинается другой. На этом решение проблемы не заканчивается. Действительно, для
описания параллелепипеда (см.рис.7.9) в терминах, определенных выше
четырехугольников, необходимо конкретизировать операцию соединения
четырехугольников.
Наиболее часто используется определение точек, в которых происходит соединение
четырехугольников (рис.7.11). В этом случае синтаксическое описание
параллелепипеда может иметь вид: "соединить точку 1 четырехугольника А с точкой
4 четырехугольника С, точку 2 с точкой 4" и т.д. Аналогичный подход к
определению отношений между символами основывается на стандартизации точек
соединения.
Рис.7.11.
Условимся, что каждый терминальный символ имеет две точки, называемые "головой"
и "хвостом". Будем считать, что операция конкатенации состоит в присоединении
"головы" первого символа к "хвосту" второго путем их перемещения (без вращения)
в плоскости изображения. "Хвостом" получившегося нетерминального символа
называют "хвост" первого терминального символа, а головой - "голову" второго
терминального символа. Например, если b , с , d - терминальные символы, то
нетерминальный символ А = b + с + d будет иметь в качестве "хвоста" "хвост" b
, а в качестве "головы" - "голову" d .
Примером такого способа может служить цилиндр, изображенный на рис.7.9. При этом
используем терминальные символы, представленные на рис;?.12. Операцию
конкатенации обозначим символом "+", а операцию переобозначения "головы" (г) и
"хвоста"(x) терминального символа - символом "~".
Рис.7.12
Отделим дополнительно операцию "*", состоящую в присоединении "головы" символа р
к "голове" символа g и "хвоста" р к "хвосту" q. "Головой" образованного символа
будем считать точку соединения "голов" р и q, а "хвостом" - точку соединения
"хвостов" р и q. В принятых обозначениях цилиндр можно записать по следующим
правилам:
ЦИЛИНДР :: = СТОРОНА * КРУГ
СТОРОНА :: = + b + U
КРУГ:: = t * b
Рассмотрим на этом примере, как осуществляется синтаксический анализ
изображения. При этом нас будет интересовать процесс распознавания изображения,
а не порождения. Любая распознающая грамматика предполагает умение распознавать
терминальные символы.
В приводимом примере необходимо распознать вертикальные линии и два типа кривых
линий. Предположим, что нам предъявлено изображение и требуется определить,
содержится ли в нем цилиндр. Первые два правила говорят о том, что цилиндр_
должен включать символ СТОРОНА и что этот символ должен содержать терминальный
символ вертикального отрезка. Поэтому процедура будет осуществлять просмотр
изображения с целью поиска вертикального отрезка. Отметим, что при разборе
символов одномерной строки требуется просто выбрать первый элемент строки. Найдя
вертикальный отрезок, рассмотрим его нижний конец как "голову", а верхний как
"хвост", так как в соответствии со вторым правилом мы ищем отрезок . Из второго
правила видно, что терминальный символ b должен быть присоединен к "голове"
вертикального отрезка, поэтому необходимо исследовать область изображения в
районе нижнего конца отрезка с целью поиска кривой вида b. Если кривая b
не найдена, то необходимо искать другой вертикальный отрезок. Если кривая
найдена, то в соответствии со вторым правилом необходимо искать в районе конца
кривой b вертикальный отрезок. Если вертикальный отрезок найден, то в
изображении опознан нетерминальный символ СТОРОНА. Затем в соответствии с первым
правилом осуществляется поиск символа КРУГ. Если символ КРУГ найден и его
расположение соответствует операции * , то процесс распознавания заканчивается
успешно.
Семантическая сеть сцены. При анализе многих изображений структуру изображения
целесообразно описывать словами, т.е. символически. Кроме синтаксических
методов, приведенных в предыдущем разделе, для этих целей удобно использовать
семантические сети, т.е. представлять структуру сцены в виде графа. При этом
узлы графа помечаются наименованиями частей сцены", а дули - наименованиями
семантических отношений, в которых находятся связанные ими узлы. В качестве
примера опишем в виде семантической сети сцену, показанную на рис. 7.9.
Структура графа будет подобна дереву разбора на рио.7.10. Для описания сцены
введем, например, следующие отношения: "часть", "тип", "смежный", "слева",
"справа", "выше", "ниже". Вид одной из возможных семантических сетей,
описывающих указанную оценку, приведен на рис. 7.13. Луги на рисунке направлены
таким образом, что при чтении наименования узла у "хвоста".
Рис.7.13
. дуги наименование дуги и наименование узла у "головы" дуги получается
выражение естественного языка, например:
ЦИЛИНДР ТИП ОБЪЕКТОВ.
В виде семантических сетей удобно представлять не только описание анализируемой
сцены, но и знание системы о понятиях (модели понятий), которые должны быть
обнаружены на сцене.
Трехмерные модели объектов. Описание сцены, состоящей из терминальных объектов,
возможно двумя способами. Первый состоит в описании трехмерной сцены терминами
двухмерных конструкций. В этом случае трехмерная природа объектов игнорируется и
описывается их плоское изображение. Второй способ описывает собственно
трехмерные объекты, а не их изображение. Проиллюстрируем различие между
способами на примере сцены, представленной на рис.7.9.
Двухмерное описание может быть выражено, например, так: "Три смежных
четырехугольника, эллипс с примыкающей к нему криволинейной фигурой и три
коллинеарных прямых отрезка". Трехмерное описание может быть определено,
например, такими словами: "Параллелепипед и цилиндр, стоящие на полу перед
стеной".
Трехмерный способ описания сцен является более общим. Трехмерное описание может
быть извлечено из двухмерного изображения только на основании дополнительной
информации об объектах, присутствующих на сцене. Эта информация задается в виде
трехмерных моделей объектов окружения. Так, для сцены, изображенной на рис.7.9,
такая модель могла бы быть описана так: "Все ребра параллелепипеда являются
прямолинейными отрезками, а у цилиндра некоторые ребра образованы криволинейными
отрезками". Даже, такой грубой модели было бы достаточно для интерпретации на
рис.7.9 в терминах трехмерных объектов.
В общих чертах процесс анализа изображений происходит следующим образом. Сначала
система выявляет из изображения наиболее достоверную информацию и легко
извлекаемую, такую, как размер и форма внешнего контура. Затем из множества
моделей, имеющихся в системе, отбираются модели-кандидаты, не противоречащие
первичной информации. Среди них, выбирается наиболее подходящая модель, которая
используется для того, чтобы направлять дальнейший процесс обработки
изображения. Анализируя выбранную модель, система предсказывает свойства,
которые должны быть исследованы на изображении в первую очередь, и указывает
место их расположения.
При "обнаружении предсказанных свойств на изображении процесс предсказания
продолжается либо до полного опознания объектов, либо до выявления различия
между предсказанием и изображением.
При обнаружении различий система пытается определить, не вызваны ли они
поворотом объекта в пространстве или загороженностью одного тела другим и т.п.
Если различие относится к такому классу, то оно устраняется. Например, если
система может предположить, что эллипс на изображении соответствует окружности в
модели. Приняв данное предположение, система определяет угол наклона наблюдаемой
поверхности и производит перерасчет остальных видимых точек. Если различие
является неустранимым, то это значит, что выбранная модель не соответствует
анализируемой сцене. В этом случае система выбирает из списка моделей-кандидатов
очередную модель, наиболее соответствующую собранной к данному моменту
информации.
Система восприятия изображений. Блок-схема системы восприятия изображений
представлена на рис. 7.14. На первом этапе осуществляется распознавание
элементов изображения. Для этого изображение фильтруется и корректируется.
Некоторые элементы сглаживаются, а другие, наоборот, подчеркиваются. Далее
изображение представляется в виде двухмерной матрицы с яркостными точками,
контурами и областями. Контуры и области выделяются с целью определения наиболее
значимых элементов изображения.
При выделении элементов формализованного описания изображения из предметных
областей, яркостных точек выделяются возможные объекты. На этапе семантического
анализа эти объекты с помощью семантической модели объединяются в модель
изображения.
Полученная модель изображения переводится во внутреннее представление, т.е.
каждая точка изображения идентифицируется во внутреннем мире. Другими словами,
дается однозначная трактовка изображения в мире системы. Если требуется не
только "понять" входное изображение, но и изменить его по некоторому заданному
критерию, то внутреннее представление изображения поступает на этап
семантического синтеза. Целью семантического синтеза является формирование
модели выходного изображения.
Модель выходного изображения представляется в виде формального описания подобно
тому, которое используется при анализе входного изображения, т.е. в виде
объектов, связанных друг с другом пространственными отношениями (один объект
ближе другого на 5 м, стоит на 3 м левее и т.д.). Все эти объекты представляются
в виде последовательности точек однозначно определенной яркости. Полученное
множество точек выдается на дисплей, в результате чего на экране формируется
выходное изображение.
При понимании информация, содержащаяся в принятом сообщении, отражается на
имеющееся знание, из которого извлекается та его часть, которая необходима и
доступна для связи входного сообщения с предыдущим и последующим диалогом. При
общении имеющееся внутреннее представление преобразуется в выходное сообщение.
Рис.7.14.
Рис. 7.15.
В отличие от систем машинного перевода, в которых заранее трудно определить тему
обрабатываемого сообщения, в вопросно-ответных системах предметная область, как
правило, четко определена функциональной задачей, поэтому появляется возможность
представить знания системы в виде тезауруса или семантической сети.
В этих условиях процедура анализа входного сообщения и синтеза выходного
сообщения оказываются замкнутыми алгоритмическими процедурами понимания, в
основе которых лежит отображение входных сигналов на модель предметной области и
извлечение из знаний системы необходимой информации.
Общая функциональная схема общения в форме текста, речи и изображения может
иметь вид, представленный на рис.7.15.
Основа системы общения - семантическая модель предметной области. Фрагмент
действительности, выраженный в запросе в форме текста, речевых сигналов или
изображения, поступает в систему отображения на модель предметной области. По
результатам отображения формируется ответ в виде текста, речевых сигналов или
изображения. Отсюда следует несводимость модели общения к модели языка.
7.4. Автоматизированные информационные системы
Практическим результатом обработки информации на различных языках (естественном
или созданных человеком) может стать автоматизированная информационная система
(АИС), предназначенная для накопления, поиска, обработки и выдачи информации
различного рода. По целевому назначению их можно разделить на информационносправочные
(такие системы обеспечивают обор и частичную подготовку информации
для ее использования человеком) и информационно-советующие (эти системы
подготавливают определенные предложения и рекомендации по управлению тем или
иным процессом). Сам же процесс управления осуществляется не системой, а
человеком.
Задачи, ставящиеся перед АИС, разнообразны. Они представлены на рис.7.16.
Информационные задачи:
задачи ввода обеспечивают ввод форматированной и/или неформатированной
информации, оперативно или по регламенту;
. задачи корректировки дают возможность вносить изменения в ранее введенную
информацию.
Задачи выводам
информационно-справочные задачи выдают информацию по запросам (стандартным и
нестандартным). Если запрос стандартный, то он имеет свой идентификатор в
библиотеке запросов, что сокращает время решения задачи. Эти задачи решаются,
как правило, в диалоговом режиме, но могут решаться и в отсроченном или
регламентированном;
учетно-статистические задачи формируют качественно новую информацию;
информационно-расчетные задачи служат для автоматизации расчетов и моделирования
процессов и ситуаций в системах управления.
Технологические задачи:
задачи обеспечения функционирования отвечают за настройку всех компонент АИС на
конкретное применение, контроль правильности функционирования и сопровождения
системы;
задачи развития совершенствуют и адаптируют АИС;
в задачах обучения содержатся программы и обучающие курсы, ориентированные на
определенные категории пользователей;
задачи документирования используются для автоматического изготовления
технической документации.
Информационно-поисковые системы (ИПС) являются основным звеном любой АИС. Они
предназначены для поиска текстов в хранилищах по формальным характеристикам.
ИПС работает в два этапа: сбор и хранение информации, поиск и выдача информации
потребителям.
Процесс движения информации мо
...Закладка в соц.сетях
