Жанр: Учеба
Начала компьютерной лингвистики: учеб. пособие
...ву. Однако эти системы не имели знаний о предметных областях,
описываемых в текстах. Между тем, как известно, один и тот же текст может
описывать несколько различных ситуаций из конкретной предметной области. Поэтому
ПС дескрипторного типа, не имеющие предметных знаний, часто ошибаются в
определении того, о какой ситуации идет речь в тексте.
Следующим шагом в создании систем, значительно улучшившим их понимающие
возможности, было введение разработчиками в конструкцию ПС модели (знания)
предметной области. Понимание стало после этого трактоваться как процесс
соотнесения языкового описания с внеязыковой действительностью. В качестве
отображения действительности использовался некоторый записанный на магнитную
ленту образец (копия фрагмента предметной области), с которым соотносились
входные тексты. По такому принципу построены системы вывода по образцу. В их
основе лежат данные и образец, описывающий, что именно требуется найти. Такой
метод используется для обнаружения фактов и ситуаций, а также набора
соответствующих правил - продукций, конкретизирующих действия, выполняющиеся в
данных ситуациях.
Основная научная проблема, с которой сталкиваются разработчики при создании
блока знаний о предметной области - это проблема характера представления
(репрезентации) знаний о понимаемом мире в памяти ПС. Поскольку многие
специалисты по искусственному интеллекту (Р.Шенк, Г.Саймон и др.) считают ПС
аналогом психики человека (разумеется, не по структуре, а по выполняемым
функциям), то естественно, что при анализе репрезентации знаний они обращаются к
психологической литературе. В ней проблема репрезентации представлена в двух
основных направлениях.
Первое направление (стимулом к его развитию послужили работы в области
искусственного интеллекта) состоит в изучении того, в каком виде знания о мире
хранятся в памяти субъекта (или ПС). В рамках этого направления наиболее
распространенная точка зрения заключается в том, что знания хранятся в виде
некоторых типовых иерархически организованных структур (их называют
макроструктурами, фреймами, сценариями и т.д.). Процесс понимания субъектом
входных знаний, согласно данной точке зрения, это процесс поиска соответствия
знаний одной или нескольким структурам, "подгонки" входной информации под
хранящийся в памяти прототип.
Второе направление исследования репрезентации заключается в акценте на анализе
самого объекта понимания (т.е. понимаемой действительности) - как его целостной
структуры, так и отдельных элементов и взаимосвязей, детерминирующих процесс
понимания.
При формировании блока знаний ПС о предметной области исследователей в первую
очередь интересует то, на какие подобласти, ситуации следует аналитически
расчленить предметную область, отображаемую в текстах (знаниях). Например,
П.У.Торндайк полагает, что когда нужно понять текст, описывающий какой-то эпизод
из жизни человека, то для уяснения сути предметных связей эпизода (понимания
текста) необходимо представить его в виде последовательности событий: ЭПИЗОД =
ЦЕЛЬ (действующего лица) + ПОПЫТКА (достижения цели) + РЕЗУЛЬТАТ (успех или
неудача). С.Р.Гогдмен и другие исследователи указывают на то, что для понимания
юридического существа ситуаций заключения контракта необходимо уметь применять к
ситуации базовые правовые категории: ОБЯЗАННОСТЬ, ПРАВО, ПРБДЛОЖЕНИЕ, ПРИНЯТИЕ,
НАРУШЕНИЕ. Иначе говоря, знание о предметной области представляется в виде
перечисленных категорий, а понимание того, можно ли говорить о юридически
корректном заключении контракта в той или иной жизненной ситуации, зависит от
результата сопоставления ситуации с категориями, от попыток определить, не
противоречит ли ситуация взаимосвязанной системе категорий. Модель понимания
контрактных ситуаций С.Р.Гогдмена с соавторами встроена в компьютерную программу
STARE
Серьезное внимание проблеме представления знаний о предметной области при
создании ПС уделяет группа американских исследователей под руководством Р.Шенка.
Их основная цель - выявить и представить в системе структуры и механизмы,
лежащие в основе понимания текста. Анализируя объект понимания - текст, они
разработали теорию концептуальной зависимости. В ее основе лежит представление
текста в виде концептуальных зависимостей. Процедура понимания, о точки зрения
авторов этой теории, заключается в сопоставлении каждому предложению из текста
некоторой концептуальной "смысловой" структуры. На основе этой теоретической
модели разработано несколько компьютерных вариантов понимающих систем - SAM ,
FRUMP и др.
Основная сложность при понимании текста для систем о встроенной моделью
предметной области заключается в том, чтобы соотнести входное сообщение (запрос)
именно о той, отображенной в памяти ПС ситуацией предметной области, которую
имел в виду пользователь, обращаясь с запросом к системе. Определить же при
чтении текста, какую именно ситуацию предметной области имел в виду автор
(пользователь) в момент написания текста можно только в том случае, если
понимающей системе помимо знаний автора о предметной области известны и его
текущие задачи, цели, определившие направление его внимания на ту или иную
конкретную ситуацию. В противном случае точное понимание прочитанного
оказывается невозможным.
В связи с этим для адекватного понимания ПС должна иметь представление о том,
какую именно ситуацию предметной области имел в виду автор при написании
понимаемого в данный момент системой текста. Описание этой ситуации и является
задачей, целью его деятельное и в момент написания текста. Иначе говоря, можно
утверждать, что именно предвосхищаемая, представляемая пишущим ситуация является
целью его деятельности по написанию текста. Указанное определение цели
соответствует данным современной психологии. В частности, согласно точке зрения
А.Н.Леонтьева, цель - это осознанный, представляемый человеком результат его
деятельности. Это точка зрения получила дальнейшее развитие и теоретикоэкспериментальное
обоснование в цикле работ, проводившихся под руководством O.K.
Тихомирова.
Таким путем, т.е. анализируя данные психологии понимания, специалисты,
проектирующие ПС, пришли к выводу о необходимости введения в модель,
составляющую ядро машинного понимания, еще 6д-ного компонента - знаний о целях
автора понимаемого текста. Это сразу же сказалось на интерпретации самого
термина "понимание". Г.Саймон указал на то, что значение этого понятия
непосредственно зависит от задач, решаемых ПС. Но особенно конкретное и
определенное значение "понимание" приобрело в работе Э.В.Попова "Общение с ЭВМ
на естественном языке" (М.,1989), связавшего понимание с целью. Согласно точке
зрения этого исследователя, ЭВМ понимает смысл текста, если устанавливает его
взаимосвязь с замыслом, целью автора данного текста. Понимание считается
достигнутым, если каждое предложение текста идентифицируется с целью. В
противном случае, если ЭВМ не установила связи читаемого с целью, понимания не
наступает. Используя понятие "понимание" применительно к машине, мы будем
считать; что последняя "поняла" образующие входной текст словарные выражения,
если соотнесла каждое выражение о конкретным элементом предметной
действительности, причем о элементом, входящим в фрагмент предметной области,
выбор которого обусловлен целью понимания. Только соотнесенные с целью и
фрагментом предметной области словарные выражения текста будем называть
понятыми.
Эволюция развития ПС отражает стремление воссоздать средствами информатики и
вычислительной техники функциональные особенности процессов понимания человека.
В человеческой коммуникации понимание диалогично по своей природе, оно
формируется в процессе общения, по крайней мере, двух субъектов - автора и
адресата. Причем характер понимания сообщения адресатом (пользователем) в
значительной мере определяется его целями и знаниями о предмете темой общения.
Неудивительно поэтому, что сегодня при создании ПС значительное внимание
уделяется представлению в них моделей Пользователя.
Модели пользователя необходимы для идентификации объектов, обсуждаемых
партнерами по диалогу (системой и пользователем), для выявления подразумеваемых
в запросе планов действий пользователя, а также скрытых препятствий к
осуществлению этих планов. Именно так действует, например, вопросно-ответная
система, описанная в работе Дж.Ф.Аллена и Р.Перро. Система моделирует работу
служащего справочного бюро железнодорожного вокзала. Задача системы - выявить
план поведения пассажира и выдать ему информацию, не только явно запрашиваемую,
но и ту, которая может понадобиться для осуществления поездки на поезде (в
частности, при запросе о времени отправления поезда система указывает и то, с
какого пути он отправляется}.
Как показала практика машинного перевода и создания понимающих систем, знаний о
языке недостаточно для адекватного понимания: системы, основанные только на
лингвистических моделях, не способны выявить денотаты языковых выражений.
Система, адекватно понимающая текст, должна быть построена на кибернетическом
принципе обратной связи: она может установить денотат текста, если сумеет
"увязать" в единый замкнутый цикл цели автора и текста, предметную область,
описываемую в тексте, и цели читателя (пользователя).
Задача понимания текста относится к классу неформализованных задач. Объектом
понимания являются тексты организационно-распорядительных документов,
используемые в управлении народным хозяйством. Существует два подхода к решению
задачи понимания:
моделирование человеческих механизмов понимания естественно-языковых текстов;
создание технических систем, реализующих функцию понимания отличным от человека
способом при сравнимости результатов понимания системы и человека для заданной
цели понимания.
В качестве рабочего выбран второй подход. В этом случае решение задачи сводится
к построению такой процедуры, которая при поступлении на ее вход текста
документа выдала бы на выходе соответствующий результат понимания, сравнимый с
результатом понимания, полученным человеком.
Последовательно рассмотрим объект понимания, процедуру понимания и результат
понимания. Начнем с анализа объекта понимания и основных характеристик.
Функциональное назначение текста деловой прозы состоит в передаче информации от
одного лица к другому, находящемуся с первым в определенных деловых
(производственных) отношениях. Текст здесь рассматривается с позиций
деятельностного подхода, разработанного отечественным психологом А.Н.Леонтьевым,
представляющим речь как один из видов деятельности, направленной на достижение
определенного результата и вместе с тем стимулирующей данный вид деятельности.
Таким образом, у каждого текста есть конкретный автор, цель передачи информации
и адресат, которому эта информация предназначена и который должен выполнить
действия, предписанные автором. Цель понимания у адресата - правильно понять
предписание и выполнить соответствующее действие.
В текстах организационно-распорядительных документов реализованы
производственные отношения типа "руководитель - исполнитель". Задача порождения
текста автором - достижение им основной цели. Это может быть выполнение как
физических действий (строительство объекта и т.п.), так и нефизических
(информирование, выдача данных для последующего использования их адресатом и
т.п.). Цель "порождения текста является в этом смысле подцелью основной цели
автора.
Высокая исполнительская дисциплина выполнения заданий требует точного понимания
текста адресатом. Отсюда следует, что для достижения основной цели автор при
порождении текста ориентируется на конкретного адресата, его знания о предметной
области и знание языка. Цель порождения текста может разлагаться автором в
упорядоченную последовательность более простых целей. Наличие этой
последовательности определяет целевую структуру текста, расчленяя текст на
сообщения и организуя предложения в связный текст.
Итак, объект понимания - текст, предназначенный для передачи информации от
автора к адресату.
Соответственно задача понимания текста состоит в определении цели порождения
текста и идентификации ситуации проблемной области, которая была выбрана в
качестве предмета описания автором. Взаимосвязь механизмов порождения текста и
понимания его читателями нашла отражение в рассматриваемой ниже модели
порождения - понимания текста при обмене информацией между автором и адресатом
(рис.6.1.). Модель состоит из двух взаимосвязанных частей: модели порождения
текста и модели понимания текста.
Рис. 6.1.
Последовательно рассмотрим модели и их взаимосвязи.
Порождая текст, автор ориентирован на конкретного адресата и учитывает его
профессиональные и общие знания. Цель автора актуализирует конкретную ситуацию
проблемной области, и автор описывает ее (с учетом языковой практики адресата) в
словесных знаках естественного языка. Процедура понимания текста адресатом
предполагает наличие у него знаний о той же проблемной области и идентичных
знаний о языке. Адресат должен знать цель автора, чтобы правильно
идентифицировать ситуацию, которую автор описал. Понимание текста, по сути,
является обратной задачей по отношению к порождению текста.
Знания о проблемной области - единый базис и для порождения текста автором, и
для понимания текста адресатом. Цель понимания текста либо совпадает о целью
порождения (адресатом понимается весь текст документа), либо является ее
составной частью (понимается фрагмент текста, соответствующий цели понимания).
Вне цели понимания не происходит, (текст для адресата остается непонятным).
Декодированная адресатом информация стимулирует выполнение им предписанных
автором текста действий.
Результатом понимания текста адресатом является действие. Что касается
технической системы как посредника в интеллектуальной деятельности человека, то
результатом понимания текста будет не предписанное действие, а информация,
представленная в форме текста на естественном языке. Этот текст соответствует
запросу (цели конечного пользователя).
6.3. Условия целевого понимания текстов
Рассмотренная выше концептуальная модель порождения-понимания текста при речевом
общении субъектов позволяет определить основные условия целевого понимания
текстов документов технической системы.
Техническая система, выполняющая функцию целевого понимания текста, должна быть
по существу моделью интеллектуального посредника между автором текста и его
адресатами. Она должна понимать как цель автора документа, так и цель адресата.
В качестве базиса понимания выступают знания о предметной области.
Рис. 6.2.
Состав и Структура этих знаний должны выбираться, исходя из целевого назначения
текстов, которые подлежат понимании проектируемой технической системой.
Вне знаний о предметной области тексты не понимаются.
Состав и структура знаний о предметной области определяются составом ситуаций,
которые являются целями порождения текста, и степенью детализации их описания.
Последнее определяется членением цели порождения текста на подцели.
Второе условие связано с языковой формой представления текстов. Как уже
отмечалось, языковая практика человека позволяет ему при описании ситуации
предметной действительности выбрать нужные языковые единицы и оформить их
грамматически.
В технической системе должна быть модель языковой практики авторов и адресатов
текста для конкретной предметной области.
В большинстве разработок, занимающихся анализом текстов, не вводятся ограничения
на форму и содержание текстов. В предлагаемом подходе этот момент чрезвычайно
важен.
.Техническая система должна быть настроена на понимание текстов из определенной
предметной области, для чего она должна иметь модель языковой практики автора
текстов и адресатов. Более конкретно речь идет о конвенциальности языковых
соглашений авторов и адресатов текстов. Эти условия послужили основой для
реализации концептуальной модели машинного понимания текста (рио.6.2).
Определим процедуру машинного понимания текста. Техническая система является
интеллектуальным посредником, поэтому правильность понимания текста технической
системой определим по результату понимания и его сравнению с результатом
понимания того же текста человеком. Критерий правильности понимания является
вариантом критерия Тьюринга для определения качества мышления. Текст документа
считается понятым правильно, если ответ системы на запрос соответствует цели
понимания конечного пользователя и идентичен ответу, полученному конечным
пользователем при самостоятельном чтении текста.
Цель понимания текста конечным пользователем формируется в виде текста на
естественном языке и, по существу, представляет задание технической системе на
поиск информации.
Модель машинного понимания текста основана на реализации следующих процедур:
формирование базиса понимания (образца) путем вычленения из знаний о предметной
области фрагмента с учетом текущей цели понимания;
выделение словарных выражений (слов, словосочетаний, предложений ), обозначающих
выделенные элементы предметной области;
соотнесение выделенных словарных выражений с именами элементов предметной
области.
Результат понимания может быть представлен или в виде фрагмента текста,
содержащего информацию, соответствующую цели конечного пользователя, или в виде
пар: имя элемента предметной области - словарное выражение.
ГЛАВА 7. АВТОМАТИЗИРОВАННАЯ ПЕРЕРАБОТКА ТЕКСТОВ
7.1. Представление знаний
В процессе работы над созданием современных компьютерных систем, решающих
интеллектуальные задачи (в частности, понимания текстов на естественном языке),
на первый план выдвигается проблема представления знаний.
Знание - это результат адекватного отражения действительности человеком в виде
представлений, понятий, теорий, суждений. Применительно к компьютерной системе
знание - это адекватное описание действительности, конкретной предметной области
на естественном или искусственном языке.
На уровне представления знаний в компьютерной системе отражены как отдельные
элементы знания, так и связи между ними. Уровень представления знаний отличается
следующими особенностями: интерпретируемостью, наличием классифицирующих связей,
наличием ситуативных отношений (например, одновременности хранения,
совместимости знаний в машинной памяти). Кроме того, для уровня знаний
характерны такие признаки, как наличие специальных процедур: обобщения,
наполнения имеющихся в системе знаний и т.д.
Рассмотрение эволюции проблемы машинного понимания в искусственном интеллекте
обнаруживает, что именно разные типы знаний становились краеугольным камнем,
методологическим фундаментом компьютерных понимающих систем нескольких
поколений. Если первые понимающие системы включали только знания о языке, на
котором написаны подлежащие пониманию тексты, то современные понимающие системы
включают еще и знания о предметной области, о которой идет речь в тексте, а
также модели знаний и целей пользователя.
В зависимости от их вида знания представляются в словаре, семантической сети и
базе данных, а также при помощи фреймов, продукций и т.п.
Словарь системы содержит морфологическую, синтаксическую и семантическую
информацию, приписанную каждому слову русского языка.
Семантическая сеть представляет собой модель внешнего мира (предметной области,
в которой работает система) и изображается в виде помеченного ориентированного
графа.
База данных представляет собой массивы числовых данных или тексты, интересующие
пользователей.
7.2. Автоматический анализ и синтез речи
Модели анализатора и синтезатора речи. Расширение применения ЭЕМ для обработки
информации вызывает растущую потребность взаимодействия человека с машиной в
виде устной речи. Необходимым становится решение проблемы автоматической
обработки речи, что включает в себя решение задач: синтеза речи, распознавания
речи и верификации (распознавания) говорящего.
Перспективы практического использования человеко-машинной речевой связи весьма
широки. Достаточно отметить, например, такой факт, что в среднем человек
произносит и воспринимает десять звуков в секунду из фонетического алфавита
емкостью около 60 звуков, в то время как при наборе данных на клавишном
управляющем устройстве делается около пяти ударов в секунду, т.е. в два раза
меньше, чем при произнесении. Естественно, эргономические показатели такой
работы не идут ни в какое сравнение с речевой связью.
Кроме этого, речевой способ общения в человеко-машинных системах имеет следующие
преимущества:
превращает ЭВМ из "великого немого" в говорящую и воспринимающую речь систему;
обеспечивает естественность общения и разгрузку зрительного канала;
устраняет ручные манипуляции 'при вводе информации и увеличивает скорость ввода;
открывает возможность свободного перемещения в пространстве при общении о
системой и т.д.
Успешное решение задач по созданию систем речевого общения человека и машины
требует наличия определенного уровня развития таких научных дисциплин, как
теория информации, системное моделирование, обработка сигналов, теория
вычислительных систем, вычислительная техника, лингвистика и, в частности,
фонетика.
Классификация систем речевого общения. Непосредственное оперативное человекомашинное
взаимодействие в определяющей степени связано в перспективе с
внедрением средств ввода в ЭВМ и вывода речевых сигналов, так называемых речевых
дисплеев. Речевой дисплей - это тип внешнего устройства ЭВМ, дающий возможность
речевого взаимодействия человека и машины на естественном языке.
К настоящему времени достаточно четко обозначились четыре поколения систем
речевого общения:
система ввода в ЭВМ и вывода фраз, составленных из раздельно произносимых слов
при объемах словаря, содержащего десятки и сотни слов;
системы ввода фраз, составленных из слитно произносимых слов при большом или
неограниченном словаре;
системы ввода слитно произносимых простых фраз при словаре, содержащем тысячи
слов;
системы, понимающие слитную речь произвольного содержания.
По системам первого поколения основные научно-технические проблемы уже решены.
Начался этап серийного производства, внедрения и эксплуатации аппаратнопрограммных
средств различного класса.
По системам второго поколения центральной проблемой является проблема хорошей
разборчивости и естественности речи.
По системам третьего поколения ведутся интенсивные поиски.
Нерасчлененность акустического сигнала на слова заставляет вести многовариантный
анализ отрезков речи на всех уровнях - от параметрического до семантического. По
системам четвертого поколения пока что ведутся теоретические исследования.
Построение систем распознавания речи базируется на моделировании работы органов
речи и слуха человека. Речевой дисплей включает анализатор речи, синтезатор речи
и устройства сопряжения.
Анализатор речи представляет собой устройство автоматического распознавания
речевых сигналов и их кодирования для ввода в ЭВМ. По функциональному назначению
устройство делится на два блока - анализатор и классификатор.
Анализатор предназначен для введения фонетических признаков речевых сигналов,
описывающих произнесенную команду.
В классификаторе осуществляется сравнение эталонов, записанных в процессе
обучения, с распознаваемой командой. Упрощенная модель анализатора речи показана
на рис. 7.1. Задачей анализатора речи является воссоздание совокупности
функционалов (Fri) по принимаемому акустическому сигналу. Практически во всех
системах имеются выделители (фильтры) основного тона (F1) , селекторы шумовых
(F2) и тональных (F3) участков речи, анализаторы спектра (Fri - Frn).
Синтезатор речи представляет собой устройство автоматического синтеза устной
речи непосредственно по тексту, чем достигается возможность речевого вывода
информации из ЭВМ. Синтез речи осуществляется на основе моделирования процессов
речеобразования. По функциональному назначению устройство делится на четыре
блока: блок преобразования текста и блоки моделирования интонационных,
артикуляторных и акустических процессов речеобразования.
На рис. 7.2 представлена схема модели синтезатора речи.
Текстовая информация от источника (ЭВМ, фотоввода) вводится определенными
предложениями (фразами) в буферное запоминающее устройство. На основе анализа
поступающего пакета автоматически генерируются электрические сигналы интонации и
сигналы, имитирующие артикуляционные речедвижения.
По полученным сигналам рассчитываются акустические характеристики речевого
тракта и в конечном итоге на выходе вырабатывается синтезированный речевой
сигнал.
Рис.7.1
Источник потока воздуха, создает несущее колебание через генератор шумовых
звуков, имитирующий пропускание потока воздуха через артикуляционные щели при
заторможенных голосовых связках. При пропускании потока воздуха через генератор
тональных колебаний имитируется работа голосовых связок в расторможенном
состоянии. Совокупность резонансных цепей представляет собой эквивалент
резонансных полостей носоглотки. В пятом блоке формируется суммарный
акустический сигнал, а шестой элемент осуществляет переключение тональных и
шумовых звуков. Функционалы (Put ) представляют собой управляющие сигналы,
поступающие из генератора текстов (например из системы анализа и синтеза
текстов).
Рис. 7.2.
Система речевого общения. На рис.7.3 приведена общая структура предполагаемой
системы речевого общения, состоящей из следующих основных блоков:
выделения из исходного сообщения признаков, используемых для
распознавания речи;
преобразования (на основе выделенных признаков) исходного сообщение в
последовательность фонем;
сегментации последовательности фонем (выделение слов);
анализа и синтеза текста;
преобразования (текста) ответа в последовательность фонем;
звукового воспроизведения синтезированного ответа.
Исходное сообщение в виде непрерывного звукового сигнала поступает в анализатор.
Этот сигнал преобразуется в последовательность дискретных сигналов и в
последовательность фонем.
Рис.7.3
Из последовательности фонем сегментацией выделяются с
...Закладка в соц.сетях
