В более совершенном мире нам не пришлось бы говорить на языке компьютера

Пользователи вынуждены адаптировать свой язык таким образом, чтобы компьютеры могли его понимать, передавая свои вопросы с учетом возможностей базы данных. В совершенном мире нам не пришлось бы говорить на языке компьютера. Компьютеры могли бы поддерживать средства обработки естественного языка, понимая и отвечая пользователям так, как это делают люди.

Благодаря обработке естественного языка корпоративные пользователи могли бы формулировать свои вопросы, пользуясь терминологией, принятой в данной отрасли, и получать ответы на том же языке. Освобождая пользователей от необходимости постоянно переводить язык бизнеса на язык компьютеров и обратно, обработка естественного языка, в отличие от всех других технологий, созданных за последние несколько лет, позволила бы сэкономить время и увеличить производительность.

Конечно, группе разработчиков, которая представит на рынке полное подобное решение, гарантируется огромное вознаграждение. Впрочем, пока приз не достался никому.

Когда вы взаимодействуете с такой программой, как виртуальный психиатр Eliza, вы имеете дело с простейшей и старой, как компьютеры, «подделкой» обработки естественного языка

Для специалистов по обработке естественных языков пока несбыточной мечтой остается компьютерная модель процесса понимания языка, происходящего в мозгу человека. Самые лучшие из современных систем обработки естественного языка способны понимать большую часть того, что говорит пятилетний ребенок, однако язык взрослых слишком изобилует нюансами диалекта, упрощенным синтаксисом и профессиональной терминологией. Все это не укладывается в привычные для компьютера строгие словари и жесткие грамматические правила.

Некоторые сложные статистические модели предлагают ограниченные возможности адаптации к речи взрослых людей, но пока эти методы лучше работают в управляемой среде, например в учебной аудитории, нежели в коммерческих приложениях.

Скажем, когда вы взаимодействуете с такой программой, как виртуальный психиатр Eliza, или используете функции поиска для формализованных языков, которые предлагаются на ряде Web-сайтов, вы имеете дело с простейшей и старой, как компьютеры, «подделкой» обработки естественного языка — синтаксическим анализатором ключевых слов. Программист, создающий такой анализатор, может предложить весьма впечатляющую демонстрацию, поскольку он говорит на языке самого анализатора. Вот почему большинство так называемых систем обработки естественного языка — это не более чем иллюзия: они требуют, чтобы пользователь адаптировался к их правилам.

Сейчас существует множество проектов, связанных с обработкой естественных языков, которые ведут как научные организации, так и сообщество сторонников свободно распространяемого ПО. К последним как раз и относятся Генн Бьернер и Джейсон Белдридж, которые возглавили работу над системой Grok, анализирующей предложения на английском языке, используя для этого компактную грамматическую таблицу.

Обработка естественного языка — это целый круг задач, и решить их в рамках одной системы невозможно. Реальный прогресс будет возможен лишь в том случае, если свои знания объединят программисты, лингвисты, математики, социологи и другие ученые. Вот тогда обработка естественных языков станет практически осуществимой, а имеющиеся сейчас сложные и неустойчивые лингвистические модели преобразуются в элегантные и согласованные формулы. Но до тех пор нам придется самим общаться с компьютерами на их языке.


Обработка естественного языка

Система, которая «учит» компьютеры общаться на повседневном, естественном для человека языке, в том числе и на сленге, позволит избавиться от необходимости переводить данные и информационные запросы в формы, понятные компьютеру. Помимо всего прочего этот поистине титанический труд требует создания алгоритмов, аналогичных по своей сути тем процессам, которые происходят в мозгу человека при восприятии языка

Поделитесь материалом с коллегами и друзьями