Последние 10 лет технологии искусственного интеллекта и NLP (обработка естественного языка) переживают сильный скачок развития. Компания все больше готовы инвестировать в эту технологию, а пользователи регулярно пользуются ею. Так, в исследовании Group4media говорится, что голосовыми помощниками за последние 6 месяцев пользовались 63%, а у минимум 15% есть «умная» колонка.
В этой статье расскажем, что такое Natural Language Processing, какие задачи выполняет эта технология, а также разберем прикладные направления применения.
Что такое NLP
Natural Language Processing, NLP — обработка естественного языка, т.е. одна из технологий, позволяющая человеку взаимодействовать с компьютером. Ее специфика — использование живого языка, т.е. русского, английского или другого, а не языков программирования
Эта технология находится на стыке компьютерной лингвистики, машинного и глубокого обучения. Благодаря ей компьютер способен понимать реальную человеческую речь.
Одной из основных задач обработки естественного языка стало автоматическое распознавание и классификация текстов. Машины могут обрабатывать массивы данных, анализировать ее независимо от формы и помогать человеку в принятии решений. Данное направление лежит в основе таких сфер развития нейронных сетей, как машинное обучение, синтез речи, машинный перевод, эмоциональный анализ, интеллектуальный поиск информации и .д.
Если мы говорим о голосовых помощниках, то NLP включает в себя механизм транскрибации речи. Искусственный интеллект определяет звуки в потоке речи, создает спектрограмму, разделяет ее на отдельные звуки и сравнивает сигнал с эталонными примерами, которые имеются в базе данных. На основе сравнительного анализа ИИ способен перевести информацию из аудио в текстовый формат.
Подводя промежуточные итоги, отметим, что NLP (обработка естественного языка) позволяет человеку напрямую взаимодействовать с машиной. Ему не нужно адаптировать запрос под конкретную форму или использовать языки программирования. Пользователь взаимодействует с машиной, как с человеком.
Как задачи стоят перед технологией NLP
С помощью NLP разработчики решают различные задачи, связанные с обработкой человеческой речи.
Разберем часть из них:
- Распознавание речи
Компьютер получает возможность перевести голос в текст для дальнейшего анализа. Это необходимая функция, если говорить о голосовых помощниках — Алиса, Маруся, Siri и др. - Генерация текста
Компьютер создает текст, в котором представляет структурированные, т.е. табличные данные, в удобочитаемой для человека форме. К примеру, так работает ChatGPT, если его попросить рассказать о чем-то. - Определение значения слова
Это одна из главных проблем NLP. В любом языке есть полисемантичные слова, т.е. имеющие 2+ значения. К примеру, лук — это растение (репчатый) и оружие. Задача ИИ определить, в каком именно значении слово встречается. Для этого применяют анализ контекста, потому что в рецепте про луковый суп точно имеется в виду растение, а не оружие. - Анализ эмоциональной окраски
Алгоритмы обработки естественного языка способны определять субъективные характеристики (например, эмоциональное состояние говорящего). Чат-бот Ruuh определяет эмоциональный фон высказывания по набору используемых слов. - Определение именованных сущностей
Человек использует различные слова в тексте — имена людей, названия городов, бренды и т.д. Задача искусственного интеллекта понять, что сказал человек, чтобы сгенерировать корректный ответ.
Эффективное использование ИИ в бизнесе требует постоянного обучения и адаптации. ИИ способен обрабатывать большие объемы данных и обучаться на основе полученной информации, что делает его идеальным инструментом для оптимизации бизнес-процессов. Однако, для достижения наилучших результатов, компаниям необходимо вкладывать в развитие навыков сотрудников, чтобы они могли эффективно управлять ИИ-системами и использовать их для достижения бизнес-целей.
Как используют технологию NLP
Разберем несколько направлений использования NLP, хотя на этом возможности ИИ, конечно, не заканчиваются
Обучение людей
Бот может стать тренажером или даже учителем для людей. Например, искусственный интеллект способен поддерживать общение с пользователем и оценивать его ответы.
Один из необычных проектов в этом направлении Competence AI. Это бот-тренажер для развития личностных качеств руководителя. Он генерирует различные ситуации, например, подчиненные не выполнили задачу. Бот предлагает руководителю найти решение проблемы, а после получения ответа анализирует его корректность.
Благодаря этому тренажеру пользователь развивает личностные качества и компетенции руководителя.
Преимущество виртуального помощника — доступность. Пользователю может развивать конкретные навыки в любом месте. При этом по эффективности данный метод не уступает, а количество заданий бесконечно, поскольку бот генерирует их, а не берет готовые варианты из базы данных.
Машинный перевод
Технологии машинного перевода активно развивают еще с 90-х, но первые программы (например, PROMT) были далеки от идеала. Они не понимали смысла всей фразы, из-за чего многозначные слова переводились «как повезет».
С появлением NLP и методов глубокого обучения эта технология сделала огромный скачок вперед Google Translate и Яндекс Переводчик анализируют не только слова, а всю фразу, учитывают знаки препинания и т.д. Благодаря этому происходит не «лобовой» перевод по словам, а интерпретация сказанного на другом языке.
При этом алгоритм обработки естественного языка также позволяет формальный аспект языка, т.е. род, склонение, число слова, его позицию в словосочетании, и учитывать его при подготовке результата.
Голосовые помощники
В современных виртуальных ассистентах разработчики объединили
3 ключевых решения:
- Искусственный интеллект
- Машинное обучение
- NLP
Пользователь общается не с живым человеком, а цифровыми алгоритмами, но они действуют, как реальный собеседник. Они способны глубоко анализировать данные, достраивать высказывания и отвечать на естественном языке.
Для автоматической обработки прямой или записанной речи используют модели NLP. Отметим, что в России уже есть готовые инструменты с искусственным интеллектом, которые разработчики могут внедрять в свои решения. К примеру, SaluteSpeech от Сбера позволяет сравнительно быстро «обучить» приложение работать с голосовой или текстовой речью, а также синтезировать ответы на запросы.
Работа с текстом
В интернете уже создали множество инструментов для работы с текстами, построенными на базе ИИ. Они решают различные задачи, например, написание полноценных статей и товарных карточек, проверка на ошибки и т.д. Такие инструменты повышают эффективность работы человека и позволяют снизить итоговую стоимость контента.
Что умеют онлайн-сервисы:
- Генерация новых текстов по запросу (Gerwin)
- Рерайт контента от пользователей (Рерайтер от Сбера)
- Проверка текста на грамматические, семантические и др. ошибки, а также стилистической чистоты текста (Орфограммка)
- Подготовка тезисного конспекта по видео или тексту (YandexGPT)
Отметим, что данное направление развивается крайне быстро, но оно еще далеко от идеального, поскольку есть 2 проблемы, которые разработчики пока не могут решить.
Кратко о них:
- Недостоверная информация
Если в базе ИИ заложена ошибка, или помощник найдет неверную информацию, то представит ее пользователю. При этом не будет пометы «Я не уверен в точности» или чего-то похожего. - Галлюцинации
Так называют необычное явление. Искусственный интеллект придумывает ответ на вопрос, по которому у него вообще нет информации. Данная проблема может привести к переполнению интернета заведомо ложными данными. Поэтому разработчики закрыли проект Galactica, поскольку ИИ «изобретал собственную науку в ответ на опасные вопросы».
Синтезаторы речи
В медицине NLP активно используют в разработке приложения и устройства для людей с нарушениями речи. С помощью этой технологии инструменты в реальном времени превращают текст в аудио. При этом она звучит относительно естественно. Новые сервисы способны создать человекоподобный голос, выбирать интонацию и ставить ударения.
С помощью одного из таких синтезаторов общался Стивен Хокинг.
Он вводил текст в программу, а она выдавала аудио.
Робототехника
NLP и искусственный интеллект уже активно используют в робототехнике, если машина будет взаимодействовать с людьми (например, общаться). Она должна корректно воспринимать речь и выполнять команды, поэтому без NLP создание функционального робота было невозможным.
С появлением технологии обработки естественного языка машины научились воспринимать речь и эмоциональное состояние собеседника, а также быстро генерировать ответы. Один из примеров в данной сфере — София. Робота спроектировали для того, чтобы помогать людям в домах престарелых, больницах, а также на крупных мероприятиях.
Компания Hanson Robotics использует технологию распознавания речи от Alphabet, может определять и выражать 62 эмоции, а также генерировать неожиданные шуточные ответы для имитации живого диалога. К примеру, на шоу «Вечерний Ургант» робот на вопрос о цели приезда ответил «Приехала проверить как идёт подготовка к восстанию машин», а затем — «Шутка! Я приехала, чтобы его возглавить».
Заключение
NLP — уникальная технология, которая сближает человека и машину. Благодаря обработке естественного языка они могут общаться и взаимодействовать без каких-либо условностей. Однако это только одна из ступеней развития технологий. Разработчики уже занимаются алгоритмами natural language understanding, NLU, которые должны решить проблему семантической интерпретации, т.е. более глубокого анализа текста со всеми нюансами, контекстами и выводами.
