Обработка естественного языка (NLP) относится к отрасли компьютерных наук — и, более конкретно, к отрасли искусственного интеллекта, — занимающейся предоставлением компьютерам способности понимать текст и произносимые слова почти так же, как это делают люди.
NLP сочетает компьютерную лингвистику — основанное на правилах моделирование человеческого языка — со статистическими моделями, машинным обучением и моделями глубокого обучения. В совокупности эти технологии позволяют компьютерам обрабатывать человеческую речь в форме текста или голосовых данных и ‘понимать’ ее полное значение в соответствии с намерениями и чувствами говорящего или пишущего.
НЛП управляет компьютерными программами, которые переводят текст с одного языка на другой, реагируют на произносимые команды и быстро обобщают большие объемы текста — даже в режиме реального времени. Велика вероятность того, что вы взаимодействовали с NLP в виде голосовых систем GPS, цифровых помощников, программного обеспечения для преобразования речи в текст под диктовку, чат-ботов по обслуживанию клиентов и других потребительских удобств. Но NLP также играет растущую роль в корпоративных решениях, которые помогают оптимизировать бизнес-операции, повысить производительность сотрудников и упростить критически важные бизнес-процессы.
Человеческий язык https://expert.ru/2023/04/7/chto-takoye-nlp-i-dlya-chego-ono-nuzhno/ полон двусмысленностей, которые невероятно затрудняют написание программного обеспечения, точно определяющего предполагаемое значение текста или голосовых данных. Омонимы, омофоны, сарказм, идиомы, метафоры, исключения из грамматики и использования, вариации в структуре предложений — это лишь некоторые из нарушений человеческого языка, на изучение которых у людей уходят годы, но которые программисты должны научить приложения, основанные на естественном языке, распознавать и понимать точно с самого начала, если эти приложения собираются быть полезными.
Несколько задач NLP разбивают человеческий текст и голосовые данные таким образом, чтобы помочь компьютеру разобраться в том, что он проглатывает. Некоторые из этих задач включают следующее:
- Распознавание речи, также называемое преобразованием речи в текст, заключается в надежном преобразовании голосовых данных в текстовые. Распознавание речи требуется для любого приложения, которое выполняет голосовые команды или отвечает на устные вопросы. Что делает распознавание речи особенно сложным, так это то, как люди говорят — быстро, невнятно произнося слова, с разным акцентом и интонацией, с разными акцентами и часто используя неправильную грамматику.
- Пометка частью речи, также называемая грамматической пометкой, представляет собой процесс определения части речи конкретного слова или фрагмента текста на основе его использования и контекста. Часть речи идентифицирует слово «make’ как глагол в фразе «Я могу сделать бумажный самолетик’ и как существительное в фразе «Какая марка автомобиля у вас есть?».
- Устранение неоднозначности смысла слова — это выбор значения слова с несколькими значениями посредством процесса семантического анализа, который определяет слово, имеющее наибольший смысл в данном контексте. Например, устранение неоднозначности смысла слова помогает отличить значение глагола ‘make’ в словах ‘make the grade’ (достичь) от ‘make a bet’ (разместить).
- Распознавание именованных объектов, или NEM, идентифицирует слова или фразы как полезные объекты. NEM идентифицирует ‘Кентукки’ как местоположение или ‘Фред’ как мужское имя.
- Разрешение совместной ссылки — это задача определения, относятся ли два слова к одному и тому же объекту, и когда именно. Наиболее распространенным примером является определение лица или объекта, к которому относится определенное местоимение (например, ‘she’ = ‘Mary’), но это также может включать идентификацию метафоры или идиомы в тексте (например, пример, в котором ‘bear’ — это не животное, а большой волосатый человек).
- Анализ настроений пытается извлечь из текста субъективные качества — отношение, эмоции, сарказм, замешательство, подозрение.
- Генерация естественного языка иногда описывается как противоположность распознаванию речи или преобразованию речи в текст; это задача перевода структурированной информации на человеческий язык.