Обработка естественного языка

• Стоимость услуги будет зависеть от требований по задаче
• Минимальная стоимость услуги обработки естественного языка от 28 000 ₽

Текстовый анализ

Под анализом текста понимается широкая группа задач, связанных с извлечением различной информации из текстовых данных. В большинстве случаев, для решения задач используются нейронные сети, классические статистические методы и модели основанные на правилах и эвристиках.

Бизнес применение

Анализ текста как правило позволяет структурировать скрытые текстовые признаки, позволяя автоматизировать задачи связанные с процессами документооборота, такие как: согласование платежей и договоров (автозаполнение именованных сущностей), маршрутизация заявок и писем (классификация и кластеризация), оптимизация поиска, сбор и анализ информации с веб-ресурсов таких как ассортимент товаров и услуг, экономических и бизнес новостей, мониторинг общественного мнения через форумы и соцсети.

Инструменты

Словари, регулярные выражения, синтаксический анализ, частотный анализ, классические статистические модели, меры оценки близости между объектами на основе семантических признаков, контекстно-свободные грамматики, тематические модели, семантические парсеры, методы предварительной обработки текста, признаки word embeddings, контекстуальные модели, нейросетевые архитектур типа Transformer.

Исправление грамматических ошибок

Инструменты исправления грамматических ошибок помогают искать не только грамматические ошибки, но и орфографические, пунктуационные ошибки, а также стилистические. Модели и методы позволяют оценивать такие стилистические факторы текста как: лаконичность, понятность, увлекательность (словарный запас и разнообразие), манера подачи информации (формальность, вежливость, уверенность) и т.д.

Бизнес применение

Сокращение издержек на редакцию за счет автоматизации, повышение качества создаваемого текстового контента. Помощь в исправлении грамматических, орфографических и стилистических ошибок в бизнес переписке, написании статей.

Технологии

Словари, языковые модели, признаки word embeddings, контекстуальные модели, нейросетевые архитектур типа Transformer, деревья синтаксического разбора, правила свободных грамматик.

Классификация и кластеризация текста

Классификация документов с применением методов машинного обучения заключается в отнесении документа к одной из нескольких заранее определенных категорий на основании содержания документа. Главное отличие кластеризации от классификации состоит в том, что алгоритмы классификации требуют заранее заданные классы, тогда как при кластеризации количество и структура классов автоматически определяется в процессе работы алгоритма.

Бизнес применение

Маршрутизация заявок, фильтрация спама, маршрутизация почты по отделам и классификация других признаков текста, предсказание успешности сделки/контракта по ее условиям.

Технологии

Логистическая регрессия, деревья решений/бустинг, глубокие нейронные сети, word-embedding, методы уменьшения размерности, методы кластеризации, графовые, иерархические и статистические методы кластеризации.

Извлечение именованных сущностей

Задача NER состоит в поиске и определении объектов (личностей, мест, названий, чисел и тд) в тексте. В контексте «“Гарри Поттер” - серия романов, написанная британской писательницей Джоан Роулинг» NER должно понять, что «Гарри Потер» это название, а «Джоан Роулинг» это автор.

Задача NER приобрела популярность благодаря гибкости постановки задачи. Можно отметить контекст, имеющий отличия от всего текста, что позволяет создать собственный набор сущностей для определённых работ, разбить корпус текстов и данным набором данных обучить модель. Такой алгоритм работы и делает NER популярной задачей среди NLP индустрии.

Бизнес применение

NER позволяет структурировать неструктурированные данные для автоматизации поиска и автоматического заполнения документов, например:

• Парсинг названия пиццы из заказа в чат-боте, времени и адреса доставки
• Парсинг имени клиента, суммы договора и оказываемой услуги в документе об оказании услуг
• Автоматизация коммуникации контакт-центров и служб поддержки
• Извлечение данных из юридических документов (договоров, накладных и т.д)

Технологии

Словари, языковые модели, признаки word embeddings, контекстуальные модели, нейросетевые архитектуры типа Transformer.

Анализ тональности текста

Анализ тональности текста это набор функций для контент-анализа в компьютерной лингвистике, задачей которого является автоматическое определение эмоционально выделенной лексики, связанной с сущностями о которых идет речь в тексте.

Бизнес применение

Оценка качества товаров и услуг на основе отзывов пользователей интернет ресурсов, противодействие экстремизму и терроризму, автороведческое исследование документов в криминалистике, анализ ситуации на фондовых рынках и прогнозирование волатильности финансовых активов, выявление отношения клиентов к товарам и услугам.

Технологии

Тональные словари, методы основанные на правилах и словарях: Word2Vec который представляет собой два разных метода: CBOW и skip-gram, а также Doc2Vec который тоже состоит из двух методов: distributed memory и DBOW. Методы, основанные на теоретико-графовых моделях, методы, основанные на машинном обучении.

Суммаризация текста

Автоматическая суммаризация текста направлена на конспектирование длинных текстов, с целью оставить полезную информацию, без потери общего смысла, если делать это вручную, то это может оказаться трудозатратным.

Существует два основных типа суммаризации текста в NLP:

• Суммаризация на основе извлечения

  Методика экстрактивного обобщения текста содержит в себе поиск и сбор ключевых фрагментов из первоначального документа для дальнейшего создания резюме. Извлечение проходит в соответствии с заданной метрикой без каких-либо изменений исходных текстов.

• Обобщение на основе абстракции

  Техника абстракции подразумевает под собой укорочение и переписывание текста без потери смысла. Если абстракция используется для обобщения текста в задачах обучения, она может преодолеть грамматические несоответствия экстрактивного метода. Абстрактивная суммаризация, в отличие от экстрактивной генерирует более качественный и удобочитаемый текст, однако требует больше данных для обучения моделей.

Бизнес применение

Сжатие (смысловая выжимка) лицензионных соглашений, судебных документов, договоров, соглашений, новостных статей и бизнес отчетов, создание статей с кратким содержанием.

Технологии

Сonditional random fields, экстрактивные модели, генеративные модели, tf-idf, частеречный анализ, графовые модели.

Генерация текста

В популярных средствах массовой информации наибольшее внимание уделяется системам, которые генерируют шутки, но с коммерческой точки зрения наиболее успешными приложениями NLG были системы, которые генерируют текстовые сводки баз данных и больших наборов данных. Эти системы обычно выполняют анализ данных, а затем его сжатие.

NLG можно рассматривать как противоположность понимания естественного языка (Natural Language Understanding): в то время как в понимании естественного языка системе необходимо устранять неоднозначность входного предложения для создания языка машинного представления, в NLG системе необходимо принимать решения о том, как представить концепцию словами. Практические соображения при построении систем NLU и NLG несимметричны. NLU должен иметь дело с неоднозначным или ошибочным вводом данных пользователем, тогда как идеи, которые система хочет выразить через NLG, обычно известны точно. NLG необходимо выбрать конкретное самосогласованное текстовое представление из множества возможных, тогда как NLU обычно пытается создать единое нормализованное представление выраженной идеи.

Исследования показали, что текстовые резюме могут быть более эффективными, чем графики и другие визуальные элементы для поддержки принятия решений, и что компьютерные тексты могут превосходить (с точки зрения читателя) тексты, написанные человеком.

Бизнес применение

В настоящее время существует значительный коммерческий интерес к использованию NLG для обобщения финансовых и бизнес-данных. Gartner заявляет, что NLG станет стандартной функцией 90% современных платформ BI и аналитики. NLG также используется в коммерческих целях для автоматизированной журналистики, чат-ботов, создания описаний продуктов для сайтов электронной коммерции, составления сводок медицинских записей.

Существует также вспомогательное применение в области задач машинного обучения — искусственное обогащение данных с помощью генерации похожих на существующие данные текстов с целью обогатить словарь и вариации выражений.

Технологии

Языковые модели, цепи Маркова, глубокие нейросетевые архитектуры: GAN, RNN, LSTM и др.

Распознавание речи

Распознавание речи - технология перевода звуковой волны с голосом в текстовый формат. Существуют онлайн и оффлайн модели распознавания речи. Онлайн-модели предназначены для параллельной работы с микрофоном, имея возможность корректировать результат на ходу, учитывая контекст появляющихся слов. Оффлайн-модели предполагают распознавание уже записанной речи что позволяет им разом просчитать контекст полной записи.

Бизнес применение

Речевые команды должны были облегчить жизнь пользователям от ввода при помощи клавиатуры или сенсорных методов ввода. Цифровизация информационных потоков на естественном языке позволяет повысить эффективность производства за счет

• Обогащения информационных ресурсов большими данными - текстовая транскрипция всех голосовых информационных потоков
• Дополнительной автоматизации документооборота за счет обогащения текстовой базы знаний
• Сокращение временных издержек на управление, поиск и анализ информации на всех уровнях производства
• Снижение доли ошибок при вводе и анализе данных
• Повышение уровня безопасности за счет голосовой биометрии
• Сокращение времени обучения сотрудников

Эффективным примерами применения данной технологии являются голосовые ассистенты и приложения, поддерживающие голосовой ввод. Кроме мобильных устройств, распознавание речи применяется в разных сферах бизнеса:

Технологии

Акустические модели, языковые модели, скрытые марковские модели, гауссовская смешанная модель, Глубокие нейросетевые модели (end2end) и фреймворки: kaldi, espnet, WaveNet, Baidu Deep Speech, VOSK.

Синтез речи

Синтез речи - технология, способная преобразовывать текстовую информацию в человекоподобную речь. Возможен также синтез предварительно записанным голосом. Существует 2 основных подхода к решению задачи синтеза речи средствами машинного обучения: составные модели и модели end2end. В последнее время на рынке происходит сильное развитие end2end подхода.

Плюсы и минусы end2end подхода состоит в следующем:

• Задачи анализа текста, моделирования звука и синтеза речи решаются единой моделью, в отличие от классического подхода, когда система состоит из многих компонент
• Требуется меньше ручной работы над извлечением признаков
• Проще выучивают вариацию голосов и даже различных языков
• Быстрее происходит адаптация к новым данным
• Составные модели надежнее раздельных, в случае ошибки одного компонента, не усугубляются качества последующих компонентов
• Имеют большую способность учитывать скрытые внутренние зависимости в данных
• Лучше умеют генерировать понятную и естественную речь
• Нет необходимости поддерживать большую базу данных голосов

Бизнес применение

Автоматизация колл-центров, голосовые телефонные боты, автоматическая озвучка речевых скриптов, аудиокниги, поздравление речью знаменитостей.

Технологии

WaveNet, tacotron, другие нейросетевые архитектуры.