Машинное обучение

Когда следует использовать машинное обучение

Машинное обучение строится на принципах статистики и обучения на прецедентах. Они являются базой, позволяющей машине делать выводы, давать ответ на заданный вопрос. У обученной модели оценивают качество по одной из метрик: точность, полнота и т.п. Для этого применяется некоторый набор данных, ранее не задействованный в процессах обучения модели, чтобы минимизировать эффект переобучения. Задача тестов - оценка способности системы к обобщению полученных данных. Если испытания показали, что способность модели к обобщению небольшая, велика вероятность того, что в практической работе будет много ошибок, особенно если новые данные будут отличаться от информации, применяемой при обучении.

Это приводит к тому, что машинное обучение применяется в ограниченном режиме. Это относится к ситуациям, когда высока стоимость ошибки, например, при постановке диагноза. Модель, проанализировав симптомы, точнее поставит диагноз, чем дипломированный врач, но эти данные начала лечения пациента перепроверяются. Окончательный диагноз поставит только человек.

Считается, что использовать машинное обучение целесообразно, если компания работает с большими объемами структурированных данных, располагает инфраструктурой Big Data. Реализация проекта и оказание услуг по внедрению упрощается, если данные размечены, подготовлены к последующей обработке и обучению модели. Однако не стоит забывать, что предварительная обработка данных трудозатратна. Во время предварительной обработки данные делят на классы, анализируют, очищают от посторонней информации. Еще один этап - оценка репрезентативности или соответствия решаемой задаче. С ростом объема данных трудозатраты на решение задачи увеличиваются. При этом, наличие информации в больших объемах не гарантирует, что задача будет решена с заданным уровнем точности.

Наиболее развитыми областями применения машинного обучения являются распознавание образов и обработка естественного языка (NLP). При построении моделей применяются наработки сообщества, позволяющие эффективно решать задачи автоматизации, даже имея относительно маленькие объемы размеченных данных. Информация поступает из общедоступных источников при условии, что обучающие данные имеют достаточное сходство с предметной областью решаемой задачи. Снизить объем необходимых данных помогает внедрение в работу моделей, прошедших предварительное обучение. Их адаптируют под конкретный проект, предоставляемую услугу.

Думаете над использованием машинного обучения для решения конкретной задачи? Вспомните о «черном ящике», проблеме его функционирования. Чем сложнее сама модель, тем больше вопросов возникает при интерпретации решений, предлагаемых ей. Это ограничивает применение машинного обучения в областях, где принятие решений, при выполнении бизнес-задачи, может привести к юридической ответственности, например в банковских программах скоринговой оценки клиентов. Важно понимать, почему машина отказывает в выдаче кредита конкретному человеку. В таких ситуациях целесообразно применять интерпретируемые модели машинного обучения, к которым относятся, например, обобщенно-линейные, логистические модели и деревья решений. При использовании интерпретируемых моделей эксперт объяснит, почему на конкретный вопрос дан такой ответ.

Подводя итоги вышесказанному, можно отметить, что машинное обучение рекомендуется использовать, если задачу сложно или невозможно описать стандартными методами. Это связано с большим объемом входящих данных, вариантов ответов, параметров, связанных с информацией.

Выбор компании для внедрения машинного обучения

Для начала необходимо выяснить, сколько компания работает в нужном направлении. Также важно учитывать требования и ограничения, обозначенные в ТЗ, и данные, подлежащие обработке. Узнать какие модели использует компания в своих подходах к решению задач.

Существующие подходы условно делятся на три категории, в зависимости от того, какие модели используются:

• Сложные модели или deep learning. Для заказчика это означает увеличение расходов на покупку как ПО, так и оборудования. Это связано со спецификой моделей, требуемой инфраструктуры и зачастую повышенным требованием к объему данных. Модели Deep Learning при этом позволяют получить наиболее точные и генерализованные решения самых сложных задач
• Классические модели. Их выбирают, если практика подтверждает эффективность решения в конкретном случае, а заказчик считает, что получаемой точности достаточно для решения задачи. Расходы на реализацию минимальны, не возникают проблемы в процессе работы. При низком объеме обучающих данных не требуются специализированная инфраструктура и ПО
• Смешанные модели. Этот вариант незаменим, если сложные и классические модели в чистом виде не подходят. Его применяют при наличии предобученной модели, подходящей для решения поставленной задачи, в том числе типа deep learning. Предобученная модель становится инструментом, собирающим данные, необходимые признаки и обучающим модель классического типа. Смешанный подход имеет преимущества: точность решений при минимальных расходах на внедрение при наличии предобченной модели, отсутствие требований к технике и ПО. Это становится возможным за счет того, что работа базируется на предыдущих наработках и моделях из открытого доступа.

Компания АВИ Консалт занимается разработкой и внедрением машинного обучения в информационные системы с 2017 года. У нашей компании есть большой опыт в работе с такими задачами как:

• Компьютерное зрение
• Поиск и сбор данных
• Аудит по машинному обучению
• Data mining
• Предварительная обработка данных
• Обработка естественного языка
• Услуги программирования

Наши специалисты имеют опыт работы со следующими видами машинного обучения:

• Обучение с учителем (Supervised learning)
• Обучение без учителя (Unsupervised learning)
• Обучение с частичным привлечением учителя (Semi-supervised learning)