Как обучают нейросети для систем компьютерного зрения

Камера видеонаблюдения сама по себе не отличит человека в каске от человека без каски, а конвейерная камера не отбракует деталь с трещиной. Всё это делает не камера, а обученная нейросеть. Компьютерное зрение и машинное обучение работают в связке: модели показывают тысячи размеченных изображений, и постепенно она учится находить на новых кадрах то, что нужно бизнесу, — дефект, номер автомобиля, оставленный предмет.

Качество такой системы определяется не мощностью камеры, а тем, как обучили модель: на каких данных, по какой архитектуре, с какими метриками готовности. В этой статье разберём, как нейросеть учится распознавать изображения, из каких этапов складывается обучение модели, сколько для этого нужно данных и как понять, что модель готова к работе. Разбираем процесс так, как он выглядит в реальных проектах, а не в учебнике.

Компьютерное зрение и машинное обучение: как они связаны

Компьютерное зрение (CV, computer vision) — направление искусственного интеллекта, которое учит машины извлекать смысл из изображений и видео. Машинное обучение — метод, за счёт которого машина этому учится: не по написанным вручную правилам, а на примерах.

Так было не всегда. Первые системы распознавания опирались на признаки, которые вручную придумывал и программировал инженер: границы, углы, текстуры. Подход плохо переносился на реальные условия — стоило поменять освещение или ракурс, и правила переставали работать. Переломным стал 2012 год, когда свёрточная нейросеть с большим отрывом выиграла конкурс распознавания на наборе изображений ImageNet. С этого момента ручные признаки уступили место нейросетям, которые выделяют нужные признаки сами в процессе обучения.

Сегодня почти любая рабочая система компьютерного зрения — это нейросеть, обученная на большом наборе изображений под конкретную задачу. Поэтому всё сводится к главному вопросу: как эту нейросеть обучают.

Как нейросеть распознаёт изображение

Для нейросети изображение — не картинка, а числовая матрица. Каждый пиксель задан числами яркости по трём цветовым каналам (красный, зелёный, синий). На вход модель получает набор чисел и должна найти в них закономерности, которые соответствуют нужному объекту.

Основной инструмент для этого — свёрточная нейронная сеть (CNN, convolutional neural network). Она обрабатывает изображение слой за слоем:

• Свёрточные слои прогоняют по изображению небольшие фильтры (ядра свёртки) и выделяют признаки: сначала простые — края, переходы яркости, углы.
• Карты признаков с каждым следующим слоем становятся сложнее: от краёв к текстурам, от текстур к частям объектов и целым объектам.
• Пулинг (pooling) уменьшает размер данных, оставляя главное, — так сеть работает быстрее и меньше реагирует на незначимые детали.
• Полносвязные слои в конце собирают все признаки вместе и выдают итоговый ответ: например, вероятность того, что на кадре есть каска.

Обучение идёт через сравнение ответа модели с правильным. Сеть делает предположение, получает поправку на величину ошибки и корректирует внутренние параметры. Так повторяется миллионы раз, пока модель не научится давать верный ответ на данных, которых раньше не видела.

Какие задачи решает обученная модель

От того, что именно должна делать система, зависят и данные, и архитектура сети. Различают три базовые задачи компьютерного зрения.

• Классификация — модель отвечает, что изображено на кадре целиком. Например, бракованное изделие или годное.
• Детекция объектов — модель находит объекты и обводит каждый рамкой (bounding box). Так работает распознавание номеров, подсчёт продукции на конвейере, контроль людей в опасной зоне.
• Сегментация — модель размечает изображение попиксельно и точно очерчивает контур объекта. Нужна там, где важна форма и площадь: измерение геометрии деталей, определение зоны дефекта.

Под каждую задачу подходят свои семейства архитектур. Ниже — ориентир, а не жёсткое правило: выбор всегда зависит от условий съёмки, требований к скорости и точности.

Этапы обучения нейросети: от задачи до внедрения

За обучением нейросети стоит проект из нескольких этапов, и собственно обучение — лишь один из них. В наших проектах мы проходим весь путь, и каждый шаг влияет на итоговое качество.

1. Постановка задачи и обследование. Разбираемся, что нужно распознавать, в каких условиях снимает камера, какая точность и скорость требуются. Здесь же формируется техническое задание.
2. Сбор данных. Собираем фото и видео анализируемых объектов во всех вариациях — разные ракурсы, освещение, состояния. Данные заказчика на этом этапе становятся основой будущей модели.
3. Разметка. На изображениях отмечают то, что модель должна научиться находить: рамки вокруг объектов, контуры, ключевые точки. От аккуратности разметки напрямую зависит точность модели.
4. Выбор модели и подготовка. Под задачу подбирают тип сети и среду разработки, определяют точки съёмки и общую архитектуру решения.
5. Обучение. Модель многократно прогоняют по размеченным данным, подбирая параметры так, чтобы она давала верные ответы.
6. Валидация и тестирование. Качество проверяют на данных, которых модель не видела при обучении, — на тестовых и реальных кадрах, в том числе в сложных условиях освещения и при новых объектах.
7. Дообучение. По результатам тестов модель дорабатывают. Дообучение продолжается и после запуска — на новых данных, которые накопились в работе.
8. Развёртывание и поддержка. Модель разворачивают на сервере или на площадке заказчика, интегрируют с рабочими системами и дальше сопровождают: мониторят, обновляют, масштабируют на новые участки.

Вычислительные ресурсы под обучение и работу модели размещают на серверах заказчика или в облаке — выбор зависит от требований к данным и экономики проекта. Часто проект начинают с пилота на одном участке, чтобы подтвердить работоспособность до масштабирования.

Данные — основа обучения модели

Нейросеть учится ровно на тех данных, которые ей показали. Хорошая архитектура не спасёт при плохом наборе изображений, а посредственная сеть на качественных данных даст рабочий результат. Поэтому данные — самая важная и самая трудоёмкая часть проекта.

Сколько нужно изображений

Универсального числа нет — объём зависит от сложности задачи и от того, насколько разнообразно выглядит объект. Ориентиры такие:

• простая задача с одним типом объекта — несколько сотен снимков;
• промышленный контроль качества с вариативностью условий — от тысячи и больше;
• объект с множеством непредсказуемых состояний (разная одежда людей, формы деформации изделия, меняющийся цвет породы) — тысячи снимков на один тип.

Важно не только количество, но и разнообразие: ракурсы, освещение, фон, состояния объекта.

Разметка данных

Разметка — это работа человека, который вручную отмечает на обучающих кадрах правильные ответы для модели. Тип разметки зависит от задачи:

• рамки (bounding box) — для детекции объектов;
• попиксельные маски — для сегментации;
• ключевые точки — для оценки положения и поз.

Размечают данные штатные специалисты, привлечённые разметчики или комбинированные команды с проверкой качества. Ошибки и несогласованность в разметке напрямую снижают точность модели, поэтому контроль качества на этом этапе важен не меньше самого обучения.

Дисбаланс классов

Отдельная сложность — когда одних примеров много, а других мало. Дефекты встречаются реже годных изделий, поэтому снимков брака почти всегда не хватает. Такой перекос выравнивают: добавляют редкие примеры, балансируют выборку, настраивают обучение так, чтобы модель не игнорировала редкий, но важный класс.

Аугментация: как обучить модель на ограниченных данных

Собрать тысячи снимков для каждого состояния объекта удаётся не всегда. Здесь помогает аугментация — искусственное расширение набора данных за счёт преобразования уже имеющихся изображений. Из одного снимка получают десятки вариантов, и модель учится узнавать объект в разных условиях.

• Геометрия — повороты, отражения, масштабирование, кадрирование.
• Цвет и свет — изменение яркости, контраста, насыщенности.
• Шум — добавление помех, имитирующих реальную съёмку.

Когда реальных данных совсем мало, применяют и синтетические — сгенерированные изображения объектов. Это позволяет заранее показать модели редкие ситуации, которые сложно снять в реальности.

Обучать с нуля или дообучить готовую модель

Обучать сеть с чистого листа долго и затратно: нужны огромные наборы данных и большие вычислительные ресурсы. Поэтому на практике чаще берут предобученную модель и адаптируют её под конкретную задачу. Такой подход называют трансферным обучением (transfer learning).

Различают два близких приёма:

• Transfer learning — у готовой модели заменяют и обучают только последние слои под новые классы, а базовые оставляют без изменений. Быстро и требует немного данных.
• Fine-tuning — дополнительно дообучают и часть внутренних слоёв, чтобы точнее подстроить модель под свои данные.

Правило выбора простое. Если задача близка к тому, что модель уже умеет (обычные предметы, люди, транспорт), выгоднее дообучить готовую сеть. Если визуальная область специфична и не похожа на типовые изображения — рентгеновские снимки, тепловизионные данные, редкие промышленные дефекты, — под неё обучают модель глубже, на собственном большом наборе данных.

Как понять, что модель готова: метрики качества

Слова о том, что модель хорошо работает, ничего не значат без чисел. Готовность оценивают по метрикам — их считают на тестовых данных, которые модель не видела при обучении.

Для типовых промышленных задач контроля качества и отбраковки точность обычно настраивают на 95–99% и выше. Конкретный показатель зависит от сценария, качества исходных изображений и условий эксплуатации — освещённости, вибраций, запылённости. Поэтому целевые метрики фиксируют заранее и подтверждают на пилоте, до масштабирования.

Отдельно контролируют переобучение (overfitting) — когда модель хорошо отвечает на обучающих данных, но плохо работает на новых. Причина обычно в нехватке данных или слишком сложной модели. Борются с этим несколькими способами: расширяют и разнообразят данные, применяют аугментацию, упрощают модель, останавливают обучение вовремя. Разрыв между качеством на обучающих и тестовых данных как раз показывает, началось ли переобучение.

Сколько занимает обучение и с чего начать

Сроки зависят от сложности задачи и готовности данных. Пилотный проект по разработке под конкретную задачу занимает порядка двух-трёх месяцев — от обследования до запуска на одном участке. Сложные проекты идут дольше. Внедрение готового модуля под типовой сценарий проходит быстрее, поскольку модель уже обучена и её остаётся адаптировать.

Начинать разумно не с выбора архитектуры, а с задачи и данных. Сформулируйте, что и с какой точностью нужно распознавать, оцените, какие изображения у вас уже есть и что можно снять, и запустите пилот на одном участке. Пилот показывает реальную точность на ваших условиях и снижает риски до вложений в полное решение.

От задачи заказчика к обученной модели

Обучение нейросети для компьютерного зрения — это не разовая настройка, а проект, где результат складывается из данных, разметки, выбора архитектуры и честной проверки по метрикам. Технология здесь вторична: одни и те же архитектуры дают разный результат в зависимости от того, на каких данных обучена модель и как измерено её качество. Поэтому и начинать стоит с задачи и данных, а не с выбора конкретной сети.

Если вы оцениваете проект по компьютерному зрению, специалисты ОБИТ помогут пройти путь от задачи до работающей модели. Мы ведём проект от обследования и разметки данных до обучения, интеграции и поддержки, а при типовых сценариях внедряем готовые решения. Расскажите о своей задаче — предложим подходящий вариант и оценим сроки и объём работ.