Реальный мир — плохой учитель: как обучать модели на редких случаях, которых не хватает в данных

Источник: https://x.com/NVIDIAAI/status/2072366671776628787

Автор: NVIDIA AI

Большинство моделей компьютерного зрения ошибаются на том, чего не видели во время обучения. Редкий дефект в производстве. Условия освещения, которые возникают раз в год. Ракурс камеры, внезапно раскрывающий изъян, который никто не предусматривал. Реальный мир просто не создаёт достаточно собственных пограничных случаев — и не делает это достаточно быстро, чтобы модели могли учиться на них напрямую.

Вот два новых навыка, которые помогают генерировать недостающие примеры для моделей:

Инспекционные модели должны распознавать дефекты, которые могут появляться в производственных данных слишком редко — особенно при запуске нового продукта. Новый навык создаёт размеченные синтетические изображения дефектов для автоматизированной оптической инспекции печатных плат, металла и стекла.

1. NVIDIA Defect Image Generation Skill

Оригинальное видео

• Посмотрите обучающее видео ниже, чтобы увидеть, как рабочий процесс проходит путь от промпта до результата:
• Затем используйте страницу GitHub, чтобы запустить или настроить workflow под собственного coding agent: Defect Image Generation GitHub

Один видеоклип может не содержать достаточно вариаций по освещению, погоде, углу камеры, движению или условиям окружающей среды. Этот навык расширяет видеодатасеты, генерируя и оценивая новые, готовые для модели варианты на основе промпта.

1. NVIDIA Video Data Augmentation Skill

Оригинальное видео

• Посмотрите обучающее видео ниже, чтобы узнать, как превратить один клип в несколько видео-примеров с пограничными случаями:
• Затем используйте страницу GitHub, чтобы запустить, изучить и адаптировать workflow под свои сценарии: Video Data Augmentation GitHub

Начните с пробела в данных

Defect Image Generation полезен, когда командам нужны примеры дефектов, которые они ещё не смогли собрать. Video Data Augmentation полезен, когда модели нужно увидеть больше вариаций существующих видеоматериалов, чтобы учитывать пограничные случаи.

Оба workflow помогают разработчикам создавать целевые обучающие данные, проверять, улучшают ли они качество модели, и продолжать уточнять датасет по мере появления новых пробелов.

Чтобы глубже разобраться, как эти workflow вписываются в разработку моделей vision AI, посмотрите трансляцию: Generate Synthetic Data for Physical AI

Чтобы увидеть, как agent skills и синтетические данные вписываются в более широкий процесс создания AI-агентов для видеоаналитики, изучите страницу сценария NVIDIA: Video Analytics AI Agents.