Датасет
Датасет (набор данных, dataset, обучающая выборка) — это структурированный набор примеров с разметкой, на котором обучают, проверяют и тестируют модели машинного обучения: снимки с отмеченными дефектами изоляторов, видео с размеченной техникой, телеметрия с отметками отказов.
Для компании, которая хочет, чтобы дрон сам находил дефекты на опорах ЛЭП или считал технику на стройплощадке, датасет — главный актив: архитектуру модели можно взять готовую, а данные о своих объектах придется собирать и размечать самим.
Что такое датасет и из чего он состоит
Три части: сами данные (изображения, видео, облака точек, телеметрия), разметка (рамки, маски, классы, координаты) и метаданные (условия съемки, камера, погода, дата). Данные делят на обучающую, валидационную и тестовую выборки, чтобы честно измерять качество модели на примерах, которых она не видела.
Какие бывают датасеты
По задаче — для детекции (рамки вокруг дефектов), классификации (тип дефекта), сегментации (границы посевов, пятен), трекинга (траектории техники), навигации (пары кадров с известным смещением). По происхождению — реальные, собранные с дрона на объектах заказчика; синтетические, сгенерированные в симуляторе; смешанные.
| Тип | Разметка | Пример задачи |
|---|---|---|
| Детекция | Рамки и классы | Дефекты изоляторов на снимках ЛЭП |
| Сегментация | Маски | Границы отвалов, площади посевов |
| Трекинг | Траектории | Движение техники на площадке |
| Навигация | Смещения и глубина | Визуальная одометрия без GPS |
Почему качество датасета критично
Модель повторяет свои данные: если в датасете только летние снимки, зимой точность падает; если дефекты размечены неполно, модель научится их пропускать. Разнообразие условий, баланс классов и точная разметка важнее объема. Сбор и разметка — самая дорогая часть проекта по компьютерному зрению, поэтому их планируют заранее, еще на этапе первых облетов.
Синтетические датасеты
Когда реальных примеров мало — редкие дефекты, опасные ситуации — их генерируют в симуляторе или игровом движке с автоматической разметкой. Такие данные дополняют реальные, но не заменяют: модель всегда дообучают на снимках с настоящих объектов.
— Сколько снимков нужно для датасета?
Зависит от задачи и разнообразия условий: для дообучения готовой модели на свой тип дефекта часто хватает сотен размеченных примеров, для модели с нуля — тысяч.
— Кто размечает датасет?
Отраслевые специалисты заказчика или подрядчик по разметке под их контролем: только энергетик отличит дефектный изолятор от грязного.