Dataset (датасет, набор данных)

Из чего состоит Dataset

Структура датасета зависит от его назначения. Например, набор данных для машинного обучения может включать:

• исходные данные — изображения, видео, текст или другие материалы;
• разметку — информацию о том, что содержится в каждом объекте данных;
• метаданные — дополнительные сведения об источнике, времени, координатах, параметрах съемки и других характеристиках;
• идентификаторы — уникальные обозначения отдельных файлов или объектов;
• разделение на выборки — например, обучающую, валидационную и тестовую.

Для компьютерного зрения датасет часто состоит из изображений или видеокадров и соответствующей разметки. Например, на изображении могут быть выделены объекты с помощью Bounding Box, а каждому объекту назначен определенный класс.

Dataset в машинном обучении

В машинном обучении датасет используется для обучения и проверки моделей. На обучающих данных модель выявляет закономерности, а затем проверяется на данных, которые не использовались непосредственно для обучения.

Обычно датасет разделяют на несколько частей:

• Training dataset — обучающая выборка, используемая для обучения модели;
• Validation dataset — валидационная выборка для настройки параметров и контроля качества обучения;
• Test dataset — тестовая выборка для итоговой оценки модели.

Важно, чтобы данные были достаточно разнообразными и представляли реальные условия, в которых модель будет использоваться. Например, если модель должна работать с изображениями с камеры, в датасете могут учитываться разные расстояния до объектов, освещение, погодные условия, углы съемки и качество изображения.

Разметка Dataset

Для задач компьютерного зрения данные обычно проходят процедуру разметки. Специалист указывает, какие объекты присутствуют на изображении и где именно они расположены.

В зависимости от задачи используются разные типы разметки:

• Classification — указание класса всего изображения;
• Object Detection — указание класса и положения объекта, например с помощью Bounding Box;
• Segmentation — выделение точной области объекта на изображении;
• Keypoint Detection — указание ключевых точек объекта.

Качество разметки напрямую влияет на результат обучения модели. Ошибки, пропуски и несогласованность разметки могут приводить к снижению точности модели.

Dataset в компьютерном зрении

В компьютерном зрении датасеты используются для обучения моделей распознавать и анализировать изображения и видео. Например, набор данных может содержать фотографии промышленного оборудования с разметкой дефектов, изображения сельскохозяйственных культур или снимки объектов инфраструктуры.

При создании такого датасета важно учитывать не только количество изображений, но и их разнообразие. Большой набор однотипных кадров может быть менее полезен для обучения, чем меньший, но содержащий различные условия съемки и варианты объектов.

Для моделей типа YOLO датасет обычно включает изображения и разметку объектов, по которой модель учится определять их класс и положение.

Dataset в БПЛА

В системах БПЛА датасеты применяются для обучения моделей компьютерного зрения, которые анализируют данные с камер и других сенсоров.

Например, датасет может использоваться для обучения модели:

• находить дефекты на промышленных объектах;
• определять состояние сельскохозяйственных культур;
• распознавать элементы инфраструктуры;
• классифицировать объекты на аэрофотоснимках;
• анализировать изображения для построения карт и моделей местности.

Для таких задач в датасет могут входить изображения, полученные непосредственно с бортовых камер. При этом желательно учитывать реальные условия работы: высоту съемки, движение аппарата, изменение освещения, погодные условия, особенности камеры и качество получаемого изображения.

Подготовленный датасет затем может использоваться для обучения модели на наземной вычислительной инфраструктуре или для последующего применения обученной модели на бортовом компьютере БПЛА.

Как оценивают качество Dataset

Качество датасета определяется не только его размером. При подготовке набора данных обычно оценивают:

• полноту данных;
• разнообразие объектов и условий;
• качество изображений;
• точность разметки;
• баланс классов;
• отсутствие дубликатов и ошибочных данных;
• соответствие данных реальным условиям применения.

Особое внимание уделяется дисбалансу классов. Например, если в датасете 95% изображений относятся к одному классу и только 5% — к другому, модель может хуже работать с редким классом.

Также важно разделять обучающую и тестовую выборки таким образом, чтобы тестовые данные действительно позволяли проверить способность модели работать с новыми материалами.

Кратко

Dataset — это структурированный набор данных, который используется для хранения, анализа или обучения моделей. В компьютерном зрении датасет обычно состоит из изображений или видео и их разметки. От состава, разнообразия и качества разметки напрямую зависит то, насколько хорошо обученная модель будет работать на новых данных.