Benchmark

Что измеряет benchmark

Набор показателей зависит от задачи. В качестве метрик могут использоваться:

• время выполнения — сколько времени требуется системе для выполнения операции;
• пропускная способность — сколько операций или единиц данных система обрабатывает за определенный период;
• FPS — количество кадров, обрабатываемых за секунду;
• latency — задержка выполнения операции или передачи данных;
• загрузка CPU и GPU — насколько интенсивно используются вычислительные ресурсы;
• потребление памяти — объем оперативной или видеопамяти, необходимый для работы;
• энергопотребление — количество энергии, необходимое для выполнения задачи.

Один benchmark обычно оценивает не «мощность устройства вообще», а его производительность в определенном сценарии.

Виды benchmark

Benchmark может проводиться на разных уровнях.

Аппаратный benchmark оценивает производительность процессора, графического ускорителя, памяти, накопителя или другого компонента.

Программный benchmark позволяет измерить скорость работы приложения, алгоритма или отдельного программного модуля.

Системный benchmark оценивает работу всей вычислительной системы в комплексе.

Прикладной benchmark моделирует конкретную рабочую задачу. Например, обработку изображений, запуск нейронной сети или построение трехмерной модели.

Benchmark и сравнение систем

Benchmark часто используется для сравнения нескольких аппаратных или программных конфигураций.

Например, одну и ту же нейронную сеть можно запустить на нескольких вычислительных платформах и сравнить:

• время обработки одного изображения;
• количество обработанных кадров в секунду;
• загрузку GPU;
• потребление памяти;
• энергопотребление.

При этом корректное сравнение требует одинаковых условий тестирования: версии программного обеспечения, настроек, входных данных и других параметров.

Benchmark в БПЛА

В беспилотных системах benchmark может использоваться для оценки производительности бортового компьютера и программных алгоритмов.

Например, при выборе вычислительной платформы для обработки изображений можно сравнить, насколько быстро разные устройства выполняют алгоритм компьютерного зрения.

В таком случае измеряются не только максимальная вычислительная производительность, но и показатели, важные непосредственно для бортовой системы: задержка обработки, количество кадров в секунду, загрузка процессора и GPU, использование памяти и энергопотребление.

Benchmark также позволяет оценивать производительность системы после изменения программного обеспечения или аппаратной конфигурации.

Benchmark нейронных сетей

Отдельное направление — benchmark моделей искусственного интеллекта.

Для одной и той же модели можно измерять:

время инференса → количество обработанных кадров → загрузку вычислительных ресурсов → энергопотребление.

Это позволяет определить, подходит ли конкретная вычислительная платформа для работы модели в заданном сценарии.

Например, для бортовой системы компьютерного зрения важно не только получить высокую точность модели, но и обеспечить необходимую скорость обработки данных при ограниченных вычислительных ресурсах.

Benchmark и реальные условия

Результаты benchmark нельзя автоматически переносить на все сценарии эксплуатации. Производительность зависит от конкретной задачи, программного окружения, версии драйверов, параметров модели и других условий.

Поэтому при выборе оборудования полезнее использовать benchmark, максимально близкий к реальной рабочей нагрузке, а не ориентироваться только на универсальные синтетические тесты.

Кратко

Benchmark — это стандартизированный или специально подготовленный тест производительности системы, компонента или программного алгоритма. Он позволяет измерять скорость работы, задержку, пропускную способность, использование ресурсов и другие параметры. В БПЛА benchmark применяется, в частности, для сравнения бортовых вычислительных платформ и оценки производительности алгоритмов компьютерного зрения и искусственного интеллекта.