Бенчмарк
Бенчмарк (benchmark) — это стандартизированный тест производительности, по которому сравнивают процессоры, видеокарты, программы или модели в одинаковых условиях. Бенчмарки знакомы по обзорам смартфонов и компьютеров: они показывают, сколько реально выдает устройство, а не что написано в спецификации.
В дронах бенчмарк показывает, сколько кадров в секунду дает модель на конкретном бортовом компьютере, какова задержка и как плата ведет себя при нагреве. При выборе вычислителя под детекцию дефектов или навигацию без GPS это единственный способ принять решение по фактам: цифра TOPS в спецификации не говорит, выполнит ли модель задачу на борту в реальном времени.
Что измеряет бенчмарк
Набор метрик зависит от задачи, но базовый состав один.
Что измеряет бенчмарк бортового компьютера:
- Скорость — сколько кадров в секунду обрабатывает модель
- Задержка — сколько проходит от кадра до готового результата
- Точность — не стала ли модель ошибаться чаще после сжатия
- Нагрев и расход энергии — как плата ведет себя при долгой работе
- Несколько моделей сразу — справится ли плата с навигацией и поиском объектов одновременно
Как провести бенчмарк на борту
Взять свою модель, а не демонстрационную; экспортировать в ONNX и оптимизировать под плату; прогнать на реальных кадрах с дрона в нужном разрешении; измерить метрики в установившемся режиме после прогрева; повторить при одновременной работе навигационного стека. Сравнивать платы только на одинаковых моделях и настройках.
Типичные ошибки
Доверять пиковым TOPS из каталога; тестировать на кадрах в низком разрешении, а летать в высоком; измерять «холодную» плату без нагрева; забывать о нагрузке от кодирования видео и навигации; сравнивать результаты с разной точностью вычислений.
Когда нужен бенчмарк
Выбор бортового компьютера под отраслевую задачу — Orange Pi 5 для навигации и легких моделей, NVIDIA Jetson для тяжелой обработки видео; приемка моделей от подрядчика по разметке и обучению; планирование обновлений ПО на парке без деградации производительности.
— Какие кадры в секунду считать достаточными?
Для навигации — десятки, для детекции дефектов на снимках — единицы; требование задает задача, а не плата.
— Можно ли доверять бенчмаркам производителей плат?
Как ориентиру — да, как основанию для выбора — нет: они измерены на чужих моделях и идеальных условиях.
Связанные термины: TOPS, Edge AI, Inference (инференс), Бортовой компьютер