Inference (инференс)
Inference (инференс, вывод модели) — это выполнение уже обученной нейросети на новых данных: на вход подаётся кадр с камеры дрона, на выходе — найденные дефекты, классы техники или вектор смещения для навигации. Обучение делают один раз на сервере, инференс — тысячи раз в секунду на борту.
Для инспекции ЛЭП или контроля стройплощадки именно скорость и точность инференса определяют, отметит ли система дефект прямо в полёте или придётся ждать обработки на земле.
Чем инференс отличается от обучения
Обучение — подбор весов модели по размеченному датасету, требует мощных GPU и часов или дней вычислений. Инференс — прямой проход данных через готовую модель; он лёгок настолько, что работает на бортовом компьютере дрона. В производстве модель обучают в центре, а на борт отправляют только её оптимизированную версию.
Как ускоряют инференс на борту
Модель переводят в формат ONNX или TensorRT, квантуют веса до INT8, уменьшают размер входного кадра, обрезают лишние слои. Запускают на нейроускорителе платы, а не на процессоре. Измеряют результат бенчмарком на реальной плате: кадры в секунду, задержка, температура.
- Конвертация в ONNX / TensorRT под целевую плату
- Квантование INT8 и FP16 с проверкой потери точности
- Подбор разрешения входа под задачу: 640 px для детекции дефектов
- Запуск на нейроускорителе, измерение в TOPS и кадрах в секунду
Где применяется
Энергетика — отметка дефектов на изоляторах в момент съёмки. Строительство — подсчёт техники и контроль требований безопасности в реальном времени. Логистика — чтение маркировки на складе. Навигация — визуальная одометрия и облёт препятствий, где задержка инференса напрямую влияет на безопасность полёта.
Ограничения
Квантование снижает точность — её контролируют на тестовой выборке. Нагрев платы при длительном инференсе ограничивает производительность. Несколько моделей одновременно делят ресурсы, поэтому задачи приоритизируют: навигация — всегда, анализ — по возможности.
AI Captain выполняет инференс на борту — на Orange Pi 5 для навигационных задач и на NVIDIA Jetson для нейросетевой обработки видео: детекции и классификации техники и людей в рамке контроля безопасности. В расширенном пакете подключаются модели заказчика.
Продукты: AI Captain
Частые вопросы
Нужен ли интернет для инференса на дроне?
Нет: модель выполняется на бортовом компьютере, связь нужна только для передачи результатов.
Сколько кадров в секунду должен давать инференс?
Для навигации — десятки кадров в секунду; для детекции дефектов на снимках достаточно единиц, если съёмка не требует реакции в реальном времени.
Инференс — выполнение обученной нейросети на новых данных прямо на борту дрона. Его скорость обеспечивают конвертацией в ONNX/TensorRT, квантованием и нейроускорителем, а точность проверяют на тестовой выборке.
Связанные термины: Edge AI, ONNX, TOPS, YOLO, Benchmark (бенчмарк)