каркас Савант
Системы наблюдения и разведки не новы Это произошло далеко не недавно, так как эти системы использовались в течение многих лет и развивались вместе с улучшениями как в аппаратном, так и в программном обеспечении.
Два года назад Я немного написал в блоге об OpenCV, бесплатная кроссплатформенная библиотека компьютерного зрения (вы можете проверить детали статьи По следующей ссылке), который на тот момент мне показался чрезвычайно интересным, потому что его можно было реализовать на Raspberry Pi, а в то время у меня была привычка тестировать большое количество проектов и систем на своем RPi.
Причина упоминания об этом и стараясь не вылезать из темы сегодняшнего поста, многие думают, что реализация системы такого типа может быть очень дорогой или даже очень сложной. Что на самом деле не до определенного момента, так как поддерживать проекты с открытым исходным кодом можно, но это требует определенных знаний и, прежде всего, терпения.
Вот почему сегодня Расскажем о таком проекте и это лично кажется очень хорошим и мощным. Проект которого мы собираемся поговорить о Savant, фреймворке, написанном на Python. и что упрощает использование NVIDIA DeepStream для инженеров по машинному обучению.
Савант фреймворк очень высокого уровня поверх DeepStream, который скрывает от разработчика все внутренности Gstreamer и предоставляет практические инструменты для реализации потоковых ИИ-приложений в реальной жизни. Использует стандартную модель Nvidia PeopleNet. обнаруживать людей и их лица и особенно в местах, где действуют правила конфиденциальности, структура позволяет отслеживать и размывать лица.
Из характеристик которые выделяются из Savant, например невероятно быстрый вывод, Потому что он основан на Nvidia DeepStream и обеспечивает производительность на оборудовании Nvidia, совместимом с ускорителями центров обработки данных, профессиональными платами, настольными компьютерами и NVIDIA Jetson.
Еще одна особенность состоит в том, что он имеет Поддержка интеграции OpenCV CUDA с помощью которого вы можете применять фильтры OpenCV CUDA и эффективно работать с растрами GpuMat, не загружая тяжелые кадры в ОЗУ ЦП.
Кроме того, имеет потоковый API что позволяет Savant функционировать как сервер логических выводов через 0MQ и Apache AVRO. При этом передаваемые данные доставляются на сервер и потребляются с него с помощью адаптеров.
Из других характеристик которые выделяются среди Savant:
- Поддержка Python и ML.
- Платформа доступна в виде контейнеров Docker для сред выполнения x86 и Nvidia Jetson.
- Работает на Edge и Core
- Операции с малой задержкой и пропускная способность, savant поддерживает выгодные операции с малой задержкой
- Адаптеры для доступа к различным источникам мультимедиа, таким как RTSP или видеофайлы.
- Это позволяет вам создавать конвейеры для сред, где обработка с учетом ротации имеет решающее значение.
Что касается реализации проекта, то следует знать, что и Savant, и его адаптеры поставляются в виде образов Docker. Таким образом, для реализации конвейера вы берете базовый образ, добавляете модели ИИ и пользовательский код с дополнительными зависимостями, а затем создаете результирующий образ. Некоторые пайплайны, не требующие дополнительных зависимостей, можно реализовать, просто назначив каталоги с моделями и пользовательскими функциями в образе докера.
Для части конфигурации среды Savant требуется, чтобы некоторые зависимости и инструменты уже были установлены, поскольку крайне необходимо, чтобы зависимости DeepStream были удовлетворены.
Зависимости:
- мерзавец
- git-lfs
- виться
- докер
- драйверы нвидиа
- Инструментарий контейнера Nvidia
Так как процесс внедрения окружения требует многого, приглашаю вас если вы заинтересованы, пожалуйста, обратитесь к руководству Savant По следующей ссылке.