Создание умных решений для аудиторий

Получайте информацию о работе в классе, такую как данные о внимании учащихся, уровне их участия, индексе удовлетворенности и посещаемости, не прерывая процесс обучения.

Целевая операционная система Ubuntu* 16.04 LTS
Время для выполнения 30 минут

GitHub* (C++)

Что вы изучите

Узнайте, как создать несколько нейронных сетей с функциями компьютерного зрения, которые будут собирать данные о поведении и активности учащихся в аудитории.

Используйте навыки, полученные из данной рекомендуемой разработки, для создания аналогичных решений Интернета вещей. В решении используются следующие нейронные сети:

  • Приложения компьютерного зрения для Интернета вещей
  • Обработка и анализ видеоданных
  • Решения обработки видеоданных в Интернете вещей

Узнайте, как создать и использовать приложение со следующими возможностями:

Определение внимания учащихся в классе с помощью моделей оценки поз головы
Запись происходящего в аудитории в реальном времени и определение данных посещаемости с помощью обнаружения действий и повторной идентификации лиц
Представление полученных данных на информационной панели

Как это работает

Интеллектуальное решение для аудиторий демонстрирует объединение нескольких нейронных сетей для сбора показателей в режиме реального времени.

  • Приложение отмечает учащихся, внимание которых сосредоточено на процессе изучения. Для подсчета показателей приложение использует модель head-pose-estimation-adas-0001 для получения и оценки данных позы головы каждого учащегося.
  • Для записи показателей участия в учебном процессе в режиме реального времени (например, поднимающих руку учащихся) используется модель person-detection-action-recognition-0005.
  • Для определения средних значений эмоционального состояния учащихся и вычисления значений общего настроения аудитории в режиме реального времени используется предварительно обученная модель emotions-recognition-retail-0003.
  • Для определения данных посещаемости используется предварительно обученная модель face-reidentification-retail-0095, которая идентифицирует лица отдельных учащихся.