Создавайте решения оператора станка

Отслеживайте действия оператора станка и определяйте его эмоциональное состояние. Отправляйте предупреждения, если оператор отвлекся или рассержен.

Целевая операционная система Ubuntu* 16.04 LTS
Время для выполнения 45 минут

GitHub* (C++) GitHub (Golang)

Что вы изучите

Используйте это решение для повышения безопасности оператора станков. Установленная на станке камера отслеживает и идентифицирует эмоции оператора. Отправляйте предупреждения в случаях, когда оператор отвлекается и нервничает в течение продолжительного времени тогда, как станок продолжает работу.

Узнайте больше о следующих решениях:

  • Приложения компьютерного зрения для Интернета вещей.
  • Подготовка информации для анализа наборов данных
  • Интернет вещей для рынка промышленности

Используйте навыки, полученные из данной рекомендуемой разработки, для создания аналогичных решений Интернета вещей.

Узнайте, как создать и использовать приложение со следующими возможностями:

Определение состояния внимания и эмоций оператора во время управления станком.
Предупреждение пользователей, если оператор отвлекся и рассержен.
Интерпретация видеоданных из веб-камер или готовых записей.

Как это работает

Это приложение использует данные из источника видеоинформации (например, из камеры) для получения кадров изображений, а затем использует три различные нейронные сети глубинного обучения для обработки данных.

  1. Первая сеть идентифицирует лица и в случае успешного обнаружения передает результат во вторую нейронную сеть.
  2. Вторая нейронная сеть определяет, наблюдает ли оператор станка за его работой (а именно, обращена ли его голова к камере).
  3. Третья нейронная сеть анализирует эмоции оператора станка — следит ли тот за его работой.
  4. Кроме того, данные могут быть отправлены на сервер обмена сообщениями между компьютерами, MQTT, что является частью системы аналитики производственной информации.

Модели развернутых нейронных сетей оптимизированы и являются частью Intel® Distribution of OpenVINO™ toolkit.

flow chart graphic of how the gaze monitor application works