Заархивировано - Головная гарнитура Helios использует технологию Intel® RealSense™ для помощи людям с нарушениями зрения

Выпуск комплекта Intel® RealSense™ SDK прекращен. Его поддержка и обновления более недоступны.

Наша работа и мотивация

Цель проекта HELIOS* — расширение и дополнение возможностей человеческого восприятия за счет современных технологий зрения.

В исследовании, опубликованном Всемирной организацией здравоохранения, говорится о том, что около 285 миллионов человек в мире страдают нарушениями зрения: насчитывается 39 миллионов слепых и 246 миллионов человек с ослабленным зрением.

Мы считаем, что очень важно повысить мобильность, безопасность и возможности доступа к знаниям для людей с нарушениями зрения.

Мы используем компьютерное зрение, искусственный интеллект и технологию Intel® RealSense™, чтобы создать современные решения, способные помочь людям с нарушениями зрения в решении целого ряда повседневных проблем. Наш подход состоит в разработке интеллектуальной головной гарнитуры, помогающей людям с частичной или полной потерей зрения.

Модели и возможности головных гарнитур HELIOS

Головные гарнитуры HELIOS предоставляют ряд специальных возможностей для людей с нарушениями зрения, помогая им проще и увереннее выполнять различные действия и задачи.

HELIOS Light

Гарнитура HELIOS Light помогает людям с ослабленным зрением. С помощью технологий дополненной и виртуальной реальности гарнитура расширяет возможности визуального восприятия пользователей. Потоки цветного изображения и данных глубины, полученных от Intel RealSense, формируют адаптируемые визуальные подсказки, помогающие при выполнении разнообразных повседневных задач.

HELIOS Light 3D representation
Трехмерная модель HELIOS Light

HELIOS Touch

Гарнитура HELIOS Touch предназначена для людей с тяжелым нарушением зрения или с полной слепотой. В этом решении применяется интерфейс HTI для передачи пользователю визуальных данных посредством тактильных сигналов. За счет этого реализуются возможности ориентации в ближайшем пространстве и уклонения от препятствий.

HELIOS Touch 3D representation
Трехмерная модель HELIOS Touch

Основное назначение HELIOS — предоставить пользователю более полную информацию об окружающем пространстве, что существенно повышает свободу движения и безопасность пользователя.

Еще одна важная функция — возможность чтения текста без использования шрифта Брайля. Гарнитура HELIOS может читать содержимое книг, журналов и других печатных материалов, например меню в ресторанах.

Кроме того, HELIOS предоставляет новый уровень контекста для личного взаимодействия за счет распознавания лиц друзей и социальных сигналов.

Описание оборудования

Технология Intel® RealSense™

Камеры Intel® RealSense™ обеспечивают съемку в цвете и измерение расстояния. Благодаря этому система HELIOS получает высококачественные данные глубины и цветное изображение. Благодаря своей функциональности, производительности и компактности эти компоненты идеально подходят для интеграции в систему HELIOS.

Intel® RealSense™ camera R200. Learn more about it in this article
Камера Intel® RealSense™ R200. Дополнительные сведения см. в этой статье.

The Razer* Stargazer, which is a third-party version of the Intel® RealSense™ camera SR300.
Razer* Stargazer — версия камеры Intel® RealSense™ SR300 стороннего производителя

Тактильный интерфейс HTI*

HTI — аппаратный компонент HELIOS Touch, разработанный нашей командой. Он предназначен для преобразования визуальных данных в тактильные сигналы, обеспечивая дополнительный уровень информации, которая подается точно и ненавязчиво.

HTI test board
Тестовая плата HTI

Виртуальная реальность и открытый исходный код

Razer OSVR Hacker Development Kit — платформа виртуальной и дополненной реальности с широкими возможностями настройки. Это идеальный готовый компонент для HELIOS Light благодаря использованию открытого исходного кода, возможностям расширения и удачной конструкции оборудования.

Razer OSVR HDK
Razer OSVR HDK

Intel NUC

Последнее поколение компактных ПК Intel — мощная платформа для выполнения программных компонентов HELIOS в реальном времени с высокой производительностью, низким расходом электроэнергии и высокой мобильностью.

Intel® NUC
Intel® NUC

Программное обеспечение. Intel® RealSense™ SDK

Пакет Intel RealSense SDK — основной программный компонент системы HELIOS. Этот пакет без дополнительной настройки обеспечивает доступ к цветному изображению с высокой кадровой скоростью, к потокам изображения глубины и инфракрасного изображения, поддерживает широкий набор алгоритмов компьютерного зрения для таких задач, как отслеживание человека, распознавание лиц, создание трехмерных карт. SDK поставляется с огромным набором образцов проектов, для него подготовлена обширная документация

В следующем примере кода показаны основные компоненты для разработки модуля преобразования текста в речь с помощью RealSense и UWP (универсальной платформы Windows):

        public async void StartRealSenseStreaming()

        {

            Status streamingStatus;



            // Set RealSense sample reader and bind SetOcrFrame event

            SampleReader sampleReader = SampleReader.Activate(senseManager);

            sampleReader.SampleArrived += SetOcrFrame;



            // Set RGB stream profile and device info filter

            Dictionary<StreamType, PerceptionVideoProfile> profiles = new Dictionary<StreamType, PerceptionVideoProfile>();

            profiles[StreamType.STREAM_TYPE_COLOR] = ColorProfile;

            sampleReader.EnableStreams(profiles);

            readers.Add(sampleReader);

            if (currentRealSenseDevice != null)

                senseManager.CaptureManager.FilterByDeviceInfo(currentRealSenseDevice.DeviceInfo);



            // Set streaming status message

            if ((streamingStatus = await senseManager.InitAsync()) == Intel.RealSense.Status.STATUS_NO_ERROR)

            {

                if ((streamingStatus = senseManager.StreamFrames()) == Intel.RealSense.Status.STATUS_NO_ERROR)

                {

                    StatusMessage = "Streaming started";

                }

                else

                {

                    StatusMessage = "Failed to stream: " + streamingStatus.ToString();

                }

            }

            else

            {

                StatusMessage = "Initialization failed: " + streamingStatus.ToString();

            }



            IsStreaming = true;

        }



        private void SetOcrFrame(Object module, SampleArrivedEventArgs args)

        {

            // Setting current frame for OCR processing

            Sample sample = args.Sample;

            if (sample == null) return;



            var localOcrFrame = sample.Color;

            if (localOcrFrame == null) return;



            lock (sample)

            {

                ocrFrame = localOcrFrame.SoftwareBitmap;

            }

        }
       

        private async void TextToSpeech()

        {

            // setup OCR engine for English

            OcrEngine ocrEngine = OcrEngine.TryCreateFromLanguage(new Language("en"));



            // recognize text from the RealSense OcrFrame

            var ocrResult = await ocrEngine.RecognizeAsync(RealSense.OcrFrame);



            if (!String.IsNullOrEmpty(ocrResult.Text))

            {

                // setup speech synthesizer

                var voice = SpeechSynthesizer.AllVoices;

                using (SpeechSynthesizer speechSynthesizer = new SpeechSynthesizer())

                {

                    speechSynthesizer.Voice = voice.First(v => v.Gender == 0);

                    var voiceStream = await speechSynthesizer.SynthesizeTextToStreamAsync(ocrResult.Text);



                    // setup playback of voice synthesis

                    PlaybackVoice(voiceStream);

                }

            }

        }

Тестирование и проверка

Михай Леовенау (Mihai Leoveanu) обладает врожденным тяжелым нарушением зрения, но это не помешало ему стать выдающимся человеком.

Он убежденный оптимист и один из лучших учеников в своем выпускном классе. В настоящее время он работает над дипломным проектом, посвященным оснащению исторической достопримечательности — королевского двора Тырговиште — для повышения удобства в отношении специальных возможностей. Благодаря предполагаемым улучшениям туристы с нарушениями зрения смогут получить более полную информацию об этом историческом месте.

Михай стал первым испытателем нашей головной гарнитуры.

Mihai field testing HELIOS
Михай тестирует HELIOS в действии

Mihai reading with HELIOS
Михай читает с помощью HELIOS

В процессе экспериментов Михай предоставил отзывы обо всех использованных им возможностях системы HELIOS. Он естественным образом воспринял новые источники информации и уже через несколько минут смог успешно пользоваться головной гарнитурой для получения более точной информации об окружающем пространстве.

Заключение

Результаты разработки и тестирования весьма обнадеживающие. Для пользователей значительно упрощаются такие задачи, как восприятие окружающего мира и чтение без использования шрифта Брайля. При дальнейшем развитии система HELIOS станет незаменимым и очень полезным помощником для людей с нарушениями зрения.

Об авторах

Сильвиу-Тудор Сербан (Silviu-Tudor Serban), Кристиан Драгомир (Cristian Dragomir) и Андрей Нистор (Andrei Nistor) — эксперты по технологии Intel RealSense, обладающие опытом работы в области компьютерного зрения, искусственного интеллекта, разработки программного обеспечения и Интернета вещей. Дополнительные сведения см. на сайтах Helios Vision и Intel Devmesh.

Для получения подробной информации о возможностях оптимизации компилятора обратитесь к нашему Уведомлению об оптимизации.
Возможность комментирования русскоязычного контента была отключена. Узнать подробнее.