Распознавание жестов рук на основе компьютерного зрения: обзор методов – PMC

Обзор камеры домашней безопасности Blink: интересное предложение, которое дает сбои в исполнении

Когда я впервые услышал о камерах видеонаблюдения Blink, я был сразу же впечатлен и заинтригован. Попробовав и Piper, и Canary в моей аптеке, чтобы получить более или менее смягченные результаты, Blink показался мне идеальным решением. Piper (полный обзор) страдает одним существенным недостатком: камера не включается после сбоя питания. если резервная батарея разряжена (а поскольку у нас в Ливане много отключений электроэнергии, я устал покупать новые батареи каждые две-три недели). Он также не имеет встроенной функции постановки/снятия с охраны по расписанию; Мне действительно не нужно вручную включать и выключать свои камеры, когда легко реализовать простое расписание, основанное на времени. Канарейка (полный обзор), с другой стороны, почти идеальна, если бы не одна маленькая причуда: мне иногда приходится покидать аптеку в рабочее время, а геозона моего телефона запускает режим «Нет на месте», поэтому я получаю уведомления о каждом случае. движение, которое происходит. Я мог бы добавить свою помощницу в качестве участника в Canary и сделать так, чтобы она оставалась в домашнем режиме, когда она работает, но проблема в том, что она живет в том же здании, где находится аптека, поэтому, основываясь на геозоне ее телефона, Canary никогда не будет автоматически отключаться. arm. На бумаге Blink решит все мои проблемы. Это был комплект из 3 камер, которые стоили чуть больше, чем одна камера от конкурирующих брендов, но это давало вам полную свободу в выборе места их размещения. Беспроводная связь и работа от батареи означали, что мне не нужно было беспокоиться о проводах или отключениях электроэнергии; Я мог бы даже разместить камеры на полках рядом с продуктами. Их короткие записанные клипы обещали быть идеальными для моего медленного соединения, поскольку не требовали большой пропускной способности. Функция запланированной постановки/снятия с охраны имела больше смысла, чем геозона для моего малого бизнеса с определенными часами работы/закрытия. И недавно добавленная интеграция Alexa была большим бонусом, поскольку она позволила мне управлять камерами с моей Echo Dot. Однако реальность теперь, когда я тестировал камеры Blink около двух месяцев, немного более отрезвляющая. Просмотр в реальном времени и записанные клипы часто слишком короткие, чтобы их можно было использовать, разрешение и качество камеры посредственные, отсутствие ночного видения является большим разочарованием для того, что должно быть системой видеонаблюдения, а приложение для Android тормозит.

Читайте также:
5 советов по выбору фильтра для воды из колодца для всего дома - Schultz Soft Water

SPECS

камера Камера 720p, Обнаружение движения
Поле зрения Объектив с углом обзора 110°
Ночное видение Белый светодиод для подсветки
Аудио микрофон
Питания 2 литиевых батареи типа АА для камер (срок службы от 2 до 5 лет), MicroUSB для модуля синхронизации
связь 802.11 b/g/n 2.4 ГГц Wi-Fi, проводной Ethernet, порт USB для хранения
Датчики Температура
Безопасность и защита данных WEP, WPA, WPA2
Гарантия 1-летняя ограниченная гарантия
Приложения Android и iOS

ДОБРО

Срок службы батареи На каждую камеру обещают около 2 лет автономной работы. Кроме того, вы можете переключиться на питание MicroUSB, если хотите.
Портативность Для модуля синхронизации требуется только питание MicroUSB. Камеры можно размещать где угодно, буквально где угодно, без каких-либо ограничений по питанию или проводу Ethernet.
Несколько камер по цене одной Вы получаете 3 камеры Blink примерно по цене одной, может быть двух, от конкурирующих брендов. Больше областей для охвата!
Запланированная постановка и снятие с охраны Для малого бизнеса с установленными часами открытия и закрытия или дома, в котором жильцы приходят и уходят в установленные часы, это имеет большой смысл.
Интеграция с Alexa Попросить Alexa включить или отключить Blink и узнать о последних записанных клипах намного приятнее, чем открывать приложение Blink.
Нет платных планов Вы получаете 7,200 секунд видео бесплатно на серверах Blink. Если вы достигнете этого предела, самые старые клипы начнут заменяться.

НЕ ТАК ХОРОШО

Неиспользуемые порты Ethernet и USB На модуле синхронизации есть порты Ethernet и USB, но они по-прежнему не используются.
Ограниченные возможности монтажа Камеры поставляются с креплением, но оно может вращаться только вверх и вниз, а не из стороны в сторону под разными углами.
Нет ночного видения Белый светодиод подсветки и «улучшенные характеристики при слабом освещении» даже близко не заменят настоящего ночного видения.
Ограниченное поле зрения 110° намного меньше, чем у большинства конкурирующих камер с их широкоугольными объективами.
Android приложений Android-приложение Blink уродливое, медленное, немного глючное и иногда выводит вас из системы или забывает ваше расписание.
Максимум 60 секунд записи видео Вы не можете получить видео длиннее 60 секунд. Раньше это было даже ограничено 10 секундами.
Живой просмотр длится всего 30 секунд Многократное нажатие «Продолжить» для просмотра прямой трансляции быстро разочаровывает и раздражает.
Нет автоматической постановки/снятия с охраны на основе геозоны Если вы не хотите устанавливать расписание, вы не можете использовать местоположение своего телефона для постановки/снятия Blink с охраны.
Никакой другой интеграции с умным домом Помимо Alexa, Blink плохо работает с любым другим оборудованием для умного дома. Нет IFTTT, SmartThings, Wink, Google Assistant, нет даже поддержки Siri или HomeKit.
Проблемы с загрузкой при медленном соединении Я столкнулся с большим количеством тайм-аутов при загрузке, с большим количеством видео, которые никогда не попадали в облако и, следовательно, с большим количеством пропущенных уведомлений о движении.
Читайте также:
Как установить оконные жалюзи без сверления - заводские жалюзи

Один модуль синхронизации и три камеры

Система безопасности Blink состоит из модуля синхронизации и нескольких беспроводных камер. Все предметы довольно маленькие, квадратные со скругленными углами, размером около 7 см (2.78 дюйма) со всех сторон и 3 см (1.18 дюйма) в толщину. Качество сборки среднее, на ощупь удовлетворительное, но не очень прочное. Дизайн тот же: все в порядке. По сравнению с Canary и его обтекаемыми элегантными линиями Blink не идет ни в какое сравнение. Это как положить Galaxy S3 рядом с Galaxy S7.

Ознакомившись с модулем синхронизации, вы увидите два светодиодных индикатора на передней панели для питания (зеленый) и подключения к Wi-Fi (синий). Если они оба включены, все в порядке. Когда вы настраиваете Blink в первый раз, синий индикатор мигает, пока вы не подключите его к сети WiFi. На задней стороне модуля (не показана) указаны серийный номер, MAC-адрес, SSID, пароль и различные номера разрешений регулирующих органов.

Распознавание жестов рук на основе компьютерного зрения: обзор методов

Лицензиат MDPI, Базель, Швейцария. Эта статья находится в открытом доступе и распространяется на условиях лицензии Creative Commons Attribution (CC BY) (http://creativecommons.org/licenses/by/4.0/).

Абстрактные

Жесты рук — это форма невербального общения, которую можно использовать в нескольких областях, таких как общение между глухонемыми людьми, управление роботами, взаимодействие человека с компьютером (HCI), домашняя автоматизация и медицинские приложения. В исследовательских работах, основанных на жестах рук, использовалось множество различных методов, в том числе основанных на сенсорных технологиях и компьютерном зрении. Другими словами, жест рукой можно классифицировать по многим категориям, таким как поза и жест, а также динамический и статический или их гибрид. Эта статья посвящена обзору литературы по техникам жестов и представляет их достоинства и ограничения при различных обстоятельствах. Кроме того, в нем приводится таблица производительности этих методов с упором на методы компьютерного зрения, которые имеют дело с точками сходства и различия, используемой техникой сегментации рук, алгоритмами классификации и недостатками, количеством и типами жестов, используемым набором данных, дальность обнаружения (расстояние). и тип используемой камеры. Эта статья представляет собой подробный общий обзор методов жестов рук с кратким обсуждением некоторых возможных применений.

Читайте также:
Как смазывать петли - WD-40 Канада

1. Введение

Жесты рук — это аспект языка тела, который можно передать через центр ладони, положение пальцев и форму, созданную рукой. Жесты рук можно разделить на статические и динамические. Как следует из названия, статический жест относится к устойчивой форме руки, тогда как динамический жест включает в себя серию движений руки, таких как махание рукой. В жесте есть множество движений рук; например, рукопожатие варьируется от одного человека к другому и меняется в зависимости от времени и места. Основное различие между позой и жестом заключается в том, что поза больше фокусируется на форме руки, тогда как жест фокусируется на движении руки. Основные подходы к исследованию жестов рук можно разделить на сенсорный подход на основе носимых перчаток и сенсорный подход на основе видеокамеры [1,2].

Жесты рук предлагают вдохновляющую область исследований, поскольку они могут облегчить общение и предоставить естественные средства взаимодействия, которые можно использовать в различных приложениях. Ранее распознавание жестов рук достигалось с помощью носимых датчиков, прикрепленных непосредственно к руке в перчатках. Эти датчики обнаруживали физическую реакцию в соответствии с движениями рук или сгибанием пальцев. Собранные данные затем обрабатывались с помощью компьютера, подключенного к перчатке проводом. Эту систему датчиков на основе перчаток можно сделать портативной, используя датчик, подключенный к микроконтроллеру.

Как показано на рисунке 1, жесты рук для взаимодействия человека с компьютером (HCI) начались с изобретения датчика данных в перчатке. Он предлагал простые команды для компьютерного интерфейса. В перчатках использовались различные типы датчиков для захвата движения и положения руки путем определения правильных координат положения ладони и пальцев [3]. Различные датчики, использующие один и тот же метод, основанный на угле изгиба, были датчиком кривизны [4], датчиком углового смещения [5], оптоволоконным преобразователем [6], датчиками изгиба [7] и датчиком акселерометра [8]. Эти датчики используют различные физические принципы в зависимости от их типа.

Внешний файл, содержащий изображение, иллюстрацию и т. д. Имя объекта: jimaging-06-00073-g001.jpg

Различные техники жестов рук. (a) Прикрепляемый к перчатке датчик, подключенный к компьютеру или портативный; (b) камера на основе компьютерного зрения с помощью маркированной перчатки или просто голой руки.

Читайте также:
15 простых способов создать ощущение современного дома | Семейный Разнорабочий

Хотя упомянутые выше методы дали хорошие результаты, они имеют различные ограничения, которые делают их непригодными для пожилых людей, которые могут испытывать дискомфорт и спутанность сознания из-за проблем с проводным соединением. Кроме того, пожилые люди, страдающие от хронических заболеваний, которые приводят к потере мышечной функции, могут быть не в состоянии носить и снимать перчатки, вызывая у них дискомфорт и ограничивая их при длительном использовании. Эти датчики также могут вызывать повреждение кожи, инфекцию или побочные реакции у людей с чувствительной кожей или у людей, страдающих от ожогов. Кроме того, некоторые датчики довольно дороги. Некоторые из этих проблем были рассмотрены в исследовании Ламберти и Камастры [9], которые разработали систему компьютерного зрения на основе перчаток с цветной маркировкой. Хотя это исследование не требовало прикрепления датчиков, оно все же требовало ношения цветных перчаток.

Эти недостатки привели к разработке многообещающих и экономичных методов, не требующих ношения громоздких перчаток. Эти методы называются сенсорными технологиями на основе видеокамеры. С развитием программных библиотек с открытым исходным кодом стало проще, чем когда-либо, обнаруживать жесты рук, которые можно использовать в широком диапазоне приложений, таких как клинические операции [10], язык жестов [11], управление роботами [12], виртуальные среды. [13], домашняя автоматизация [14], персональный компьютер и планшет [15], игры [16]. Эти методы по существу включают замену перчаток с инструментами на камеру. Для этой цели используются различные типы камер, такие как камера RGB, времяпролетная (TOF) камера, тепловизионная камера или камера ночного видения.

На основе методов компьютерного зрения были разработаны алгоритмы для обнаружения рук с использованием этих различных типов камер. Алгоритмы пытаются сегментировать и обнаруживать особенности руки, такие как цвет кожи, внешний вид, движение, скелет, глубина, 3D-модель, обнаружение глубокого обучения и многое другое. Эти методы связаны с рядом проблем, которые обсуждаются в этой статье в следующих разделах.

За последнее десятилетие было опубликовано несколько исследований, основанных на методах компьютерного зрения. Исследование Murthy et al. [17] рассмотрели роль и фундаментальную технику HCI с точки зрения подхода к распознаванию, классификации и приложений, описывая ограничения компьютерного зрения в различных условиях. Другое исследование Khan et al. [18] представили систему распознавания, связанную с проблемой выделения признаков, классификации жестов, и рассмотрели прикладную область исследований. Сурия и др. [19] представили специальный обзор по распознаванию жестов рук для приложений управления мышью, включая методологии и алгоритмы, используемые для взаимодействия человека с машиной. Кроме того, они представили краткий обзор скрытой марковской модели (СММ). Исследование Sonkusare et al. [20] сообщили о различных методах и провели сравнения между ними в соответствии с методологией сегментации рук, отслеживанием, извлечением признаков, методами распознавания и пришли к выводу, что скорость распознавания была компромиссом с временной скоростью, ограниченной вычислительной мощностью. Наконец, Каур и соавт. [16] рассмотрели несколько методов, основанных как на сенсорах, так и на основе зрения, для распознавания жестов рук, чтобы повысить точность алгоритмов за счет интеграции современных методов.

Читайте также:
Теплоизоляционные балки - Фасад - Продукция - Lignotrend

Приведенные выше исследования дают представление о некоторых системах распознавания жестов в различных сценариях и решают такие вопросы, как ограничения фона сцены, условия освещения, точность алгоритма для извлечения признаков, тип набора данных, используемый алгоритм классификации и приложение. Однако ни в одном обзорном документе не упоминается тип камеры, ограничения по расстоянию или скорость распознавания. Таким образом, цель этого исследования состоит в том, чтобы предоставить сравнительный обзор недавних исследований, касающихся методов компьютерного зрения в отношении обнаружения и классификации жестов рук, поддерживаемых различными технологиями. В текущей статье обсуждаются семь наиболее известных подходов к проблеме, таких как цвет кожи, внешний вид, движение, скелет, глубина, 3D-модель, глубокое обучение. В этой статье также подробно обсуждаются эти подходы и обобщаются некоторые современные исследования с учетом различных соображений (тип используемой камеры, разрешение обрабатываемого изображения или видео, тип метода сегментации, используемый алгоритм классификации, скорость распознавания, тип обработки области интереса, количество жестов, область применения, ограничение или инвариантный фактор, достигнутый диапазон обнаружения и, в некоторых случаях, использование набора данных, скорость выполнения, запуск оборудования, тип ошибки). Кроме того, в обзоре представлены самые популярные приложения, связанные с данной тематикой.

Оставшаяся часть этой статьи резюмируется следующим образом. В разделе 2 объясняются методы жестов рук, а также рассматриваются и фокусируются на методах компьютерного зрения, где описываются семь наиболее распространенных методов, таких как цвет кожи, внешний вид, движение, скелет, глубина, 3D-модуль, глубокое обучение и поддержка с помощью таблиц. Раздел 3 подробно иллюстрирует семь областей применения, связанных с системами распознавания жестов рук. В разделе 4 кратко обсуждаются пробелы в исследованиях и проблемы. Наконец, в разделе 5 представлены наши выводы. Рисунок 2 ниже поясняет методы классификации, проведенные в этом обзоре.

Рейтинг
( Пока оценок нет )
Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: