Фото: Purdue University

Исследователи под его руководством разрабатывают систему распознавания жестов на основе камеры Microsoft Kinect. С помощью жестов хирург во время операции сможет не только требовать инструменты, но и отдавать команды компьютеру на отображение медицинских снимков пациента. При этом система сможет прогнозировать, какие именно снимки или инструменты могут понадобиться в следующий раз. Камеру Kinect было решено использовать, чтобы упростить задачу разработки, ведь в системе бесконтроллерного управления игровой консолью уже реализованы алгоритмы идентификации частей тела.

В числе требований, которым должен будет отвечать робот-ассистент — поддержка небольшого словаря простых легко узнаваемых жестов; отсутствие необходимости в перчатках виртуальной реальности и т. п.; быстродействие реального времени; возможность дать хирургу сигнал о том, что команда понята; и возможность отсеивания жестов, сделанных случайно или не относящихся к командам.