Интеллектуальный пользовательский интерфейс (intelligent user interface, IUI) — это обычно приложение (или его часть), в процессе взаимодействия с пользователем реагирующее на изменения его потребностей. Иными словами, IUI выполняет свои функции, оперативно адаптируясь к действиям конкретного пользователя. Такие интерфейсы работают, конструируя и непрерывно обновляя модель пользователя и контекста, а также регистрируя определенные аспекты пользовательского профиля (например, демографические данные), историю его взаимодействий и коммуникаций, цели, предпочтения, социальные связи, черты характера, а также показатели физиологического и психологического состояния.

Примерами IUI могут служить календари и навигационные приложения (Google Now и т. п.), цифровые помощники (Apple Siri), игры для стационарных и мобильных устройств (Pokemon Go).   Ясно, что IUI могут эффективно функционировать только благодаря информации, собираемой о пользователе, которая может предоставляться напрямую им самим (пол, возраст и т. д.), извлекаться с его согласия из других сервисов (содержание электронной почты, списки друзей и т. п.), регистрироваться в процессе взаимодействий с пользователем (поисковые запросы и их результаты). Данные могут также собираться косвенным путем (сведения о местах, которые пользователь посещал, например, в процессе игры), сохраняться в результате прямых обращений (вроде вопросов о том, хотел ли бы пользователь принять конкретный звонок), а также формироваться путем анализа взаимодействий (из которого может быть сделан вывод о том, что утром и поздно ночью пользователь предпочитает менее интерактивный контент). Обладая всей этой информацией, IUI старается улучшить обслуживание — интерфейс выясняет цели пользователя, его предпочтения и вносит соответствующие изменения.

Делая предположения о поведении конкретного пользователя либо запоминая закономерности действий всей аудитории, IUI может получать дополнительные сведения. Например, легко предположить, что дом или работа — это места, где пользователь чаще всего бывает или именно оттуда выясняет маршруты до других мест [1]. Кроме того, пользователи обычно ежедневно передвигаются по одним и тем же маршрутам, то есть траектории перемещений позволяют однозначно идентифицировать человека.

По мере осознания проблемы соблюдения приватности соответствующие риски привлекают внимание как общественности, так и властей: с увеличением объемов и разнообразия данных, собираемых IUI о пользователях, растут угрозы раскрытия персональной информации, вторжения в личное пространство и потери репутации [2].

Потенциальные преимущества IUI

С ростом объема доступной информации увеличивается потребность в быстром отборе нужных данных. Чтобы экономить время пользователя, ему нужно обеспечить более мощную поддержку в принятии решений, а для этого приходится учитывать потребности конкретного индивидуума, для чего и строится его детализированная модель. Проще говоря, IUI из многочисленных вероятных вариантов действий выбирает те, которые в наибольшей мере соответствуют целям пользователя. Например, если отправитель письма, находящийся в Роли (шт. Северная Каролина), ищет адрес в Дареме, то, скорее всего, навигационное приложение автоматически выберет город Дарем в том же штате, а не одноименный город в Великобритании. В 2013 году СМИ написали о жительнице Бельгии, которая из-за ошибки GPS-навигатора пересекла всю Европу, вместо того чтобы проехать всего 140 км [3],  —  возможно, IUI помог бы этого избежать. Однако реализация IUI требует интеллектуальных функций, а не фиксированных правил. Например, если в упоминавшемся письме говорится о бронировании билета до аэропорта Дарем Долина Тиса, то тогда речь все-таки идет о британском Дареме.

Игровое или учебное приложение, пользуясь аналитикой, может выбирать задачи для пользователя в зависимости от уровня его усталости или компетенции: более опытные игроки или студенты получают более сложные задания, чтобы не скучать, а остальные — попроще, чтобы их не отпугнула чрезмерная сложность. Это не что иное, как применение психологической концепции «потока» (периода максимальной продуктивности, достигаемой при определенных условиях), которая широко используется при создании игр. Разумеется, чтобы подобные функции были работоспособными, нужно определить, насколько компетентен или утомлен пользователь.

Риски приватности

Вкратце можно сказать, что все сложности, связанные с IUI, сводятся к тому, что для эффективной работы интерфейсу нужно получить или логически вывести достаточно большой объем информации о пользователе. И наибольшую ценность представляют именно сведения личного характера, компрометация которых способна создавать угрозу для безопасности пользователя, его финансов или репутации (скажем, студент с самой низкой успеваемостью вряд ли захочет, чтобы все в группе об этом узнали).

Нарушения приватности могут произойти вследствие самых разных причин. Например, если вы сохранили местонахождение своего дома в навигационном приложении на смартфоне, то вор, укравший его, сможет найти эту информацию и ограбить вас. Но есть еще риск атак, совершаемых через сами приложения: например, навигационное приложение специально прокладывает маршрут через бар, справедливо предполагая, что, когда вы устанете после долгой прогулки или поездки, этот намек заставит вас зайти именно в данное заведение.

Извлечение и распространение информации

Извлекать информацию из обученных моделей можно даже в том случае, когда недоступны исходные данные. Модели машинного обучения — это по сути сжатая репрезентация части данных о пользователе потенциально личного или конфиденциального характера. Во многих случаях пользователь даже не подозревает о факте сбора личных данных о себе, поскольку они скрыты за обычными. Допустим, к примеру, что IUI изучает предпочтения пользователя в целях повышения продуктивности его работы. При этом интерфейс может выяснить о пользователе что-то, не относящееся напрямую к задаче, — например, время, когда тот просыпается утром, или период в течение дня, когда он непродуктивен. При этом ни сам пользователь, ни даже разработчик приложения, возможно, не знают о том, что в собираемых данных содержатся такие сведения. Но если бы IUI раскрывал их для других, то, например, из вашего календаря вашему начальнику стало бы известно, что вы начали работать не в 8 утра, а в 10. Не меньший ущерб был бы нанесен, если бы календарь оповестил ваших клиентов, что в 8 часов вы все же доступны, но не желаете с ними пообщаться, так как выделяете это время для более важных дел.

Зондирование пользователей

Для IUI недостаточно пассивного наблюдения за пользователем — система может «прощупывать» его, предлагая тщательно подобранные альтернативы, чтобы выяснить его физиологическое или психологическое состояние. В зависимости от сделанного им выбора, IUI может узнать, находится ли пользователь в подавленном состоянии, сидит ли на диете, а также, предлагая достаточно много вариантов выбора, получить другие сведения, используя усталость пользователя от принятия решений. Некоторые исследования ставят под сомнение существование этого явления, которое психологи также называют истощением эго, однако приложение может быстро накопить базу эмпирических результатов, гораздо более обширную, чем собирается в рамках локальных научных исследований, и, возможно, разработчик захочет извлечь коммерческую выгоду из полученных данных. Если их анализ покажет, что с помощью IUI можно как-то задействовать усталость от принятия решений, есть вероятность того, что пользователем будут манипулировать.

Компрометация безопасности и личности

Многие протоколы аутентификации полагаются на сообщение секретов, известных обеим сторонам. Например, для проведения транзакции по банковской карте покупатель для подтверждения личности должен сообщить свой домашний адрес. А если что-то не совпадает, эмитент может попросить пользователя напомнить, какие платежи он совершал в различных местах, предполагая, что эти сведения могут быть известны только реальному держателю карты. Но приложение, следящее за местонахождением, может определить ваш домашний адрес, а также магазины, где вы были и, возможно, делали покупки. Таким образом, мошеннический IUI может быть задействован для компрометации вашей безопасности и идентифицирующих сведений.

Прямое манипулирование

Прямое манипулирование — это попытки получения частичного или полного контроля над действиями пользователя, характеризующиеся средней или высокой вероятностью успеха для каждого конкретного случая. Иначе говоря, если пользователем манипулируют подобным образом, есть высокая вероятность убедить его делать что-то ему несвойственное. Для этого приватная информация нужна не всегда, но доступность частных или устанавливающих личность данных повышает шансы на успех. Возможен и вариант, когда сама манипуляция позволяет получить такие сведения.

К числу прямых атак против свободы личности относятся манипулятивные приемы оформления интерфейса (dark pattern), наводящие пользователя на желательное для разработчиков действие. Пример — навигационное приложение, которое многократно, пока вы не ответите утвердительно, спрашивает, разрешаете ли вы сервис-провайдеру регулярно собирать подробные данные с вашего смартфона в целях улучшения результативности. Досаждая пользователю, такое приложение по сути склоняет его дать согласие; впоследствии тот может забыть, что дал разрешение, или не найти способа отозвать его.

Косвенное манипулирование

Косвенное манипулирование — это попытки получить частичный контроль над действиями пользователя, характеризующиеся крайне малой вероятностью успеха в каждом конкретном случае. Другими словами, для успеха требуется либо воздействие на очень большую аудиторию или многократные воздействия на одного и того же пользователя, либо то и другое.

Примеры косвенного манипулирования — рекламные объявления, а также особенности оформления интерфейсов, оборудования и т. п., результатом чего становятся незначительные изменения поведения. При разработке интерфейса предпочтительный для разработчика выбор выделяется или делается более простым. Например, во многих казуальных играх есть встроенные покупки, которые позволяют быстрее продвигаться вперед на сложных или скучных этапах. Разработчик может предложить игроку возможность купить предмет, увеличивающий шансы прохождения трудного этапа, в самый подходящий для этого момент. Собирая общие данные об аудитории игроков, для извлечения дополнительной выгоды можно с помощью аналитики выяснить, когда вероятность совершения покупки выше и как удержать играющего в игре, если он решил ее прекратить.

Агрегированные данные о пользователях помогают в косвенном манипулировании, предоставляя разработчикам средства оценки, классификации и сегментирования целевой аудитории, а также эмпирической проверки результатов опосредованных воздействий.

Казуальные мобильные игры — типичный пример IUI, способного понижать самоконтроль пользователя, увеличивая его когнитивную нагрузку, и, пользуясь этим состоянием, подталкивать его к принятию машинальных действий. Так, популярные игры вроде Clash of Clans, Candy Crush Saga и Pokemon Go вынуждают принимать массу решений, в отдельности представляющихся важными, но в целом не влияющих на общий ход игры. Вообще, создатели игр обычно стараются извлекать выгоду за счет улучшения впечатлений играющего, но недобросовестный разработчик может эксплуатировать реакции пользователя, предлагая принимать решения в моменты, когда тот находится в невыгодном положении.

Снижение рисков

Как можно ограничить описанные риски, не теряя преимуществ IUI?

Этичный дизайн пользовательского интерфейса

Простейший подход — продвигать более жесткие стандарты этики для разработчиков IUI. Отраслевые стандарты, социальные нормы, законодательные акты, оптимальные методы и сертификации в совокупности позволили бы ограничить риски нарушения приватности при создании коммерческих сервисов. Сегодня часть разработчиков IUI учитывают правила этики, но обеспечению приватности уделяют меньше внимания ввиду того, что к соответствующей проблеме в целом проявляют меньший интерес.

Архитектурные решения и открытые стандарты

Хорошо проработанная архитектура и алгоритмы позволяют защитить приватность, в то же время предоставляя сервис-провайдерам доступ к необходимым для IUI данным и аналитике. Методы дифференциальной приватности (анализ сведений о большом числе людей без идентификации личности) при определенных условиях обеспечивают защиту за счет добавления «шума» или изменения дискретизации данных. Существует также связующее ПО, предоставляющее приложениям с IUI высокоуровневый API, маскирующий идентифицирующую информацию о пользователях и уведомляющий лишь о готовности пользователя к действию приложения, выполняемому с учетом результатов анализа. Два этих подхода можно адаптировать для IUI, ослабив связь между решениями, которые нужно принимать в игре, и состоянием пользователя.

Пользовательские агенты

Специальный код для защиты интересов пользователя, действующий на доверенной платформе, поможет защититься от угроз приватности, исходящих от IUI. Похожие методы оказались действенными, в частности, против распознавания пользователей путем «дактилоскопии» браузера — например, есть плагины, которые случайным образом меняют идентифицирующие заголовки. Для IUI понадобятся агенты, работающие с более сложными угрозами, чем просто возможность отследить действия пользователя.

Агенты могли бы фильтровать данные, предоставляемые интерфейсу, или предупреждать пользователя при возникновении риска компрометации личных сведений. Скажем, определять, какие поля ввода данных необходимы сервису, а какие с учетом пользовательских интересов заполнять рискованно. Они могли бы выдавать точные данные, когда это необходимо (например, адрес доставки), а в других случаях предоставлять искаженные сведения для защиты приватности (случайным образом менять дату рождения, сохраняя возраст).

Агенты могли бы также фильтровать данные для систем обработки информации, просматривая переданный контент и вызовы API — например, следя за привилегиями, которые запрашиваются мобильными приложениями. Или выполнять роль межсетевого экрана с распознаванием контента, анализирующего и фильтрующего данные перед отправкой сервис-провайдеру. Скажем, если игра передает список контактов пользователя третьей стороне, такой агент мог бы заблокировать отправку.

Для агентов понадобятся открытые архитектуры, но идея может оказаться нереализуемой, так как операторы платформ и поставщики контента, пользуясь юридическими и техническими барьерами, ограничивают пользователя в возможности взаимодействия с программным обеспечением с помощью автоматизированных средств. Возможно, необходимую открытость можно было бы обеспечить путем государственного регулирования.

Экономические модели

Защита приватности в среде с враждебными элементами и ресурсными конфликтами может потребовать значительных затрат. Личная информация о человеке представляет ценность во многих контекстах, а IUI станут одним из главных полей «битвы» между обеспечением приватности и стремлением к раскрытию сведений, а также между противоборствующими сторонами, такими как сервис-провайдеры и блокировщики рекламы.

Методы теории игр, учитывающие стратегии конкурирующих игроков (в данном случае поставщиков IUI и пользователей), могут помочь в разработке механизмов, обеспечивающих оптимизацию решения ряда задач. Для IUI также можно было бы адаптировать некоторые защитные методы, разработанные для физической инфраструктуры.

Контроль происхождения и аудит

Если сохранять сведения о том, какие данные послужили основанием для тех или иных выводов и действий, можно будет проверять, была ли информация задействована без согласия пользователя. Технологии блокчейна дают возможность хранить данные (в том числе открыто) так, чтобы производить вычисления над ними и удостоверяться в их надежности могли только держатели соответствующих ключей шифрования. Реализуемый на основе блокчейна механизм «умных» контрактов можно доработать, обеспечив возможность без раскрытия содержания выяснять, на основании каких данных совершалась та или иная транзакция либо делался аналитический вывод. Допустим, к примеру, что поставщик IUI по условиям контракта обязан объяснять все свои решения. То есть интерфейс может получать личные данные пользователей, но аналитические выводы и решения нужно сохранять в блокчейне со ссылками на конкретные данные, ставшие их основанием. Пользователь, выполнив с помощью специальных средств аудит блокчейна, может выяснить, применялись ли его данные для целей, не оговоренных в контракте. Но этот метод далек от идеала: по связям между личными данными, хранимыми в блокчейне, можно узнать конфиденциальную информацию о пользователе и коммерческие секреты поставщика IUI.

***

Манипулирование — одно из самых вопиющих нарушений свободы личности: достаточно вспомнить хотя бы, каких масштабов достиг скандал, когда в Facebook провели психологический эксперимент над почти 700 тыс. пользователей, специально меняя состав ленты новостей, чтобы выяснить, как это влияет на их эмоциональное состояние. Манипулирование не всегда раскрывает личную информацию, но неизменно унижает достоинство человека. Добывая идентифицирующие сведения, IUI создает угрозу неприкосновенности личности и другие, не менее коварные риски, понимание и устранение которых станет ключом к дальнейшему развитию интеллектуальных интерфейсов.

Чтобы защитить личную тайну, обеспечив баланс между приватностью и пользой, необходимы новые подходы. Наиболее практичными с этой точки зрения представляются механизмы, основанные на архитектурном планировании и применении агентского ПО, есть также перспективы у методов, обеспечивающих возможность проведения аудита, и у экономических инструментов.

Литература

  1. R. Liu et al. An Unsupervised Collaborative Approach to Identifying Home and Work Locations. Proc. 17th IEEE Int’l Conf. Mobile Data Management, 2016. doi:10.1109/MDM.2016.53
  2. W. L. Prosser. Privacy // California Law Rev. — 1960. Vol. 48, № 3. — P. 383–423.
  3. Yahoo. Belgian Woman Drives 3000 km across Europe by Mistake. Yahoo.com, 16 Jan. 2013. URL: https://nz.lifestyle.yahoo.com/travel/a/15850672/belgian-womandrives-3000km-across-europe-by-mistake (дата обращения: 01.03.2017).

Кристофер Хазард (cjhazard@hazardoussoftware.com) — основатель компании Hazardous Software; Муниндар Сингх (singh@ncsu.edu) — профессор, Университет Северной Каролины.