В DeepMind, компании, специализирующейся в области искусственного интеллекта, которую Google купила в 2014 году, думают, как реализовать «кнопку аварийного выключения» для умных машин. Как пишут исследователи, «когда система работает под наблюдением человека, время от времени может возникнуть необходимость нажать на ‘стоп’, если появляется опасность, что действия машины могут причинить вред; однако со временем самообучаемая система может научиться избегать подобных прерываний, например, путем отключения кнопки ‘стоп’». Эксперты считают, что за разработку «аварийной кнопки» ученые взялись вовремя — еще задолго до создания искусственного интеллекта настолько развитого, что он может представлять опасность для человечества. Ведь уже в ближайшие пять лет финансовые компании могут начать целиком доверять управление фондовым портфелем алгоритмам, и может появиться сложная техника, полностью контролируемая искусственным интеллектом.