Подобно чересчур самоуверенным людям, искусственный интеллект часто не понимает, когда совершает ошибку. Иногда для машины «осознать» ошибку сложнее, чем выдать верный результат. Ученые Кембриджского университета и Университета Осло уверены, что такой дефект ИИ — его «ахиллесова пята». Ограничения ИИ аналогичны известному математическому парадоксу: в своей работе исследователи показывают, что существуют задачи, решаемые с помощью стабильных и точных нейросетей, однако нет алгоритма, который позволит получить сеть с такими характеристиками. При этом алгоритмы, позволяющие формировать стабильные и точные нейросети, существуют только для определенных случаев. Парадокс, выведенный авторами, уходит корнями в работы великих математиков XX века Алана Тьюринга и Курта Геделя. В начале прошлого столетия ученые пытались доказать, что математика способна решить любую научную задачу. Однако Тьюринг и Гедель продемонстрировали невозможность доказать истинность или ложность некоторых математических утверждений и отсутствие возможности решения некоторых вычислительных задач с помощью алгоритмов. Спустя десятки лет Стив Смейл составил список из 18 нерешенных математических задач XXI века — последняя из них касается определения ограничений интеллектуальных возможностей человека и машин. Парадокс Тьюринга для мира ИИ выглядит следующим образом: для некоторых задач не существует алгоритмов ИИ, которые позволили бы их решить. При этом авторы подчеркивают, что не все системы ИИ являются по своей природе несовершенными: некоторые могут надежно решать. В связи с этим в ситуациях, когда необходимы гарантии, возникает проблема — глубинное обучение сегодня уже используют для диагностики заболевания и для предотвращения аварий автомобилей-роботов, хотя многие системы глубинного обучения ненадежны и их легко ввести в заблуждение. ИИ может делать ошибки, но необходимо, чтобы система «осознавала» факт своей неточности. Однако во многих случаях узнать о степени уверенности системы в своем решении не представляется возможным. По словам ученых, на данном этапе практические успехи применения ИИ сильно опережают развитие теории и понимания принципов его работы.