В основе нынешнего бума машинного обучения лежат идеи, хорошо известные еще с конца 1980-х годов и возникшие, скорее всего, из-за неудач с экспертными системами, вызвавших «вторую зиму искусственного интеллекта». Выражением этих идей стало то, что от подходов, основанных на попытках каким-то образом передать машине знания (knowledge-driven approach), произошел сдвиг к подходам, основанным на обучении нейронных сетей по предлагаемым примерам (data-driven approach). Решающим фактором было открытие в 1986 году обратного распространения ошибки обучения (backprop), сделанное Джеффри Хинтоном, «крестным отцом глубинного обучения». Но тридцать лет назад прорыв машинного обучения в практику не случился — теоретическое обоснование backprop опередило имевшиеся тогда потребности и возможности, зато к настоящему времени сложились все условия для массового распространения глубинного машинного обучения (deep learning).

В 2006 году Джеффри Хинтон, профессор Университета Торонто, опубликовал статью «A Fast Learning Algorithm for Deep Belief», в которой показал преимущества глубинного обучения, достижимые за счет увеличения числа слоев в сети. К этому времени вокруг него образовалось сплоченное сообщество, которое уже несколько лет работало «в невидимом режиме». Его участники называли себя «заговорщиками глубинного обучения» (Deep Learning Conspiracy) или даже «канадской мафией»; лидерами сообщества стали Ян Лекун, Иешуа Бенджо и Джеффри Хинтон. Эстафета была подхвачена, и сегодня исследованиями, связанными с глубинным обучением, во всем мире занимаются более 10 тыс. человек.

В 2009 году исследователь из Стэнфордского университета Эндрю Ынг, ныне руководитель исследовательского подразделения Baidu, в статье «Large-scale Deep Unsupervised Learning using Graphics Processors» продемонстрировал, как можно ускорить обучение сети с помощью графических процессоров: «Графические процессоры могут обеспечивать более мелкоструктурный параллелизм, чем существующие многоядерные процессоры или распределенные кластеры. Они спроектированы в расчете на поддержку тысяч потоков с распределением их по сотням ядер при незначительных накладных расходах». Сегодня GPU стали основной платформой для систем глубинного обучения (80% всех инсталляций), хотя уже заметная доля принадлежит FPGA и ASIC.

На нынешнем уровне для обучения сетей требуются большие объемы данных. До недавнего времени это было проблемой, но сейчас ситуация заметно изменилась — сегодня обучающих данных великое множество (изображения, оцифрованные тексты и т. д.). Более того, возникло встречное движение, вызванное потребностью корпораций в анализе больших объемов данных: работы по глубинному обучению уже с первых шагов были поддержаны со стороны Google, Facebook и Microsoft, а правительства различных государств стали активно финансировать соответствующие гранты.

Сегодня глубинное обучение активно внедряется в самые разные сферы деятельности, позволяя специалистам сравнивать происходящее сейчас не столько с первыми двумя волнами искусственного интеллекта 70-х и 90-х годов, сколько с интернет-пузырем 2000 года.

В существующих системах глубинного обучения обработка происходит в два этапа: на первом идет обучение (training), а на втором выносится заключительное суждение (inference). Результат первого — программа, которая затем выполняется на центральных процессорах традиционной архитектуры. То есть учится не компьютер, а работающая на нем программа. В итоге складывается некий паллиатив, что-то наподобие конки — уже гужевой омнибус, но еще не электрический трамвай.

Очевидно, что нынешняя схема с учителем, состоящая из обучения и суждения, не вечна; своего развития требуют подходы к обучению без учителя. Скорее всего, будущее будет связано с развитием аппаратного обеспечения, с переходом на FPGA, ASIC, нейроморфные или квантовые процессоры. В любом случае с переносом логики в железо удастся действительно воплотить в жизнь определение машинного обучения, данное его основоположником Артуром Самуэлем еще в 1959 году: «Машинное обучение — это область исследований, направленная на то, чтобы снабдить компьютер способностью обучаться без явного программирования».

Но нейронные сети, моделирующие мозг человека, — не единственный метод реализации машинного обучения. Широко известна, к примеру, достаточно простая, но обучавшаяся проходить лабиринты мышка Тезей, созданная Клодом Шенноном в 1952 году. Как бы ни было развито программирование, на каких бы новых языках ни писались программы, они обеспечивают жесткое управление, при котором или вовсе не предусмотрена обратная связь со средой, или же она весьма ограничена. Кибернетический подход к обучению свидетельствует о схожести процессов перехода от программного управления к управлению по обратной связи в технических, биологических и социальных системах с намечающимся переходом от программирования компьютеров к их обучению. По утверждению лауреата Нобелевской премии Герберта Саймона, обучением может быть любой процесс, повышающий заинтересованность любой системы в получении опыта, знаний или впечатлений [1]. Ообучение есть не что иное, как усовершенствование объекта или субъекта за счет взаимодействия по обратной связи с внешней средой, а это и есть предмет кибернетики.

Клод Шеннон и его мышь
Источник: MIT Museum, CC BY 2.0 

Поиск кибернетических подходов к обучению приводит к работам Михаила Львовича Цетлина (1924–1966), прежде всего к статье «О поведении конечных автоматов в случайных средах» (журнал «Автоматика и телемеханика», 1961, том 22, выпуск 10, стр. 1345–1354), а также к книге «Исследование по теории автоматов и моделированию биологических систем».

Цетлин — не только один из представителей плеяды выдающихся математиков-кибернетиков 50–70-х годов, ученик Израиля Моисеевича Гельфанда, но и человек удивительной биографии. Фронтовик-разведчик, награжденный медалью «За отвагу» и орденом Красной Звезды, он еще и после войны служил в армии, поэтому смог возобновить учебу в МГУ только в 1947 году. Работу на заводе он совмещал с наукой, но, оставив карьеру инженера, вернулся аспирантом на физфак, защитил диссертацию, основанную на его студенческих наработках, выполненных под руководством Гельфанда, и был приглашен Алексеем Андреевичем Ляпуновым [2] в Математический институт АН СССР. С 1956 по 1961 год Цетлин занимался вопросами биологии и медицины, а затем автоматизацией моделирования биологических, экономических и социальных систем. Кибернетике в чистом виде он отдал всего пять лет. Как ученый и как человек Цетлин интересно представлен в статье «М.Л. Цетлин и развитие математического моделирования в СССР», опубликованной в 2015 году профессором Томского университета В.И. Левиным.

Михаил Львович Цетлин

Цетлин работал над созданием технических устройств, которые могли бы демонстрировать целесообразное поведение в случайных средах. Предпосылками исследований стали прежние работы Цетлина, связанные с изучением поведения подопытных животных. Он изучал поведение автомата как животного, контактирующего со средой, которая в зависимости от его поведения наказывала или поощряла, при этом автомат мог обучаться, то есть стремиться к уменьшению числа наказаний за счет изменения своего внутреннего состояния. Для доказательства использовался аппарат цепей Маркова.

Первой конструкцией был автомат с линейной тактикой — автомат с двумя состояниями, который в одном состоянии выдает на выходе сигнал о том, что он совершает действие d1, в другом — о том, что он совершает действие d2. За ошибочное действие автомат штрафуется и переводится в другое состояние, а за верное поощряется и сохраняет свое состояние, после чего действие повторяется.

Обучающийся автомат должен минимизировать суммарный штраф за все время своей жизни. Простейший автомат превращается в автомат с линейной тактикой после того, как увеличивается количество состояний, в которых он выполняет одинаковое действие. С современных позиций работы Цетлина можно отнести к обучению с подкреплением (reinforcement learning), когда модель обучается по обратной связи при взаимодействии с внешней средой.

Более полувека труды Цетлина оставались известны лишь узкому кругу отечественных исследователей, в англоязычной статье «Википедии», посвященной reinforcement learning, его имя даже не называется; правда, в немногих зарубежных источниках можно встретить упоминание о Tsetlin Automata. Однако в апреле 2018 года вышла работа Гранно Оле-Кристофера, профессора норвежского Университета Агдера, директора Центра исследований в области искусственного интеллекта, имеющая необычный заголовок «Машина Цетлина. Теоретико-игровой бандитский подход к оптимальному распознаванию образов с пропозициональной логикой» («The Tsetlin Machine — A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic»). С бандитизмом этот подход, конечно, не имеет ничего общего — это просто метафора. Однако работы Цетлина стали импульсом к развитию теории многоруких бандитов, названных так по аналогии с «однорукими бандитами», устанавливаемыми в казино: в теории вероятностей задачей многорукого бандита называют задачу, в которой ограниченный набор ресурсов необходимо распределить между противоборствующими сторонами.

В своей статье Оле-Кристофер показал, как можно сконструировать самообучаемую машину на предложенных Цетлиным принципах в сочетании с пропозициональной логикой (раздел символической логики, изучающий образованные из простых сложные высказывания и их взаимоотношения). «Скромно» назвав собственную работу прорывной, автор утверждает, что разработанная им машина Цетлина построена на принципах, в корне отличных от всех известных подходов к реализации искусственного интеллекта, причем сама машина уже в ряде экспериментов показала лучшие результаты, чем альтернативные подходы. По мнению Оле-Кристофера, машина Цетлина станет качественно новым инструментом для распознавания образов, работы с языками, решения задач диагностики и планирования, а отказ от нейронных сетей в пользу логики позволит использовать для приложений искусственного интеллекта обычные универсальные компьютеры.

***

Вероятность того, что машина Цетлина составит конкуренцию нейронным сетям, пока невелика, но при любом исходе попытка вдохнуть новую жизнь в теорию, на полвека опередившую свое время, безусловно заслуживает уважения.

Литература

  1. Леонид Черняк. Бизнес-аналитика как сервис // Открытые системы.СУБД. — 2010. — № 4. — С. 16–23. URL: https://www.osp.ru/os/2010/04/13002275 (дата обращения: 21.09.2018).
  2. Галина Езерова, Энгелина Луховицкая. Первый компилятор // Открытые системы.СУБД. — 2013. — № 7. — С. 52–53. URL: https://www.osp.ru/os/2013/07/13037356 (дата обращения: 22.09.2018).

Леонид Черняк (lc1244@gmail.com) — независимый автор (Москва).