Согласно посту в исследовательском блоге Google, в компании разработали самообучающуюся систему автоматического составления подписей к фотоснимкам — Neural Image Caption. Как пишут научные сотрудники Google, система состоит из двух нейросетей разных типов. Одна конвертирует изображение в некую компактную репрезентацию, вторая — генерирует фразу, описывающую снимок. Исследователи задавались целью обучить систему выдавать естественно звучащие подписи с упоминанием распознанных объектов. Система может генерировать фразы, точно описывающие содержание снимка, например «группа людей делает покупки на открытом рынке». Иногда программа совершает мелкие ошибки, в частности подпись под снимком, изображающим трех собак, указывает, что их там две. Бывают и серьезные промахи — к примеру, изображение дорожного знака система приняла за холодильник.

Поделитесь материалом с коллегами и друзьями

Купить номер с этой статьей в PDF