Первый — универсальный поиск по косвенным признакам. Он в общем-то незначительно отличается от поиска веб-страниц, поскольку. анализируются различные элементы: имена файлов, теги HTML-разметки, ссылки, подписи и тексты, находящиеся рядом с картинкой на веб-странице. Такой способ позволяет использовать накопленные индексные базы и обеспечивает широкий охват ресурсов. Поисковый запрос состоит из вводимых пользователем ключевых слов. Сравнительно ограниченные дополнительные возможности позволяют фильтровать изображения по размеру, цветности и другим подобным признакам. В то же время при таком поиске неизбежен значительный процент ошибок и информационного шума.
Впрочем, результаты поиска изображений можно улучшить, подключив человека к процессу индексирования. Именно такой подход применяется на многочисленных фотохостингах и фотосервисах, когда задачи описания содержимого изображений возлагаются непосредственно на пользователей, например, с помощью подробных «анкет» изображений, предполагающих достаточно качественное и детальное описание. Однако гораздо шире распространен фолксономический подход со свободным индексированием с помощью тегов. У такого способа также есть свои достоинства и недостатки. С одной стороны, действительно, мало кто может рассказать о фотоснимке лучше автора. С другой — качество индексирования сильно зависит от его терпения, ведь далеко не у каждого хватит желания и свободного времени подробно проиндексировать сотню-другую загружаемых снимков.
Третья основная технология индексирования и поиска изображений связана с попытками автоматического распознавания картинок. Общее ее наименование — контентный поиск изображений (Content Based Image Retrieval, CBIR). В ходе индексирования графики CBIR-система работает не с косвенными текстовыми признаками, о которых упоминалось выше, а непосредственно с характеристиками изображения. Индексируются цветовая гамма картинки и текстуры, распознаются и записываются очертания предметов и их расположение в кадре. Полученные данные используются для формирования запроса или же для сравнения картинок, чтобы выявить визуально похожие изображения.
Преимущество CBIR-поисковиков состоит в том, что автоматизированный процесс индексирования затрагивает визуальные характеристики изображения. Кроме того, данная технология предлагает пользователям оригинальные средства составления поисковых запросов. В то же время CBIR — не панацея, она имеет свои ограничения. Как следствие, лучшие CBIR-поисковики обычно предлагают комбинированные инструменты, объединяющие возможности нескольких технологий индексирования.
Заметим, что визуальные контентные алгоритмы уже давно работают в системах интернет-поиска в составе «семейных фильтров», однако в последнее время появилось несколько поисковиков, сделавших CBIR-технологии основным средством индексирования и составления запросов. Это привело к интересным результатам. Более того, стиль работы с подобными сервисами существенно отличается от привычного поиска картинок по ключевым словам. Именно такие поисковики, сгруппированные по способам составления запроса, и стали героями нашего обзора.
Tiltomo
Финский поисковик Tiltomo — независимый экспериментальный проект, использующий в своей работе базу Flickr, точнее две тестовые выборки из этой базы, имеющие общий объем в несколько сотен тысяч фотографий. Первая представляет собой выборку снимков, загруженных на Flickr за последние сутки, вторая — фото из группы Catchy Colors. Именно в этой базе лучше всего работают инструменты анализа изображений. Переключаться между базами можно перед началом поиска.
Просмотр начинается либо с предлагаемого случайного набора снимков, либо c поиска по ключевому слову-тегу. Далее к полю ввода запроса можно не обращаться — Tiltomo работает как каталог, производя по требованию пользователя дополнительную фильтрацию выводимых фото. Все контентные инструменты фильтрации и сортировки собраны на странице выдачи. На ней выводятся три десятка снимков, соответствующих первоначальному запросу. Дальнейшее уточнение запроса происходит не привычным добавлением дополнительных ключевых слов к нему, а с помощью визуальных инструментов. Рядом с каждой миниатюрой появляются две ссылки: Find Similar by Theme («Найти похожие по тематике») и Find Similar by Color/Texture («Найти похожие по цвету и текстуре»).
Первая из них проводит поиск по ключевым словам, которыми помечено выбранное изображение. Этот способ хорош для быстрой обработки синонимов, поскольку позволяет оставить в выдаче только тематические изображения. Вторая ссылка запускает собственно контентный анализ картинки. В результате будут получены визуально похожие на нее изображения. Цикл можно повторять, выбирая в выдаче понравившиеся картинки. К сожалению, эти два режима работают независимо друг от друга. Так что не удастся, например, сначала ограничить выдачу определенной темой и потом подобрать в ней изображения со схожим внешним видом — переключение к контентному анализу сбивает тематический фильтр, что не очень удобно.
Третий способ сортировки найденного — фильтр Show ONLY images from the reference photographer. Он переключает Tiltomo в режим поиска снимков конкретного автора. Здесь каких-либо инноваций нет, все работает в привычном по другим поисковикам стиле.
ALIPR
Разработчики ALIPR имеют богатый опыт работы с системами распознавания изображений. Именно они в свое время были авторами проекта WIRE, применявшегося для построения первых «семейных» веб-фильтров, и поисковика картинок SIMPLIcity. Система ALIPR, запущенная в 2006 г., является некоммерческим проектом. Пока доступен только обычный интерактивный пользовательский интерфейс, однако разработчики обещают выпустить готовый API для автоматического взаимодействия, как только это позволит сделать техническая база проекта.
Идея ALIPR заметно отличается от заложенных в других подобных проектах. Дело в том, что запросы здесь составляются обычным образом, с помощью ключевых слов. Однако индексная база этих ключевых слов формируется с применением технологии автоматического тегирования. Получив на входе фотоснимок, система проводит распознавание изображенных на нем предметов. Затем на основе проведенного анализа изображение автоматически помечается тематическими тегами, соответствующими объектам на снимке.
В качестве начального запроса используются только изображения. Картинку можно загрузить со своего компьютера. Если же она находится на веб-сайте, достаточно указать ее URL. На странице выдачи для каждой миниатюры предлагаются кнопки Related и Similar, работающие в качестве фильтров. Их действие аналогично рассмотренным выше инструментам Tiltomo. Кроме того, осуществляется поиск по автоматически присвоенным тегам.
Интересно, что доступны фильтры, относящиеся к эмоциональным оценкам, содержащимся в тегах. Соответствующие теги можно самостоятельно присвоить понравившейся фотографии. За удачные изображения предлагается проголосовать, и затем эти сведения будут учтены в работе системы. Как только вы отдадите свой голос за то или иное изображение, система выведет общий список присвоенных ему тегов, что позволяет быстрее и точнее найти похожие снимки. Благодаря работе всех названных инструментов качество подбора похожих изображений у ALIPR выше, чем у Tiltomo.
Кстати, предлагаемые технологии применяются не только на самом сайте ALIPR, но и на нескольких крупных веб-проектах. Их, в частности, используют фотопорталы Airliners.net и Terragaleria.com
Picitup
Израильская компания Picitup предлагает сразу несколько онлайновых продуктов, как коммерческих, так и общедоступных. Среди последних в контексте нашего обзора наибольший интерес представляют ресурсы Picitup Visual Image Search и Picitup Celebrity Matchup, которые мы и рассмотрим.
Визуальный поиск работает с базами внешних сервисов — Yahoo!, Flickr и Picasa. К сожалению, вести метапоиск сразу по всем названным сервисам с помощью Picitup нельзя — можно только переключаться между результатами, полученными из различных источников. Соответствующая опция-переключатель доступна в интерфейсе поисковика. Количество результатов, выдаваемых Picitup за один поиск, ограничено пятью сотнями.
Поиск начинается обычным способом — вводом ключевых слов. Визуальные фильтры, скомпонованные на небольшой боковой панели, становятся доступны уже на странице выдачи результатов. Первая группа переключателей позволяет работать с сюжетами снимков. На основе анализа контента система может показать только портреты, общие планы или пейзажи. Следующий инструмент — выбор основной цветовой гаммы изображения с помощью предлагаемой палитры. Отдельный фильтр отвечает за формат (обычный или для широких экранов) и ориентацию изображения (книжная или альбомная). Кроме того, предлагается палитра простейших геометрических фигур, дающих возможность в определенной степени описать композиционные особенности нужных изображений. Названные инструменты позволяют задавать относительно точные параметры картинки, однако имеется и более простое средство — кнопка Similar Images, выводящаяся рядом с каждой миниатюрой. В этом случае система попытается самостоятельно определить необходимые параметры и подобрать похожие картинки.
Сервис Celebrity Matchup носит скорее развлекательный характер. Работает он по принципу сравнения изображений. Пользователю предлагается загрузить на сервер свое фото, после чего система производит распознавание лица и ищет в своей базе фотоснимки похожих знаменитостей. Надо сказать, что работает поисковик достаточно неплохо. Также предлагается оценить по пятибалльной шкале степень соответствия фотографий, что помогает разработчикам в совершенствовании алгоритмов.
Xcavator
Собственные технологии поиска похожих изображений демонстрирует сервис Xcavator. Этот поисковик ориентирован на профессиональное применение, поскольку ищет не по общедоступным источникам, а по нескольким крупным фотобанкам, в том числе по Fotolia и iStockphoto.
Приемы работы с Xcavator во многом подобны стилю работы с уже рассмотренными выше машинами. Поиск начинается вводом ключевого слова. Дальнейшее уточнение запроса можно вести с помощью CBIR-инструментов. Первый способ — простой щелчок на наиболее понравившемся снимке. После него страница выдачи перестраивается, и на нее попадают только те изображения, что визуально похожи на отобранное. Второй визуальный инструмент под названием Traces действует в окне активной миниатюры. Прямо на ней с помощью мыши можно сделать набросок нужной картинки. Правда, данная система работает лишь с точками и простыми линиями. Зато в ней присутствует расширенный поиск, позволяющий точно задать цветовую гамму изображения. В качестве вспомогательного инструмента выступает подробный текстовый перечень тегов, которыми помечена активная картинка. Он приводится под текстовой строкой поиска. Найденные изображения можно отобрать в мини-галерею. Работа с Xcavator заканчивается перенаправлением на сайты агентств, которым принадлежат права на выбранные снимки.
Retrievr
Австрийский проект Retrievr работает в двух режимах. Первый — уже знакомый вам поиск на сравнение (Search by Image). Пользователю предлагается загрузить фото или указать его адрес в Интернете, после чего Retrievr ведет поиск по собственной выборке из базы фотохостинга Flickr.
Второй режим, называемый Search by Sketch, гораздо интереснее. Он позволяет пользователю самостоятельно сделать эскиз нужного ему изображения. Для этого предлагается простой графический редактор, выполненный на базе технологии Flash. В нем имеются палитра выбора цвета, а также набор круглых кистей различного диаметра. С их помощью можно нарисовать свой запрос, работая одновременно и с цветом, и с формой. Лучше всего пока разбираются запросы с чистыми цветами, сделанные крупными мазками, — с мелкими деталями Retrievr справляется не очень уверенно. Результаты поиска немедленно подгружаются на страницу выдачи. Заметим, что, поработав некоторое время с поиском и приспособившись к его особенностям, удается получать довольно качественные результаты.
Anaktisi
Поисковик Anaktisi работает с четвертью миллиона снимков, взятых из десятка внешних фотохостингов. Основной инструмент — кнопка Search Similar Images, расположенная рядом с миниатюрами на странице выдачи. В качестве дополнительного фильтра выступает выбор дескрипторов — вариантов расчета подобия изображений. Используются системы CEDD, FTCH и JCD, являющиеся разновидностями так называемых Compact Composite Descriptors (CCD) — средств компактного описания характеристик изображений. Система CEDD, основывающаяся на использовании фильтров MPEG-7, формирует на базе их данных описания текстурных областей картинок. А вот FTCH, в свою очередь, при решении аналогичной задачи полагается на вейвлет-преобразования Хаара. Таким образом, Anaktisi становится любопытным полигоном для тестирования качества и особенностей работы этих алгоритмов для различного типа изображений.
С точки зрения пользователя, поиск выполнен весьма удобно. Начинается он выбором одной из дюжины доступных баз изображений. Далее предлагается определиться с типом дескриптора и, наконец, составить сам запрос. Для выполнения этой задачи доступны практически все современные CBIR-средства. Можно просто начинать просмотр снимков, щелкать на понравившихся и тем самым уточнять свой запрос. Допустима загрузка на сервис в качестве графических запросов собственных изображений. Подобно Retrievr, данная система позволяет сделать запрос-набросок, правда, в качестве поиска она немного проигрывает австрийскому конкуренту. Кроме того, можно воспользоваться классическим поиском по ключевым словам. Все эти режимы доступны в виде закладок интерфейса поисковика.
Полуфиналисты
В рамках данного обзора стоит привести еще несколько CBIR-проектов, находящихся на стадии бета-версий и демонстраторов технологий. Группу поисковиков с обратной связью пополнят «британец» Picollator Lab и шведский проект ImBrowse (media-vibrance.itn.liu.se/vinnova/cse.php). Отличительная черта первого проекта — наличие русского интерфейса. CBIR-возможности у него скромные: выполняется только автоматический поиск похожих картинок без каких-либо дополнительных фильтров. Качество поиска посредственное. ImBrowse выглядит интереснее, однако это не более чем демоверсия, которая работает лишь с миниатюрами — прямого доступа к полноформатным картинкам здесь нет. Для нахождения похожих снимков предлагается использовать один из шести фильтров, работающих с цветами, текстурами и абрисами объектов. Попытки приспособить CBIR-технологии к поиску товаров демонстрируют системы Like.com и поиск по магазинам Picitup Shop. Это направление достаточно перспективно, однако данные его реализации мало чем полезны в наших широтах, поскольку ориентированы в основном на североамериканских пользователей.
Отдельно следует упомянуть интересный пример контентного поиска изображений, действующий на сайте Государственного Эрмитажа. Работает он только по цифровым коллекциям самого музея. В данном проекте использованы разработки корпорации IBM (алгоритм Query By Image Content, QBIC). Предлагается два оригинальных режима поиска: по цветовой гамме и по композиции изображения, а для составления запросов используются графические редакторы, работающие на платформе Java.
Tiltomo
Оценка: 3 / 5
Язык интерфейса: английский
Разработчик: The Tiltomo Team
Сайт: tiltomo.com
ALIPR
Оценка:4 / 5
Язык интерфейса: английский
Разработчик: Alipr
Сайт: www.alipr.com
Picitup
Оценка: 4 / 5
Язык интерфейса: английский
Разработчик: Picitup
Сайт: www.picitup.com
Xcavator
Оценка: 4 / 5
Язык интерфейса: английский
Разработчик: CogniSign Inc.
Сайт: xcavator.net
Retrievr
Оценка: 3 / 5
Язык интерфейса: английский
Разработчик: System One Labs
Сайт: labs.systemone.at/retrievr
Anaktisi
Оценка: 4 / 5
Язык интерфейса: английский
Разработчик: Democritus University of Thrace
Сайт: orpheus.ee.duth.gr/anaktisi