8 лет назад 28 декабря 2011 в 14:42 1516

Контентный поиск изображений и его разновидность, реверсивный поиск, заметно отличаются от «традиционного». В обычном режиме мы составляем запрос из ключевых слов и получаем список изображений. Реверсивный поиск работает в обратном порядке.

В качестве запроса используется картинка, а система выдает список похожих на нее по какому-либо признаку изображений либо иную полезную информацию. К настоящему моменту сложилось несколько основных способов реверсивного поиска изображений. Первое направление – поиск по образцу, на точное совпадение.

Это означает, что система принимает в качестве запроса представленную пользователем картинку, после чего ищет в своей индексной базе веб-страницы, на которых встречается именно это изображение либо визуально похожие на него. Второй способ не требует от пользователя предъявления образца. Вместо этого предлагается самостоятельно сделать рисунок-набросок нужной картинки или же вручную указать требуемые параметры, например цветовую гамму.

Заметим, что крупные универсальные поисковики уже давно предлагают фильтры, учитывающие различные параметры изображений – размер, преобладающий цвет, – а также умеют распознавать портреты. Однако эти фильтры позволяют только уточнить запрос в пределах найденного подмножества. Данные инструменты нельзя было использовать для составления самого запроса.

Каким же образом можно использовать реверсивные поисковики на практике? Эти системы помогают решить три основные задачи. Первая – найти источник изображения. Предложив какую-либо картинку системе, мы получим ссылку на веб-страницу, на которой она была размещена. Полезно? Еще бы! Вторая задача – нахождение модифицированных версий представленной картинки, ее включений в коллажи, а также поиск изображений по их фрагментам. Третья задача – нахождение нужной картинки в версиях с более высоким разрешением и качеством.

Поиск по образцу
Относительно недавно инструменты реверсивного поиска были добавлены в базу поиска картинок Google. Вряд ли будет большой ошибкой предположить, что для многих пользователей именно эта новинка «большого G» стала открытием самой технологии реверсивного поиска картинок.

Реверсивный запрос к Google можно составить одним из трех способов. Первый – перетаскивание изображения-образца прямо в поле поиска Google. Поддерживается как drag & drop файлов из папок локального компьютера, так и перетаскивание картинок с других открытых веб-страниц. Второй вариант – вставить URL изображения в строку поиска. Наконец, можно воспользоваться формой загрузки файла с локального компьютера.

Явных ограничений на размер файла нет – система спокойно принимает картинки-запросы размером в несколько мегабайт, что вполне достаточно для подавляющего большинства ситуаций. Поиск начинается немедленно, а миниатюра картинки, которую мы использовали в качестве запроса, остается в строке поиска.

Страница результатов состоит из нескольких разделов. Если система смогла опознать изображенный на картинке объект, над общим списком выдачи появится небольшой блок с лучшими результатами текстового веб-поиска. В раздел «Страницы с подходящими изображениями» попадают одинаковые с вашим запросом или же очень похожие картинки, найденные в различных источниках, ссылки на которые приводятся рядом с миниатюрами.

Раздел «Похожие изображения» предлагает перечень визуально подобных изображений. Следует отметить, что система обращает внимание на цветовую гамму и расположение основных объектов. Распознавания не происходит, поэтому тематика картинок может быть самой разной. Однако Google предлагает для решения этой задачи другой инструмент: добавление к запросу-картинке привычных ключевых слов. Эта комбинация реверсивного и текстового поиска весьма удачна и действительно улучшает качество результатов. Дальнейшая работа с найденным контентом мало чем отличается от стандартного поиска картинок Google.

 

В качестве дополнительных инструментов предлагаются плагины для браузеров Firefox и Chrome. Функциональные возможности у них одинаковые: в контекстное меню браузера добавляется новый пункт, который отправляет URL заинтересовавшей вас в ходе серфинга картинки на реверсивную машину Google. Это, безусловно, полезные инструменты. К сожалению, у них есть и определенные недостатки.

Дополнение для Firefox не поддерживает последнюю на сегодня версию браузера, поэтому, чтобы запустить его, придется вручную поправить настроечный файл в XPI-пакете. Есть вопросы и к Chrome-версии. Дело в том, что данное расширение содержит NPAPI-плагин. Это означает, что оно может обращаться не только к ресурсам браузера, но и к ресурсам компьютера, например, свободно читать пользовательские файлы. В принципе, потребность в таких разрешениях понятна, однако даже по шкале родного интернет-магазина Chrome это считается высоким уровнем риска для приватности.

Как бы то ни было, реверсивный поиск Google является вполне зрелым и весьма полезным инструментом, который можно уверенно рекомендовать к постоянному использованию.
Google – не первая компания, предложившая открытый универсальный реверсивный поиск изображений. До запуска гугловского проекта лидерами в этой области были, пожалуй, онлайновые сервисы канадской компании Idee. Базовая технология данной службы – поисковая машина Piximilar, на базе которой и разрабатываются конкретные продукты. Соответствующий API на коммерческих условиях предлагается и для сторонних проектов.

 

Самый проработанный и полезный для нас проект этой фирмы – реверсивный поисковик изображений TinEye (www.tineye.com). Сразу скажем: со своими задачами он справляется весьма и весьма достойно. Данная система давно и благополучно достигла «товарного» состояния и может с успехом использоваться в повседневной работе, предлагая достаточно качественные и иногда неожиданные результаты. Попробуйте, например, провести с ее помощью поиск по аватарам ваших друзей.

TinEye пользуется собственной индексной базой. На сегодняшний день в ней содержится немногим больше двух миллиардов изображений. В принципе, охват достаточно большой, и TinEye неплохо справляется с большинством запросов. В то же время он не работает с популярными фотохостингами, явно предпочитая «обычные» веб-страницы с иллюстрациями.

Запросом служат загруженные с компьютера картинки или же URL интересующих вас изображений. Если вы захотите сохранить ссылку с результатами поиска, например, чтобы поместить ее на своем блоге, понадобится зарегистрировать на TinEye собственный аккаунт. Если этого не сделать, то картинки-запросы автоматически удаляются через четыре дня после их загрузки.
Страница результатов поиска TinEye содержит список найденных картинок (по десять на страницу).

Для каждой приводится миниатюра, имя файла, размер и адрес исходной веб-страницы. Дополнительных фильтров, равно как и режима расширенного поиска, здесь нет, но результаты можно отсортировать по признаку лучшего совпадения или же по размеру найденных версий картинки. Клик по миниатюре открывает окно сравнения, где можно оценить качество поиска, переключаясь между загруженным файлом-запросом и найденным TinEye-изображением.

Очень удобными дополнительными инструментами являются плагины TinEye для Firefox и Chrome – после их установки в контекстном меню появляется опция Search Image on TinEye, которая и отправляет выбранную картинку на поисковик. При этом распознаются даже бэкграунды веб-страниц. К данной возможности быстро привыкаешь, и эти дополнения – твердые кандидаты в джентльменский набор дополнений любого активного серфера. Для других браузеров, в том числе Opera, IE и Safari, предлагается букмарклет.

Есть в арсенале TinEye и виджет, который выводит на сайте или блоге вариации какого-либо изображения. Разработчики предлагают выбирать из нескольких знаменитых картин. Это сугубо развлекательный инструмент, не предлагающий каких-либо поисковых возможностей.

Кроме таких универсальных инструментов, как TinEye, на просторах Сети можно найти ряд тематических проектов, эксплуатирующих технологии реверсивного поиска. Начнем с проекта под незамысловатым названием Multi-service Image Search (iqdb.hanyuu.net). Этот поисковик работает с ресурсами, посвященными аниме, манге, гейм-арту и близким темам – всего обрабатывается восемь сайтов. Пусть охват и невелик, устройство поисковика имеет несколько любопытных особенностей.

По качеству инструментов составления запросов лидирует Google. В то же время TinEye умеет группировать одинаковые файлы и предлагает удобный инструмент сравнения картинок.

Начнем с того, что интерфейс Multi-service Image Search – проще некуда. Нам предлагается отметить чекбоксы ресурсов, на которые уйдет запрос, да ответить на вопрос о включении механизма оценки цветовой гаммы. Собственно, именно в нем и заключается изюминка системы. Ресурс действительно исправно поставляет результаты со схожей цветовой гаммой. Любопытно, что степень совпадения указывается в процентах рядом с каждой найденной миниатюрой и служит основой ранжирования найденного.

Среди реверсивных поисковиков нашлось место и частному проекту. SauceNAO (saucenao.com) также ориентирован на аниме- / манга-контент. Работает он в основном с цветовой гаммой изображений и частично с силуэтами предметов. Качество поиска у него не самое высокое, однако полезной функцией является поиск видео по кадру-запросу.

 

Тестируем поиск по образцу
Поскольку лучшими универсальными машинами для реверсивного поиска изображений на сегодняшний день являются сервисы от Google и TinEye, трудно избежать соблазна сравнить качество их работы и выявить наилучшие сферы применения этих замечательных инструментов. По качеству инструментов составления запросов лидирует Google. Его главный козырь – гибридный режим с уточнением визуального запроса с помощью ключевых слов. У TinEye ничего подобного нет – только чистый реверсивный поиск.

Если говорить о количественных параметрах, то размер индексной базы у Google явно побольше. При поиске по файлам из Сети сбоев с нулевым результатом поиска не было, проблемы в основном создавали только загруженные с локального компьютера тестовые снимки. Кроме того, в выдаче Google можно было увидеть результаты с некоторых крупных фотохостингов, например Photobucket. TinEye обходится индексированием «простых» веб-сайтов, да и надпись «0 results» в ходе тестирования встречалась немного чаще.

Что касается степени «похожести» предлагаемых результатов, то здесь позиции TinEye укрепляются. В частности, он немного лучше справляется с поиском изображений по фрагменту. Найденных файлов у Google гораздо больше, однако докопаться до вариантов какой-либо популярной картинки здесь сложнее – на первые позиции попадают «клоны».

Возможно, в данном случае подключаются и алгоритмы поиска по косвенным признакам, например извлеченным из текста веб-страниц ключевым словам. Справедливости ради заметим, что за счет более крупной базы Google выгодней использовать для поиска по фрагменту относительно редких изображений – алгоритм разбора запроса он отрабатывает на совесть, и шансы найти нужный результат довольно высоки.

Гугловская страница хорошо оптимизирована для показа большого количества результатов. В то же время TinEye умеет группировать одинаковые файлы и предлагает удобный инструмент сравнения картинок. В копилку данного сервиса отправится и наличие более удачных браузерных плагинов.

Поиск по характеристикам и наброску
На странице Idee Labs (labs.ideeinc.com) можно найти еще парочку любопытных инструментов, дополняющих TinEye и работающих по другим принципам. BYO Image Search предлагает поиск визуально похожих на продемонстрированное в качестве запроса изображений. Поиск ведется по базе фотостокового проекта Alamy (www.alamy.com) и затрагивает примерно 3 млн изображений.

В отличие от TinEye, здесь не ставится задача нахождения одинаковых изображений или их фрагментов, – это именно поиск картинок, просто похожих на исходную по цветовой гамме и очертаниям предметов. Запросом может служить загруженный с компьютера файл или же изображение, находящееся в Сети (по его URL). Поддерживаются форматы JPEG, GIF и PNG, максимальный размер файла – до 20 Мбайт.

Idee Multicolor Search Lab (labs.ideeinc.com/multicolr) предлагает найти изображение по сочетанию цветов. Запрос здесь составляется не с помощью предъявленного изображения, а вручную. Из палитры можно выбрать до пяти оттенков. Перетаскивая границы цветов на этой палитре, можно указывать их процентное соотношение на нужной картинке. Результаты поиска – 50 лучших совпадений – немедленно подгружаются на страницу. В качестве базы поиска в данном случае используется фотохостинг Flickr, точнее наиболее интересные изображения, представленные на нем под лицензией Creative Commons, общим числом 10 млн.

 

Заметим, что такой способ поиска использовался ранее другими экспериментальными поисковиками. Например, с подобным интерфейсом, построенном на основе алгоритмов IBM, уже давно можно поработать на сайте Государственного Эрмитажа. В то же время Idee отличается действительно высоким качеством результатов, а также очень простым интерфейсом.

Следующий проект, Visual Search Lab (labs.ideeinc.com/visual#), комбинирует контентный поиск и теги. Кроме фотозапроса здесь выводится перечень тегов, которыми были отмечены найденные фотографии, что позволяет быстро фильтровать результаты не только по визуальной схожести, но и по тематике. К сожалению, это только демонстратор технологии, работающий с фотостоком Alamy и не дающий доступа к полноформатным фото.

Упомянем также, что Idee предлагает интересные коммерческие системы. PixID (ideeinc.com/products/pixid) предназначена для отслеживания использования фотографий и их фрагментов в печатных публикациях и элементах дизайнерского оформления, а платный сервис PixMatch (ideeinc.com/products/pixmatch) – для организации реверсивного поиска изображений как в Сети, так и по локальной базе картинок.

Следующий герой нашего обзора, поисковик RevIMG (www.revimg.net), предлагает два режима работы: собственно реверсивный поиск по образцу загруженного пользователем изображения, а также режим рисования, когда юзер может попытаться самостоятельно нарисовать эскиз искомой картинки.

В отличие от Google и TinEye, данная система не пытается проиндексировать весь интернет, а сосредотачивается лишь на определенных тематических сегментах. Они перечислены в выпадающем меню на странице составления запроса. Всего предлагается пара десятков разнообразных категорий – от флагов стран мира до галерей некоторых известных художников, подборок снимков различных достопримечательностей, цветов, редких монет и многого другого.

Выбор категории является обязательным – без него поиск просто не начнется. На следующем этапе нам предлагают определить, будет ли запросом загруженное изображение целиком или же только отдельный его фрагмент. В последнем случае можно выделить на картинке нужную зону. Категории в списке выделяются различными цветами. Так, например, категории, основанные на поиске по какому-либо конкретному сайту, подсвечиваются белым, недавно обновленные – желтым.

На странице результатов показывается по пять найденных миниатюр. Для каждой приводится название найденной картинки, ссылка на содержащую ее веб-страницу, процент совпадения с картинкой-запросом. Рядом со всеми результатами есть кнопка поиска по имени файла в Google и Wikipedia. Кроме того, здесь есть кнопка, показывающая зоны совпадения изображения-запроса и найденной картинкой – такие зоны выделяются розовой подсветкой.

Второй режим – поиск по скетчу – работает только в браузере Internet Explorer. В этом режиме пользователю предлагается небольшой «холст», скромный набор кистей и свобода самовыражения – запрос можно просто нарисовать. Использование в качестве запроса сделанного пользователем наброска не является уникальной способностью RevIMG. Аналогичный режим можно увидеть на экспериментальном поисковике Retrievr (labs.systemone.at/retrievr), принадлежащем австрийской компании System One Labs. Данный ресурс работает с базой Flickr Interestingness.

Для рисования применяется специальная Flash-панель. Она содержит небольшую рабочую область, где и предлагается рисовать графический запрос. Кроме того, на ней находится набор круглых кистей разного размера, а также палитра, с помощью которой выбираются нужные оттенки. Анализ рисунка происходит практически в режиме реального времени. Прямо в ходе рисования на страницу подгружаются результаты поиска, что позволяет немедленно корректировать свой набросок.

Результаты такого поиска пока неоднозначны. Простейшая «рожица» исправно выдает галерею портретов, белый круг на черном фоне – фотоснимки Луны. В то же время попытки изобразить деревце или еще что-нибудь более детальное пока ведут к порядочному разброду. Для получения хорошего результата стоит рисовать крупными мазками и не пытаться изображать мелкие детали, работая с общим колоритом.

Компанию сервисам RevImg и Retrievr может составить проект Anaktisi (orpheus.ee.duth.gr/anaktisi), который также обладает режимом поиска по наброску. Правда, он находится в стадии бета-версии и грешит заметными неточностями в поиске. Поэтому его стоит воспринимать скорее как демонстратор технологий, а не практический инструмент. В то же время он не привязан только к Flickr, позволяет выбирать базу поиска из предлагаемого списка, а также дает возможность задействовать несколько интересных фильтров результатов. UP

Никто не прокомментировал материал. Есть мысли?

По соцсетям ничего не находит этот метод. А как-то находят ведь, но где не говорят…