Устойчивый поиск изображений по полному
и тематическому подобию с использованием многопараметровой классификации
информационная страница проекта
Сроки выполнения исследований: 01.01.2007 - 30.06.2007
Исполнители: Пономаренко Н.Н., к.т.н., с.н.с., www.cs.tu.fi/~ponom, Лукин В.В., д.т.н., профессор, Абрамов С.К., к.т.н., ст.преп.
Дополнительная информация: исследования выполнялись при поддержке ООО "Яндекс" (www.yandex.ru), которым, в частности, был предоставлен фрагмент своей базы изображений, общим числом в 2,5 миллиона пиктограмм.
Цель исследований: разработка робастных (устойчивых к сдвигам изображения, небольшим поворотам, изменениям масштаба и температуры изображения) многопараметровых мер подобия изображений, которые можно было бы эффективно применять для нахождения полного или тематического подобия между изображениями, в том числе, и для существующих баз пиктограмм (например, для базы Яндекса).
Основные результаты:
- Разработана многопараметровая (представляющая собой взвешенную сумму расстояний между признаками двух изображений) мера подобия, оценивающая степень визуального подобия изображений по их пиктограммам (уменьшенным копиям изображений с размерами примерно 100x100 пикселей);
- Разработана и опробирована на практике методика формирования тестовых наборов и проведения экспериментов для оптимизации весов отдельных расстояний в многопараметровой мере подобия;
- Разработан банк признаков изображений (459 байт) и банк из 618 расстояний, оценена их информативность;
- Достигнута высокая степень соответствия разработанной меры подобия визуальному восприятию человека. Корреляция Спирмана с усредненными данными, полученными в ходе экспериментов с людьми (около 100000 оценок степени визуального подобия изображений), составила 0,6. Для сравнения начальная корреляция (для упрощенной меры подобия) составляла 0,06, а корреляции участников экспериментов с усредненными данными колебались от 0,57 до 0,8.
Ближайшие перспективы: в ближайшее время мы планируем сосредоточить усилия на повышении информативности банка расстояний (внести в него до 5000 расстояний между различными признаками изображений) и на разработке демо-версии системы поиска изображений, работающей в реальном времени.
Тексты отчета и публикаций (в pdf):
report.pdf (1.9 Mb) - текст финального отчета по проекту.
entro.pdf (416 Kb) - Абрамов С.К., Лукин В.В., Пономаренко Н.Н. Мера содержания фона на основе энтропии для поиска и сортировки изображений в базах данных // Радиоэлектронные и компьютерные системы.- 2007. - N2 (21). - С. 24-28.
mera.pdf (971 Kb) - Пономаренко Н.Н., Лукин В.В., Абрамов С.К., Зеленский А.А. Меры подобия изображений для поисковых систем // Радиоэлектронные и компьютерные системы. - 2007. - N2 (21). - С. 49-58.
opti.pdf (1.2 Mb) - Пономаренко Н.Н., Абрамов С.К., Лукин В.В., Царан А.С. Оптимизация весов многопараметровой меры подобия для поиска изображений // принята в журнал Системы обработки информации. - 2007.
ustoj.pdf (677 Kb) - Роенко А.А., Февралев Д.В., Пономаренко Н.Н., Лукин В.В. Применение устойчивых оценок параметров выборок данных при обработке изображений // Восточноевропейский журнал передовых технологий. - 2007. - N3/2 (27). - С. 21-31.
Дополнительные материалы (в pdf):
tablepri.pdf (77 Kb) - состав банка признаков изображений, использовавшихся при вычислении меры подобия.
tabledis.pdf (70 Kb) - состав банка расстояний между признаками, использовавшихся при вычислении меры подобия.
Примеры поиска изображений с помощью разработанной меры подобия:
Для вывода на экран примера поиска изображений по подобию заданному образцу (первые 270 найденных изображений, образец
для поиска - на первом месте) нажмите на уменьшенный фрагмент иллюстрации.
Внимание! Размер файла каждой иллюстрации - около 1 Mb!
Иллюстрации к параметрам сортировки изображений:
Для каждого параметра приведены 96 изображений с наибольшим его значением (левая колонка),
96 изображений с наименьшим его значением (центральная колонка) и 96 случайных изображений, отсортированных по этому параметру (правая колонка).
Иллюстрации практических ситуаций поиска:
Для тех, кто случайно попал на эту страницу, эти иллюстрации помогут
понять, в каких ситуациях может быть нужен поиск изображений по подобию, и
насколько сложно в каждой ситуации это сделать.
