Похожие товары и поиск по фото: как визуальный поиск меняет интернет-магазины

Обычный поиск в интернет-магазине предполагает, что покупатель знает, что именно он ищет и как это называется.

Нужны белые кроссовки — вводим «белые кроссовки». Нужен аккумуляторный шуруповёрт — пишем название инструмента. Ищем определённую модель смартфона — вводим бренд и модель.

Но в реальной жизни покупатель далеко не всегда может сформулировать запрос.

Он может увидеть понравившийся светильник в интерьере, сделать скриншот куртки в социальной сети, сфотографировать кресло в кафе или просто найти изображение товара, название которого ему неизвестно.

И здесь классическая строка поиска начинает работать значительно хуже.

Как описать словами форму сумки? Как правильно назвать оттенок платья? Что написать в поиске, если покупатель даже не знает, к какой категории относится нужная деталь?

Одним из решений этой проблемы становится визуальный поиск — поиск товаров по фотографии и подбор визуально похожих товаров.

Это не просто необычная функция интерфейса. При правильной реализации она меняет сам способ взаимодействия человека с каталогом.

Что такое поиск товара по фото

Поиск по фотографии позволяет использовать вместо текстового запроса изображение.

Покупатель может загрузить:

фотографию товара;

скриншот из социальной сети;

изображение из мессенджера;

фотографию предмета, сделанную камерой смартфона;

картинку из другого источника.

После этого система анализирует изображение и пытается найти наиболее подходящие позиции в каталоге конкретного интернет-магазина.

Например, покупатель увидел фотографию кресла.

Он не знает производителя, коллекцию или правильное название стиля. Вместо попыток сформулировать запрос вроде «бежевое мягкое кресло на деревянных ножках» он просто загружает изображение.

Система сравнивает его с каталогом и показывает товары, которые визуально ближе всего к исходной фотографии.

Для человека это значительно естественнее: показать, что хочется найти, иногда проще, чем объяснить это словами.

Как компьютер вообще понимает, что изображено на фотографии

На самом деле система не рассматривает фотографию так, как это делает человек.

Современные модели машинного обучения преобразуют изображение в набор числовых признаков — своего рода математическое представление объекта.

В нём могут отражаться:

форма;

цвет;

текстура;

композиция;

отдельные элементы объекта;

общий визуальный стиль;

семантическое сходство с другими предметами.

Такая же обработка заранее выполняется для изображений товаров интернет-магазина.

Когда покупатель загружает новую фотографию, система получает её математическое представление и начинает искать в каталоге позиции, находящиеся к нему «ближе» всего.

Поэтому для такого поиска необязательно иметь фотографию, полностью совпадающую с карточкой товара.

Например, платье на загруженной фотографии может быть снято на улице на человеке, а в интернет-магазине — на студийном фоне. Хорошая модель всё равно способна определить визуальное и смысловое сходство между ними.

Именно этим визуальный поиск принципиально отличается от старых механизмов сравнения картинок пиксель в пиксель.

Поиск по фото и похожие товары — не одно и то же

Эти технологии тесно связаны, но решают немного разные задачи.

Поиск по фотографии начинается с внешнего изображения.

Покупатель приносит в магазин фотографию и фактически говорит:

«Я ищу что-то вроде этого».

Похожие товары обычно начинаются уже внутри каталога.

Человек находится на карточке определённого товара и хочет посмотреть другие позиции, максимально близкие к нему.

Например:

Этот диван нравится, но слишком большой.

Эти кроссовки подходят, но нужен другой вариант.

Эта сумка закончилась — покажите что-нибудь похожее.

Вместо обычного блока «Вам также может понравиться» система действительно анализирует сам товар и ищет его ближайшие аналоги.

Получается два разных сценария:

фотография → каталог

и

товар → похожие товары каталога.

Технологически они могут использовать одну основу, но для покупателя выглядят совершенно по-разному.

Почему стандартного поиска недостаточно

У текстового поиска есть фундаментальная особенность: пользователь должен подобрать слова, которые совпадают с тем, как магазин описал товар.

Допустим, в каталоге товар называется:

«Подвесной светильник в стиле лофт».

Покупатель при этом может искать:

лампу над столом;

чёрный светильник;

металлическую лампу;

подвесную люстру;

светильник как в кафе.

Человек и каталог говорят об одном объекте, но используют разные слова.

Хороший современный текстовый поиск способен частично решить эту проблему с помощью морфологии, синонимов, исправления ошибок и семантического анализа.

Но существуют характеристики, которые словами передавать неудобно в принципе.

Например:

«Хочу примерно такую форму, только немного светлее».

Для визуального поиска это вполне нормальный запрос.

Где поиск по фото особенно полезен

Польза технологии сильно зависит от ассортимента.

Не каждому интернет-магазину визуальный поиск нужен одинаково.

Одежда и обувь

Это один из самых очевидных сценариев.

Покупатель видит понравившийся образ и хочет найти похожую вещь.

При этом он может не знать, называется ли предмет «бомбером», «курткой-рубашкой», «оверсайз-жакетом» или как-то ещё.

Фотография решает эту проблему.

Особенно интересно сочетание визуального поиска с обычными фильтрами:

похожее платье → размер M → до 8 000 ₽ → чёрного цвета.

Из огромного каталога постепенно получается вполне конкретная подборка.

Мебель и интерьер

Покупателям мебели часто важнее внешний вид, чем точное название модели.

Человек может искать:

похожий диван;

похожий стул;

светильник в таком же стиле;

стол с аналогичной формой;

предметы, подходящие к уже существующему интерьеру.

Описание подобного запроса через поисковую строку быстро превращается в длинный набор признаков.

Изображение передаёт их сразу.

Украшения и аксессуары

Здесь особенно важны форма и визуальные детали.

Например, человек ищет серьги, похожие на увиденные на фотографии.

Он может совершенно не знать название типа застёжки, огранки, формы или декоративного элемента.

Для обычного поиска это проблема. Для визуального — нормальный исходный запрос.

Цветы и подарки

Интересный сценарий возникает с букетами.

Покупатель может показать фотографию букета и попросить найти что-то похожее по цветовой гамме, форме или составу.

При этом точное совпадение необязательно.

Иногда человеку нужен не тот же самый букет, а его визуальное настроение.

Автозапчасти и инструменты

Здесь ситуация сложнее.

Полагаться исключительно на фотографию опасно: две визуально похожие детали могут иметь совершенно разные технические параметры и совместимость.

Но визуальный поиск может стать первым этапом отбора.

Например, система определяет примерный тип детали, после чего предлагает уточнить автомобиль, модель, год выпуска или характеристики.

То есть изображение не заменяет технический каталог, а помогает быстрее к нему прийти.

Это важное различие.

А зачем интернет-магазину блок похожих товаров

Представим обычную ситуацию.

Покупатель пришёл на карточку товара из поисковой системы или рекламы.

Товар ему в целом подходит, но:

нет нужного размера;

нет подходящего цвета;

цена выше ожидаемой;

товар закончился;

не понравилась одна характеристика;

просто хочется посмотреть альтернативы.

Для магазина существует риск, что следующим действием будет кнопка «Назад».

Особенно неприятна ситуация с товаром, которого больше нет в наличии.

Человек уже проявил интерес, но магазин фактически сообщает ему:

«Этого товара нет. Продолжайте искать самостоятельно».

Блок действительно похожих товаров меняет сценарий:

«Этого товара нет, но вот наиболее близкие варианты».

Человек не возвращается в начало каталога и не начинает поиск заново.

Почему обычного блока «Похожие товары» иногда недостаточно

Название «Похожие товары» существует в интернет-магазинах много лет.

Но за ним могут скрываться совершенно разные механизмы.

В самом простом варианте магазин показывает несколько товаров той же категории.

Открыли красное вечернее платье — получили ещё пять случайных платьев.

Формально они похожие.

Для покупателя — не обязательно.

Другой вариант — ручные связи между товарами. Менеджер самостоятельно указывает аналоги для каждой позиции.

Это работает, но становится практически неподъёмным при большом каталоге.

Есть и правила:

та же категория + тот же бренд + цена ±20%.

Это уже лучше, но такие товары всё равно могут сильно отличаться внешне.

ИИ позволяет добавить ещё одно измерение — реальное визуальное сходство.

Похожие товары — это не обязательно конкуренты друг другу

Есть интересный момент.

Часто владельцы магазина опасаются показывать слишком много альтернатив на карточке товара:

«Зачем отвлекать человека, если он уже открыл нужный товар?»

Опасение логичное.

Если рекомендации настроены плохо, они действительно могут мешать покупке.

Но задача хорошей системы — не показать покупателю весь каталог.

Она должна помочь в момент, когда человеку требуется выбор.

Например:

Нет размера → аналогичные модели.

Товар закончился → ближайшие замены.

Слишком дорого → похожие варианты дешевле.

Хочется другой цвет → визуально похожие позиции.

Тогда блок похожих товаров становится не рекламным баннером, а продолжением процесса выбора.

Визуальный поиск особенно интересен большим каталогам

В магазине из 50 товаров человек способен самостоятельно посмотреть значительную часть ассортимента.

В каталоге из 20 000 товаров это невозможно.

Возникает парадокс:

чем больше ассортимент магазина, тем выше вероятность, что подходящий товар там уже есть — и тем сложнее человеку его найти.

Поэтому развитие ecommerce постепенно смещается от задачи «показать каталог» к задаче «понять намерение покупателя и сократить пространство выбора».

Фильтры делают это через характеристики.

Поисковая строка — через слова.

Рекомендации — через поведение.

Визуальный поиск — через изображение.

Эти инструменты не заменяют друг друга. Наиболее интересный результат появляется, когда они работают вместе.

Может ли поиск по фото заменить категории и фильтры

Нет.

По крайней мере пока нет причин полностью отказываться от привычной навигации.

Если человек точно знает, что ему нужны:

шины 205/55 R16,

вводить фотографию бессмысленно.

Если покупатель ищет:

телевизор 55 дюймов до 70 000 ₽ с OLED-матрицей,

фильтры будут удобнее.

Но если запрос звучит:

«Мне нравится вот такой интерьерный светильник, найдите похожий»,

изображение оказывается гораздо естественнее текста.

Поэтому будущее поиска, скорее всего, не в выборе одного способа.

Поиск становится мультимодальным.

Человек сможет использовать одновременно:

текст;

фотографию;

характеристики;

фильтры;

историю просмотров;

собственные предпочтения.

Например:

загрузить фотографию кресла → найти похожие → оставить только зелёные → стоимостью до 30 000 ₽ → доступные сейчас.

Вот здесь технология начинает приносить настоящую практическую пользу.

Качество каталога всё равно имеет значение

ИИ не исправляет плохой интернет-магазин автоматически.

Если у половины товаров отсутствуют изображения, фотографии низкого качества, категории перепутаны, характеристики не заполнены, а одинаковые товары дублируются десятками карточек — алгоритму становится сложнее.

Поэтому внедрение интеллектуального поиска одновременно заставляет внимательнее относиться к структуре данных.

Для хорошей работы могут использоваться:

изображения товаров;

названия;

описания;

категории;

характеристики;

бренды;

цена;

наличие;

пользовательские сигналы.

Чем качественнее исходный каталог, тем больше возможностей для точного поиска.

Главная ошибка — внедрять ИИ только потому, что это ИИ

Сегодня практически любую функцию ecommerce можно снабдить словом «AI».

Но покупателю совершенно не важно, какая модель работает на сервере.

Его интересует другое:

нашёл ли он нужный товар быстрее?

Если поиск по фотографии требует пять действий, загружается долго и выдаёт нерелевантные результаты — обычный каталог окажется удобнее.

Если блок похожих товаров показывает случайные позиции — лучше его вообще убрать.

Поэтому оценивать подобные технологии нужно не по сложности алгоритмов, а по вполне обычным ecommerce-показателям:

используют ли люди функцию;

переходят ли из результатов в карточки;

находят ли товары;

продолжают ли просмотр каталога;

добавляют ли найденные позиции в корзину;

приводит ли инструмент к заказам.

ИИ имеет смысл только тогда, когда уменьшает трение между желанием человека и покупкой.

Что меняется в самом интернет-магазине

Долгое время интернет-магазин был устроен как электронный каталог.

Главная → категория → подкатегория → фильтр → карточка товара.

Эта структура никуда не исчезает.

Но рядом с ней появляется другой подход:

покупатель показывает или описывает результат, который хочет получить, а магазин самостоятельно ищет путь к нужным товарам.

Это достаточно серьёзное изменение.

Каталог перестаёт быть просто деревом категорий.

Он постепенно превращается в пространство товаров, между которыми система понимает связи:

этот товар похож на тот;

эти товары часто интересуют одних покупателей;

этот товар может заменить отсутствующий;

этот подходит под показанное изображение;

этот соответствует текущим интересам человека.

И именно такие связи могут сделать даже очень большой каталог значительно проще для покупателя.

Как это развивается в Ewonta

Мы также работаем над этим направлением в ecommerce-экосистеме Ewonta.

Готовятся инструменты, которые позволят использовать в интернет-магазине поиск товаров по фотографии, подбор визуально похожих товаров и персональные рекомендации.

Идея здесь не в том, чтобы просто добавить магазину ещё одну кнопку с надписью «ИИ».

Задача гораздо практичнее: помочь покупателю быстрее пройти путь от «мне нужно что-то примерно такое» до конкретной карточки товара.

Каталог интернет-магазина индексируется, система анализирует изображения и данные товаров, а затем может использовать полученные связи для визуального поиска и рекомендаций.

Планируется использование этих возможностей как непосредственно в интернет-магазине, так и в мобильном приложении.

Подробнее о развивающихся ИИ-инструментах Ewonta можно посмотреть на странице:

ИИ для интернет-магазина — Ewonta →

Поиск по фото вряд ли станет причиной выбросить обычную поисковую строку.

Похожие товары не отменят категории.

ИИ-рекомендации не сделают фильтры ненужными.

Но всё это постепенно решает одну из главных проблем большого интернет-магазина:

товар может быть в каталоге, но покупатель его не находит.

Классический ecommerce долго пытался научить человека правильно пользоваться каталогом: выбрать категорию, настроить фильтр, сформулировать запрос.

Новые технологии разворачивают эту логику.

Теперь сам магазин постепенно учится понимать, что именно пытается найти человек.

И, возможно, именно это будет одним из самых заметных изменений поиска товаров в интернет-магазинах ближайших лет.