Пользователи маркетплейса могут загружать как изображения отдельных предметов, так и целый образ – нейросеть подберёт максимально похожие товары и предложит их списком, сообщает компания.
Поиск по фотографиям работает благодаря технологии компьютерного зрения, созданного на основе платформы Layer от Сбера. Нейросеть обучалась более полутора лет: за это время через неё прошли миллионы изображений из модных журналов, с дизайнерских показов и фотосессий.
«Можно сказать, что поиск по фото становится своеобразным стандартом в категории Fashion. С его помощью можно найти как отдельные предметы гардероба, так и собрать полноценный лук – например, по примеру популярного стиля, образа любимой звезды или конкретной модели с показа. Так, можно взять фотографию из модного журнала и за несколько мгновений подобрать максимально похожие товары, положить их в корзину и заказать. Точность у технологии очень высокая – согласно данным тестирования, она достигает 98%», – комментирует Игорь Рожков, директор по маркетингу маркетплейса «Мегамаркет».
Нейросеть распознаёт не только одежду, но и пол, а также возраст человека на снимке. Это стало возможным благодаря внедрению в Layer собственной, основанной на визуальном трансформере модели MiVOLO, которая существенно упрощает поиск и позволяет давать более точные рекомендации. Например, нейросеть не будет предлагать платья для взрослых, если на фотографии изображён ребёнок, предложит мужские предметы гардероба, если на снимке мужчина.
Благодаря усовершенствованным алгоритмам MiVOLO превосходит многие другие модели. Так, она с лёгкостью справится с определением пола и предположит возраст даже в том случае, если в кадре нет лица или модель стоит спиной к камере. Нейросеть справляется лучше человека: как показывают тесты, при просмотре фотографий респонденты в среднем допускают погрешность до семи лет при определении возраста, тогда как алгоритмы – до четырёх лет.
Загрузить в поиск можно изображения форматов jpg, jpeg и png, при этом нет ограничений в размере фотографии. Выдача происходит по наибольшему совпадению, а при необходимости все товары можно легко отфильтровать по категориям.
«Так как нейросеть тренировалась на самых разных фотографиях, фон не имеет значения. Это может быть даже простой снимок, где человек на улице или среди разнообразных атрибутов для фотосессии. Стоит учесть, что, если нужно найти какой-то конкретный аксессуар, например, очки или сумку, то лучше выбирать фотографии, где они полностью в кадре и крупным планом, иначе нейросеть в качестве рекомендаций будет подбирать сразу все вещи со снимка», – добавляет Игорь Рожков.
Фото взяты из открытых источников.
