«Яндекс» научился искать не по форме, а по смыслу

«Яндекс» начал использовать нейронные сети для поиска. Машинное обучение теперь используется для поиска по запросам, которые встречаются редко, и по ним нет пользовательской статистики.

Такие запросы, как правило, выглядят примерно как «фильм где человек сажал картошку на другой планете». В нем нет слова «Марсианин», но человек хотел бы найти именно его.

Нейронные сети тренируют при помощи положительных и отрицательных примеров. «Каждый пример — пара „запрос — заголовок“. Подобрать примеры можно с помощью накопленной поиском статистики. Обучаясь на поведении пользователей, нейросеть начинает „понимать“ смысловое соответствие между запросом и заголовками страниц», — рассказали в «Яндексе».

Все запросы и заголовки страниц в базе данных представлены в виде векторов. В двумерном пространстве это выглядит вот так, но в «Яндексе» используется многомерное пространство.

Про то, как обучали нейронные сети, «Яндекс» рассказал на «Хабрахабре».

• Google также использует нейронные сети для поиска наиболее подходящих ответов на запросы пользователя. В феврале 2016 года про это подробно рассказывал журнал Wired.
• Нейронные сети широко используются в разных сервисах. Например, алгоритм выдачи Facebook основан на машинном обучении, равно как и поиск спама в почте Google или обработка картинок в приложении Prisma.