Руководитель «Яндекс.Новостей» об устройстве агрегатора, попытке влиять на топ-новости и работе в условиях информационной войны

Новостной агрегатор крупнейшей российской интернет-компании «Яндекс» в последнее время часто вызывает интерес у законодателей. В середине мая депутат Госдумы Андрей Луговой (ЛДПР) просил приравнять «Яндекс.Новости» к средствам массовой информации, но Генпрокуратура не нашла для этого оснований. В начале сентября депутат Вадим Деньгин возмутился антироссийским контентом в украинской версии агрегатора. В ответ глава Роскомнадзора Александр Жаров призвал не винить российский поисковик.

Руководитель «Яндекс.Новостей» Татьяна Исаева в интервью Forbes ответила на претензии к сервису и рассказала, как работают алгоритмы новостного агрегатора, почему ни руководство компании, ни высокопоставленные чиновники не могут влиять на топ-5 новостей и как сервису пришлось работать в условиях информационной войны на фоне конфликта на Украине.

Какое место занимает сервис «Яндекс.Новости» во вселенной «Яндекса»?

Одна из важных задач «Яндекса» – отвечать на вопросы людей. Вы пишете какой-то вопрос в поисковой строке — «Яндекс» показывает ответ. Но есть и другие вопросы, которые приходят вам в голову каждый день. Мы их называем «незаданными». Который час? Что происходит на дорогах? Какой курс доллара? Не случилось ли чего? На эти вопросы мы стараемся отвечать сразу на главной странице: пользователь заходит, еще ничего у него не спрашивает, но уже знает все, что нужно. «Яндекс.Новости» в этой концепции отвечают на один из самых важных вопросов — что происходит в стране и мире.

А «Яндекс.Новости» — это бизнес?

По сравнению со всем «Яндексом» «Новости» — очень маленький бизнес.

Какова сейчас аудитория «Яндекс.Новостей»?

Дневная аудитория news.yandex.ru около 5 млн. Но каждый посетитель главной страницы «Яндекса» по умолчанию видит над поисковой строкой новостной блок из пяти заголовков, так называемый топ-5. Так что потенциальная аудитория этого блока составляет более 20 млн человек в день.

В нормальной ситуации этим людям хватает заголовков на главной. Но представьте, что условный метеорит падает в условном Челябинске. Все, кто до сих пор только читал или просматривал заголовки, «проваливаются» глубже и уходят искать подробности на «Яндекс.Новости». Приходит срочная новость — посещаемость сервиса резко растет, пик новостной волны спадает — и мы снова возвращаемся к своим обычным показателям.

Сколько из этих пяти миллионов уходит потом непосредственно на страницы СМИ?

Около 30%.

Не так уж мало. Получается порядка 1,5-2 млн человек в сутки?

Да.

Вы в последнее время оказались в центре внимания. Все время идет какая-то возня, разговоры о том, что «Яндекс.Новости» следует то ли зарегистрировать как СМИ, то ли запретить сервису публиковать новости с сайтов, не зарегистрированных как СМИ, то ли запретить украинский выпуск. Вообще похоже на масштабную атаку. Какова ваша позиция?

Наша позиция такая: «Яндекс.Новости» — технология, у технологии нет редакции, нет редакционной политики, нет собственного производства, поэтому она не может быть СМИ.

Мы скорее газетный киоск. У газетного киоска тоже нет редакции, там просто выставляют свежую прессу на прилавок, никак не меняя обложки и заголовки. При этом содержимое киоска зависит от того, где он находится и какие СМИ там выпускаются.

В прошлую пятницу в ответ на запрос депутата Вадима Деньгина глава Роскомнадзора Александр Жаров публично заявил, что «Яндекс.Новости» не виноваты в появлении антироссийских материалов в украинских СМИ.

Именно. «Яндекс.Новости» — всего лишь зеркало медиасферы той страны, в которой они работают. Если кому-то не нравится новостная картина дня этой страны – России, Украины, Белоруссии, Турции, Казахстана – он может убедить СМИ этой страны писать по-другому.

Мы работаем для наших пользователей и отражаем ту реальность, которая их окружает. Бессмысленно показывать людям в Стамбуле московскую погоду, новости или пробки.

Можно выделить несколько конкретных претензий в ваш адрес. Одна из основных заключается в том, что, имея ресурс с многомиллионной аудиторией, вы якобы манипулируете топом новостей, продвигая некую «искусственную» повестку дня. Вы же всегда утверждали, что формирование топа происходит автоматически, что это делают роботы.

И продолжаем утверждать — да, топ формируется автоматически.

В отличие от газетного киоска, мы даже не можем руками поставить одну газету перед другой, они выстраиваются алгоритмом в соответствии с формальными критериями. И эти критерии открыты – это цитируемость и оперативность. На главной странице «Яндекса» вы не можете увидеть ничего, кроме заголовков самых цитируемых изданий каждой страны, где мы работаем.

Проводилась ли когда-нибудь независимая проверка механизма работы этих роботов? Или это закрытая технология, которую вы не готовы показывать?

Сам код, конечно, мы не показываем, это интеллектуальная собственность. Но мы всегда объясняем принципы, по которым работают алгоритмы «Яндекс.Новостей». И делаем это, кажется, постоянно — на конференциях и семинарах, на личных встречах и рабочих группах для всех, кто хочет понимать устройство новостных агрегаторов.

Так вот, о ключевых принципах ранжирования новостей. Первое, что хочет узнать пользователь, что важного происходит прямо в эту минуту. Каждую минуту происходит миллион разных событий. Как определить самое важное? По количеству внимания, которое СМИ уделили событию. Если сотни разных изданий выпустили срочные сообщения на одну и ту же тему — например, о падении метеорита —алгоритм понимает, что эта тема важна, и автоматически поднимает ее в «Яндекс.Новостях».

В рамках одного сюжета заголовки одних изданий показываются выше других. Потому что алгоритм учитывает фактор цитируемости источников – то есть помнит, что газету Х цитируют чаще, чем журнал Y, а значит, у газеты Х выше вес на рынке.

В основе ранжирования сюжетов и конкретных сообщений в них лежат простые прозрачные критерии — количество новостей по теме, плотность потока этих сообщений и цитируемость изданий.

Хочется услышать еще раз из ваших уст: топ-5 новостей на главной странице «Яндекса» формируется автоматически и человек не может вмешаться в этот процесс?

Топ-5 новостей формируется полностью автоматически.

Мы принципиально не хотим делать продукт, требующий редактора, а также редактировать руками результат работы алгоритмов. Если качество сервиса нас не устраивает, мы совершенствуем алгоритмы в целом. Если же мы понимаем, что алгоритмически добиться сервиса нужного качества не получается, мы закрываем сервис полностью. Например, мы вынуждены были закрыть рейтинг тем в блогах из-за того, что не смогли алгоритмами качественно отделить популярные сообщения в блогах от спама и мусора.

В «Яндекс.Новостях» проблема неоднородности новостных источников тоже существует, однако в целом мы видим, что результат работы алгоритмов по качеству лучше того, что мог бы сделать человек, тем более, когда мы говорим о больших объемах информации. Поэтому мы делаем этот сервис на всех наших рынках.

Я слышал историю о том, что однажды одно значительное лицо прибыло с визитом в «Яндекс» и его представители попросили, чтобы новость об этом тут же появилась в топе. Когда им сказали, что это невозможно, они позвонили гендиректору «Яндекса» Аркадию Воложу, но и он не смог им помочь. Было такое?

Кажется, было что-то такое. Мы объяснили, что от нас ничего не зависит — темы в топе определяем не мы, а новостные издания. Чтобы новость попала на главную страницу «Яндекса», о событии должны написать партнеры «Яндекс.Новостей». Причем много партнеров. Сюжет не может строиться на одном сообщении, а топовый сюжет тем более, о нем рассказывают десятки, сотни разных источников. Другого варианта попадания на главную страницу нет. И по той же причине просто так убрать что-то с главной невозможно. Попасть в топ сразу же тоже нельзя.

Допустим, от разных изданий в базу пришло по сообщению на одну тему. Дальше эти тексты последовательно обрабатываются разными алгоритмами «Яндекс.Новостей». Один алгоритм собирает сообщения в сюжет. Другой отделяет перепечатки от оригинальных сообщений. Третий делает короткие аннотации для сюжета. Четвертый отбирает те сообщения, которые выходят на первую страницу сюжета — по тем критериям, о которых я уже рассказывала.

И только после этого подключается алгоритм ранжирования, выстраивающий сюжеты по важности. Прежде чем новостной сюжет попадет в топ-5, он примерно 15-20 минут проходит разные итерации в «Яндекс.Новостях». Моментально на главной странице «Яндекса» ничего не появится, хоть Господу Богу позвони.

Даже глава компании не может снять или поставить новость в топ?

Это невозможно.

Каждому СМИ «Яндекс.Новости» присваивают свой вес, от которого зависит место новостей этого источника в сюжете, а, следовательно, и трафик. Как определяется вес, это тоже делает робот?

Да, это тоже робот. Программа считает, сколько раз за последние два месяца сообщения того или иного источника были процитированы в материалах других наших партнеров. Кроме того, она считает оперативность реакции источника на событие. Из двух этих величин выводится «среднее геометрическое», и эта цифра влияет на вес источника в течение недели. Неделю спустя программа снова автоматически пересчитывает показатели за два последних месяца.

В итоге мы получаем не «прибитую гвоздями» иерархию, а регулярный расчет весов, который довольно четко реагирует на реалии жизни. Нам пришлось искать формальные показатели, так как алгоритм не умеет определять качество текста — он не умеет читать. Мы считаем, что уважение коллег по цеху выражается в факте цитирования, его всегда можно посчитать, и на это алгоритм уже может опереться.

Если внимательно следить за работой «Яндекс.Новостей», иногда кажется, что вес некоторых изданий не совпадает с индексом цитируемости СМИ, который делает компания «Медиалогия».

Думаю, мы просто по-разному считаем. Но все, что насчитал наш алгоритм, можно проверить поиском по «Яндекс.Новостям». Если где-то ИТАР-ТАСС выше «Интерфакса», то можно зайти и посмотреть срез за два месяца — какое количество ссылок на тех, а какое на этих.

В «Яндекс.Новости» попадает информация только с тех сайтов, которые являются вашими партнерами?

Да.

То есть сказать, что вы берете информацию у тех, с кем не заключено соглашение о партнерстве, нельзя?

Нельзя. Но есть много случаев, когда первоисточник или источник важной для сюжета информации — сайт, который не является партнером сервиса. Например, официальный сайт или блог. Когда наши партнеры много раз цитируют одну и ту же страницу внутри сюжета, мы прикладываем эту ссылку к сюжету, как дополнительный материал.

Вы лично себя кем ощущаете, журналистом?

Я ни в коем случае не журналист. Кроме писем я ничего не пишу. Я управляющий проектом. По сути, мы «доставлятор» не нами найденной, не нами написанной и, в общем, не нами ранжированной информации.

Вот медведь по локоть девочке руку откусил. Желтая новость, абсолютно. И мне очень жаль, что про это пишут крупнейшие издания страны. Но они уделяют этому огромное внимание, алгоритм фиксирует это внимание и выносит сюжет в топ-5. Мы просто выставляем напоказ то, что является самым важным по мнению партнеров «Яндекс.Новостей».

Я не случайно перешел на личности, вернее, извините за это, на вашу личность. В одной из статей, где говорилось о якобы злонамеренности «Яндекс.Новостей», прозвучала мысль о том, что руководство компании, собственно, не виновато в «неправильной» работе вашего сервиса. А виноваты управленцы «Яндекс.Новостей», которые не скрывают своих оппозиционных убеждений, исходя из которых якобы определяют место той или иной новости. Руководство «Яндекса» обращает внимание на политические убеждения сотрудников?

Нет. Руководство не с Марса к нам прилетело, оно эту компанию начинало и понимает, как она работает. То есть понимает, что я не могу повлиять на работу сервиса, каковы бы ни были мои убеждения.

«Яндекс» – это компания с очень интересной экосистемой. Здесь очень уважается прайвеси, то есть мы друг о друге знаем только то, что мы хотим, чтобы о нас знали. Человек выходит из офиса — и у него своя личная, никого не касающаяся жизнь. С другой стороны, мы все делаем одно дело. Все, что мешает нам делать это дело, остается за стенами офиса. Никаких вопросов ко мне по поводу моих убеждений никогда не возникало. И я никогда со своими убеждениями не подходила к работе, они тут неприменимы.

В разгар конфликта на Украине, «Яндекс.Новости» вынуждены были разделить потоки новостей на «российский» и «украинский». Почему?

Не только украинские, но и другие русскоязычные, но расположенные в других странах СМИ технологически для алгоритма были как региональные российские СМИ. Это, конечно, было не совсем корректно.

Украинские источники транслировались как русскоязычные?

Да. Поэтому, когда внезапно мы столкнулись с реальностью информационной войны, то увидели, что в одном и том же сюжете про одно и то же событие одни СМИ пишут про «боевиков», а другие – про «освободителей». Мы взрывали пользователю мозг, на одной странице у нас появлялись взаимоисключающие вещи. Чтобы разложить все по полкам, новости партнеров не из России стали транслироваться как иностранные источники на сервисе в домене .ru. И наоборот. Мы давно собирались разделить выпуски не по языку сообщения, а по местонахождению редакции, и как раз настал момент сделать это. Кажется, сервис стал более понятным.

Вопрос оценок в условиях информационной войны очень важен. Вам из Кремля никогда не звонили по поводу «неправильной» новости?

Мне — нет.

А руководство компании вам не звонило?

Нет. Вот почему медведь, откусивший девочке руку, оказался в топе, Аркадий Юрьевич [Волож] спросил. Работа алгоритмов действительно прозрачна. В каждый момент времени мы можем объяснить, почему это здесь, а это — здесь. Иначе мы бы сидели на пороховой бочке. Но мы тогда и не жили бы с автоматически созданным топом новостей на главной странице.

Когда в фейсбуке главного редактора Slon.ru Андрея Горянова появилась информация о том, что его издание будет брать плату за доступ к части контента, первым комментарием был ваш: не забудьте отключить экспорт платных статей на «Яндекс.Новости».

Мы заключаем с каждым изданием соглашение об информационном партнерстве. В нем написано, что в «Яндекс.Новости» могут быть отправлены ссылки для экспорта только тех материалов, которые не требуют ни оплаты, ни регистрации. Это наша политика, она была такой всегда. Агрегатор с такой аудиторией должен предлагать ссылки, доступные всей аудитории. Вне зависимости от того, есть ли у нее деньги, есть ли у нее желание регистрироваться. Не могу сказать, что информативность «Яндекс.Новостей» снизится, если продолжим работать по этим же принципам.

То есть те СМИ, которые переходят на платную модель, перестанут получать трафик из «Яндекс.Новостей»?

На платные сообщения – да.

Какие-то модели монетизации сервиса, кроме рекламной, рассматриваются? Деньги с партнеров за продвижение, например, брать не будете?

Не планируем. Изначально задача у сервиса другая. «Яндекс.Новости» созданы для того, чтобы отражать новостную картину дня, облегчать пользователю ее восприятие и доступ к нужной информации. Платное продвижение того или иного ресурса неизбежно привело бы к искажению этой картины.

А куда в принципе двигается сервис? Какими «Яндекс.Новости» будут в будущем?

Хотелось бы видеть «Яндекс.Новости» мобильными и персонализированными. Сервис должен быть доступен на любых мобильных устройствах. На этой неделе мы выпустили первое мобильное приложение «Яндекс.Новостей». Кроме того, наши алгоритмы должны научиться понимать, что нужно конкретному пользователю. Тогда можно будет автоматически сформировать для каждого человека ленту новостей, в которую попадут те сообщения, которые интересны именно ему.

Татьяна Исаева: «Моментально на главной «Яндекса» ничего не появится, хоть Богу позвони»