Андрей Иванов. Трудно убежать от дурака

Трудно убежать от дурака
(о конкуренции в индексирующих поисковых системах)

Андрей Иванов

Дата публикации: 10 Сентября 2000

Р аботая над статьей, я постоянно вспоминал два известных выражения. Русскую пословицу "Один дурак может задать вопрос, на который и сто мудрецов не ответят" и какой-то из законов мерфологии - "Любая сложная проблема имеет простое, понятное большинству неверное решение". Вопрос сложный - значит, спросил дурак. Простой ответ┘ значит, дурак ответил.

* * *

Шестьдесят пять человек из ста, обратившихся в поисковую систему, не получат удовлетворительного ответа на свой вопрос. Иначе это звучит так: "релевантность индексирующих поисковых машин не превышает 35%". Напрашивается вопрос √ почему не 45, 70, а то и все 100%?..

Сложный вопрос, с равным успехом можно пытаться однозначно объяснить, почему автомобили не ездят со скоростью 1000 километров в час. Отвлечемся от конкретных поисковых систем и рассмотрим лишь модели некоторых ситуаций, постоянно возникающих в "виртуальной" жизни.

Ситуация первая √ рождение конкурентов

Допустим, Настя и Роман, не подозревая о существовании друг друга, создали два сайта, посвященные теореме Пифагора. Отличия между сайтами не так уж значимы: Роман предпочитает доказательство на базе поговорки о пифагоровых штанах, а Насте более близка идея равных бедер. Сайты поданы на индексацию в одну и ту же поисковую систему. Из 833525 обращений в поисковую систему (пример настоящий, поисковая система - Яндекс) 17 содержат текстовое вхождение "Пифагор". Вопрос: от чего зависит распределение 17 посетителей между сайтами Насти и Романа?

Простой ответ: от Насти, Романа и поисковой системы. По идее, кроме наших двух авторов, могут быть и другие, но модели для того и служат, чтобы на законном основании не замечать неудобных для рассуждения вещей. Хочет ли Роман получить всех посетителей? Конечно. Настя? Тоже.

Пишем: Роман + Настя + поисковая система = КОНКУРЕНЦИЯ.

Ситуация вторая √ запрограммированное бессилие

Пиши я лирическую повесть, познакомил бы героев, Настя бы вышла замуж за Романа, отдала ему свой сайт и занялась воспитанием детей. Сейчас же желания их противоположны.

Воздействовать друг на друга наши герои не могут, поэтому ареной их борьбы является поисковая система, она же √ арбитр и объект воздействия. Выполняемые процедуры это оптимизация сайта, генерация входных страниц и некоторые другие, а все вместе называется позиционированием сайта в поисковой системе. Можно сказать, Роман и Настя конкурируют, позиционируя.

В традиционном бизнесе от конкуренции производителей выигрывают потребители, товары становятся качественнее, сервис - ненавязчивым, цены сдерживаются. По аналогии, конкуренция за потребителя в информационном пространстве должна привести к тому, что информация станет профессиональной, а поиск ее √ элементарным делом. По любому вопросу. Похоже ли, что аналогия справедлива? Попробуйте найти в Сети доказательство теоремы Пифагора и ответьте на этот вопрос сами.

Вопрос: почему аналогия неверна? Для ответа на него необходимо кратко рассмотреть методы конкурентной борьбы. Мы назвали их одним словом √ позиционирование. Позиционирование в поисковой системе √ это комплекс мероприятий (действий), направленных на улучшение позиции ссылки на сайт в списке ответов поисковой системы. Если вы улучшили свою позицию и заняли, допустим, первое место, то бывший его обладатель явно потерял в привлекательности для посетителей. Можно даже сказать, что это вы его "ухудшили" своим появлением. Делать это приходится практически вслепую, ни Роман, ни Настя, ни какой-либо другой вебмастер не могут заранее предсказать результатов своих действий.

Поисковая система при вводе любого запроса, сначала выбирает страницы, удовлетворяющие некоторому критерию, затем сортирует их в порядке убывания числового значения этого критерия и выдает список ответов. Если критерием является довольно нечеткий термин "соответствие текста страницы ключевым словам запроса", то ранжирование называется сортировкой по релевантности. Она включена по умолчанию во всех поисковых системах, и 99,9% пользователей получают результаты, обработанные именно по этому принципу. Но компьютеру не объяснишь, что такое желаемое "соответствие", нужны цифры, и они есть. В этом суть индексирования √ приведения текста страницы в набор цифровых индексов для автоматического анализа и выбора. Своего рода информационная оцифровка, в которой количественные характеристики определяются текстом страницы.

Предельные числовые значения значимых параметров, полный список параметров и саму формулу расчета не публикует ни одна поисковая система √ это самый настоящий секрет. Причины секретности тоже вполне понятны. Имея формулу, любой желающий сможет элементарно снять характеристики страницы верхней ссылки списка ответов на нужный запрос, сверить со своими, "подкорректировать", и встать на нужное место - первое. Действия эти легко программируемы.

Ситуация свелась к абсурду. Все хотят встать на первое место, но не знают, как. Если узнают √ встанут. Все сразу и именно на первое место. Поэтому хотеть можно, а знать √ нельзя.

Ситуация третья √ неизбежный спам

Теоретически в вебстранице не должно быть ничего, предназначенного специально для поисковой системы. Все - для человека, а поисковик лишь как-то оценит, насколько соответствует информация страницы тем или иным запросам. На практике все иначе.

Что можно, а что нельзя делать, "оптимизируя" страницы для поисковых систем? Есть целый перечень техник, которые применять не стоит. Например, писать на странице цветом фона (скрытый текст), искусственно завышать частоту значимых слов (накачка), менять содержание страницы после достижения нужной позиции (свопинг), использовать мгновенную переадресацию посетителя на другую страницу (редирект) и т.п. Подобные действия называются спамдексингом (спам индексов поисковых машин), и любая поисковая система имеет специальные фильтры для исключения таких страниц.

Попытки спамдексинга вызваны вполне понятным желанием вебмастеров √ быть первыми. Если поисковая система на запрос "бяка" считает, сколько раз это слово встречается в тексте страницы (определяет вес слова), значит, надо сделать страницу, в которой "бяки" будет много, даже очень много. Пользователь, попав сюда, конечно, не обрадуется, но это легко исправить √ как только страница начнет загружаться, маленькая команда тут же вызовет загрузку другой страницы, которая появится вместо "бяки". Это пример накачки с редиректом, откровенного спама, бяки то есть.

А вот другой пример. Известно, что в коде страницы с фреймами индексировать, собственно, нечего, она просто вызывает другие страницы и размещает их в окнах. Но еще пару-тройку лет назад некоторые версии браузеров не поддерживали фреймов, и для удобства пользователей в спецификацию языка HTML был введен тэг noframes. Если браузер фреймов не понимал, на экран выдавалось содержимое этого тэга. Текст внутри данного дескриптора прекрасно индексируется поисковыми роботами, но у кого сейчас есть браузер, не понимающий фреймов? Создается прекрасная возможность "накачать" noframes нужными словами, информацией для поисковой системы, а во фреймовые окна будут вызваны страницы с информацией для посетителей. Чем не редирект? Данная технология считается передовой (метод информационных страниц, бридж-страниц), активно применяется, программы создания таких "мостов" уже написаны и продаются.

Объясните, Христа ради, почему нельзя делать так, как в первом примере, но можно - как во втором? Материалов о "правильных" и "неправильных" методах позиционирования очень много, суть их сводится к простой фразе: не пойман √ не вор. Если алгоритм поисковой машины не исключил страницу из индекса, все - законно.

Ситуация четвертая √ неизбежный мусор

В английской специальной литературе есть хороший термин, определяющий суть спамдексинга √ search engine flooding √ "затопление" поисковой машины. В идеале, все страницы, чьи индексы хранятся в поисковой системе, должны давать пользователям какую-то информацию, быть значимыми для конечного потребителя. Страница, где на черном фоне зелеными буквами крупно написано "ВХОД НА САЙТ", никакой информации не содержит √ это чистейший мусор.

Опять же, зачем нужны многочисленные "калитки", "мосты", "ворота", "doorways" и прочие входные страницы? Ясно, что таким образом реализуется конкурентная борьба вебмастеров за место под солнцем, но какое свойство поисковых систем делает возможным такие приемы? Рассмотрим еще один пример.

Вот две верхних ссылки, которые поисковая система имярек выдала на разные запросы. На запрос "теорема Пифагора" верхняя ссылка ведет на страницу с таким началом:

- - - - - - - - - - - - - "Деятельностный подход на уроках геометрии | Показать найденные слова Деятельностный подход на уроках геометрии Теории обучения - дидактике - известны два подхода к обучению: информационно-иллюстративный и деятельностный. Деятельностный подход применим практически ко ..." - - - - - - - - - - - - -

Другой запрос - "Пифагор теорема" - приведет пытливого геометра уже на другую страницу:

- - - - - - - - - - - - - "ПИМЕНОВ ДМИТРИЙ | Показать найденные слова Дмитрий Пименов Муть Анти-психиатрический детектив Содержание 1 глава Сумасшедший разведчик 2 глава Фокус: Наведение 3 глава Любовь над коридорами 4 глава События и тюрьма" - - - - - - - - - - - - -

От перестановки слов, результат, как видим, зависит. Поэтому √ надо пробовать варианты. Отсюда недалеко до идеи, что каждому варианту запроса должен соответствовать какой-то наиболее для него подходящий вариант страницы. Так оно и есть, процесс (пусть даже эмпирический и без гарантированного результата) подгонки страницы для лучшей индексации ее поисковой системой давно известен и называется оптимизацией.

Вопросы задают по-разному. Вот небольшая выборка реальных запросов Яндекса по теме "раскрутка":

- - - - - - - - - - - - - раскрутка сайта раскрутка раскрутка сайтов как раскрутить строничку раскрутка adult сайта как раскрутить сайт ВСЕ О РАСКРУТКЕ САЙТА Раскрутка странички СОВЕТЫ ПО РАСКРУТКЕ САЙТА бесплатная раскрутка сайтов очень быстрая раскрутка сайта программы для раскрутки сайтов раскрутка в rambler раскрутка сайт баннер раскрутка сайта бесплатно стоимость раскрутки сайта websitegarage проверка раскрутка деньги баннеры спонсоры создание и раскрутка сайта мы раскрутим ваш сайт раскрутим сайт раскрутить сайт раскрутка сайта от винта - - - - - - - - - - - - -

Двадцать два варианта. Если понаблюдать подольше, будет больше. Чем по смыслу отличается запрос "раскрутка сайта" от запроса "как раскрутить сайт" или "как раскрутить страничку"? А все ответы √ разные. Кто сможет удержать вебмастеров от создания входных страниц, спозиционированных на четкие запросы и на определенные слова? Никто, наоборот, это приветствуется.

Подытожим:

Конкуренция сайтов в поисковых системах существует объективно.
Методы конкурентной борьбы определяются особенностями организации информации поисковых систем, иначе √ их природой.
Природа индексирующих поисковых систем провоцирует рекламные технологии, засоряющие Интернет, поисковые индексы и снижающие эффективность поиска, т.е. самих же поисковых систем.

Змея кусает свой хвост. Это не хорошо и не плохо, это √ есть. Перейдем к следующей ситуации.

Ситуация пятая √ неизбежность портализации индексирующих поисковых систем

Есть универсальное лекарство от температуры √ аспирин. Действует оно хорошо, стоит недорого, проверено десятилетиями и пользуется постоянным спросом. Был жар, выпил аспирин, нет жара √ просто и мудрить тут нечего. Есть распространенные болезни, - ожирение, алкоголизм и т.п. - для лечения которых существуют тысячи лекарств и методик, но ни одно лекарство и ни один метод не гарантирует результата. Сколько диет останется, если будет открыто лекарство, избавляющее от лишнего веса с такой же эффективностью, как аспирин от температуры? Вопрос риторический.

Аналогия. Ежедневно миллионы людей ищут информацию. В мире уже свыше 3500 поисковых систем и каталогов, их количество растет. Что можно сказать об эффективности существующих поисковых систем? Ясно одно, стопроцентно головную боль от проблем поиска они не лечат.

Вернемся к лекарствам и найдем еще одну аналогию. Если нет лекарства, гарантирующего результат при определенном заболевании, то┘ можно продать бальзам, помогающий при многих хворях. Может, и не излечит, но поможет обязательно.

Если нельзя полностью решить проблему поиска, то можно┘ сделать портал и предложить вместе с поисковыми функциями бесплатную почту, хостинг, рейтинг, каталог, чат, новости, on-line журнал, закладки, фотографии, сказки, индекс цитирования, анекдоты при ошибке загрузки страницы и так далее, нет удержу фантазии. Что сделали AltaVista, Yahoo, наши "Рамблер", "Яндекс", "Апорт", которые начинали исключительно как поисковые сайты? Превратились в порталы. Тенденция, однако. Почему? Вопрос риторический.

Чем обусловлена неспособность индексирующих поисковых систем и тематических каталогов, особенности которых мы здесь даже не рассматривали, раз и навсегда решить проблему поиска? Ответим просто √ их природой. Идея автоматической индексации веб-страниц как поисковая технология устарела, и с каждым днем, который добавляет в Сеть семь миллионов новых страниц, это становится все яснее. Рынок созрел для появления поисковых систем иной природы. Впрочем, это уже другая тема.