Однако, учитывая постоянно растущую конкуренцию среди веб-ресурсов, попасть в начало списка достаточно трудно. Что же делать? Как использовать столь ценный источник трафика? Как объяснить поисковой системе, что именно ваш ресурс наиболее точно соответствует запросу, введенному пользователем?

При ответе на эти вопросы все чаще встречается термин «оптимизация для поисковых систем» (search engine optimization или search engine positioning). Сегодня существует уже не один десяток компаний, оказывающих услуги по улучшению рейтинга сайтов в поисковых системах. И надо сказать, что услуги эти стоят недешево, поскольку преимущества, приобретаемые в результате веб-сайтом по сравнению с конкурентами, весьма значительны.

Бытует мнение, что поисковая оптимизация является скорее искусством, чем наукой. Все крупные поисковые системы хранят свои алгоритмы определения релевантности в строгой тайне, поэтому в большинстве случаев (если, конечно, консультант не имеет доступа к конфиденциальной информации) приходится решать уравнение с огромным количеством неизвестных, имея на руках лишь конечный результат. И все же существуют вполне устоявшиеся представления о работе поисковых машин, почерпнутые как из официальных данных, предоставленных их владельцами, так и из результатов многочисленных исследований, выполненных компаниями-оптимизаторами. 

В мире тысячи поисковых систем, однако всего несколько из них обслуживают 90% населения планеты. Это Yahoo!, Altavista, Google, MSN, AOL, Netscape, HotBot, Goto, Fast. Большинство оптимизаторов концентрируют свои усилия именно вокруг них. 

Работая над оптимизацией веб-сайта, необходимо учитывать множество факторов. В обобщенном виде их можно представить так:

Релевантность
Поисковые системы рассматривают веб-страницу как набор элементов, каждый из которых имеет разное значение. Можно выделить следующие части:

Каждый из этих элементов имеет различный вес для разных поисковых систем. Более того, при оценке релевантности поисковики предъявляют разные требования к частоте ключевых слов в том или ином элементе. Например, большинство поисковых систем понижает рейтинг страницы, если в ее заголовке ключевое слово или фраза встречается более одного-двух раз.

Наиболее важными элементами с точки зрения поисковой системы являются заголовок страницы (тег &ltTITLE>) и URL, особенно имя домена. Последнее относится к англоязычным поисковикам, так как все доменные имена пишутся в английской транслитерации.

Mетаобласть в последнее время стремительно утрачивает свое значение, поскольку ее слишком часто перегружают многократным повторением одних и тех же ключевых слов, как соответствующих тематике сайта, так и не соответствующих. Сейчас, как правило, содержимое метатегов используется лишь для определения тематики сайта. 

Следует отметить, что заголовок страницы и значение метатега description используются в листинге большинства поисковых систем, и от их привлекательности зависит, пойдет пользователь на веб-сайт или нет. 

Ссылки играют очень важную роль в определении релевантности документа. Поисковые системы заинтересованы в предоставлении своей аудитории качественной информации, поэтому страницы, содержащие много ссылок на соответствующие ресурсы, имеют приоритет. Поисковики оценивают и текст ссылки, и ее URL. Для повышения рейтинга в таких поисковых системах, как Altavista и Google, можно также использовать Alt-текст, сопровождающий изображения, расположенные на веб-странице.

Ну и, разумеется, для того чтобы занимать хорошую позицию в поисковом листинге, страница должна содержать текст. При этом требования поисковиков к плотности ключевых слов и размеру текста варьируются. Очень важно, чтобы ключевые слова, «заявленные» в заголовке и метатегах, использовались где-то в тексте, в противном случае рейтинг будет снижаться. Существует также такое понятие, как «первая строка текста», и, например, Altavista ценит ее даже выше, чем заголовок. 

Популярность сайта
Большинство поисковых систем повышают рейтинг веб-страниц, базируясь на такой характеристике, как «ссылочная популярность» (link popularity). Каждая поисковая система имеет свои показатели ссылочной популярности в зависимости от наличия в ее базе данных сайтов, содержащих ссылки на те или иные ресурсы. Определить ссылочную популярность достаточно легко. Например, на Altavista, Google, Yandex необходимо сделать следующий запрос:link:<ваш домен>

В ответ поисковая система выдаст список веб-страниц, содержащих ссылки на указанный домен, а также их общее количество.

Однако важно не только количество ссылающихся сайтов. Во-первых, чем популярнее сайт, тем выше ценится ссылка с него, а во-вторых, тематика ссылающихся сайтов должна соответствовать тематике вашей страницы. В противном случае рейтинг будет понижаться. Нередко в Сети можно встретить так называемые системы обмена ссылками, предлагающие участникам размещать ссылки друг на друга. При этом тематика сайтов-участников не контролируется, и, как правило, страницы, содержащие ссылки, посещаются только поисковыми системами. Несмотря на то, что данная технология, в принципе, не нарушает ничьих прав, некоторые поисковые системы стремятся отсечь сайты, имеющие высокий показатель популярности, достигнутый таким образом. Особенно жесткую политику в этом направлении, вплоть до удаления сайта из своей базы данных, проводит Google.

Для каждой страницы существуют два значения ссылочной популярности: количество ссылок на саму страницу – и на домен, к которому она принадлежит. Вопрос о том, от какого из этих значений должна отталкиваться поисковая система, вызывает немало споров. Многие эксперты сходятся на том, что решающим является показатель популярности всего домена в целом, при этом «домашние страницы» домена (index.htm/html или default.htm/html) имеют больший вес.

Здесь возникает интересное противоречие. С одной стороны, выгодно приобрести свой домен, содержащий ключевые слова, который будет оказывать положительное влияние на позицию в поисковых результатах. С другой стороны, имеет смысл воспользоваться хостингом, предоставляемым каким-либо крупным провайдером, разместив свои веб-страницы в одном из подкаталогов его сайта. В последнем случае ваши веб-страницы будут использовать высокую ссылочную популярность сайта этого провайдера. 

Существует много различных способов повышения ссылочной популярности. Наиболее важным шагом в данном направлении является регистрация в основных интернет-каталогах, таких как Yahoo! и Open Directory. Само по себе наличие сайта в этих ресурсах может дать очень много. Yahoo! сегодня является самым популярным порталом и имеет собственную поисковую систему. Open Directory предоставляет свою базу данных для таких поисковых машин, как Netscape и AOL, и, между прочим, другой возможности попасть в листинги этих систем нет.

Для повышения ссылочной популярности можно использовать обмен ссылками с сайтами соответствующей тематики. При правильном подходе это не вызовет нареканий и не приведет к штрафным санкциям за использование неуместных ссылок.

Важность ссылочной популярности в оценке соответствия сайта поисковому запросу в последнее время заметно растет. Видимо, необходимо рассматривать поисковую оптимизацию как важный, но далеко не единственный рычаг интернет-маркетинга.

Индексация
Поисковые системы, имеющие собственные базы данных, пополняют их двумя способами: принимают запрос на индексацию от пользователя или сами находят новые веб-страницы через ссылки с других сайтов. Большинство поисковиков повышают рейтинг тех страниц, которые были найдены по ссылкам, а не добавлены в базу данных вручную или автоматически. Однако порой приходится месяцами ждать, когда робот сам придет по ссылке на ваш сайт, и, не дождавшись, самостоятельно посылать заявку на индексацию. При этом для регистрации сайта в нескольких крупнейших поисковых системах не рекомендуется использовать программное обеспечение. Лучше все сделать вручную и тщательно зафиксировать каждую попытку.

Когда-то поисковые системы индексировали заявленные веб-сайты немедленно. Сейчас индексация может произойти и через три месяца. Нужно набраться терпения и не дублировать заявку слишком часто – в противном случае сайт может не быть проиндексирован никогда. Российские поисковые системы еще не так перегружены, как западные колоссы, поэтому здесь документы индексируются довольно быстро.

Проверка сайта на наличие в базе данных выполняется каждой поисковой системой по-разному. Вот некоторые примеры: 

Altavista: url:<ваш домен>
HotBot: domain:<ваш домен>

А для того чтобы проверить, включен ли ваш сайт в Yandex, необходимо просто попытаться добавить его еще раз. Если сайт уже проиндексирован, вы получите соответствующее сообщение. 

Один из спорных моментов – обновление документа в базе данных поисковой машины. Здесь поведение поисковиков очень часто отличается от заявленного; иногда проходят месяцы, а страница в базе данных остается без изменений. Вот почему очень важно привести документ к идеальному состоянию с точки зрения релевантности перед отправкой заявки на индексацию.