Хочется немного осветить вопрос индексации сайта основными поисковиками (к которым относятся грозный и страшный Яндекс, рвущийся к лидерству уже и на просторах русскоязычного поиска Google, скатывающийся назад Рамблер, “всемирный” соперник Гугла Yahoo, ну и непонятно зачем все еще существующий Апорт ).

Проще всего рассмотреть скорость индексации на примере данного сайта. Сайту нет еще даже месяца, поэтому интересна динамика попадания страниц сайта в индекс (выдачу) поисковиков. Немного удивило то, что уже в день появления сайта на просторах всемирной сети (именно физического появления, т.е. момента, когда данные сайта стали доступны) Google каким-то образом успел проиндексировать несколько десятков страниц, и это при том, что сайт в “Google для вебмастеров” не вносился, вручную в Google не добавлялся, на сайт вообще была всего одна ссылка, правда на главной странице более-менее посещаемого (в том числе роботами) мини-портала .
Также в тот же день этот сайт был добавлен в Яндекс.вебмастер - якобы это ускоряет индексацию Яндексом. Как выяснилось - не ускоряет… вообще, складывается впечатление, что хоть какие-то обновления в базе Яндекса происходят раз в неделю, обычно в выходные, при том робот шарит по сайту стабильно - но почему-то на выдачу это никак не влияет.

Следом за Гугле, буквально через день, сайт заметил Яху, примерно столько же страниц - около 60. Несмотря на отстутствие в первые дни sitemap.xml (сейчас в нем чуть более 1600 страниц), Гугле уже за первую неделю проиндексировал более 500 страниц, а через 2.5 недели в базе было 1.5 тысячи страниц, то есть почти весь сайт. Примерно в это же время первые несколько страниц (а именно 4) появились в выдаче Яндекса - впечатляющая скорость. Да, сайт в первый же день был зарегистрирован в каталоге-рейтинге Рамблера, и через пару дней там появился, а вот в выдаче Рамблера до сих пор нет ни одной страницы (код счетчика стоит на каждой странице), Рамблер в этом плане отстает даже от Апорта, в котором уже есть несколько десятков страниц.

Яху меня несколько раз впечатлял скоростью индексации ссылок на сайт - показывал некоторые бэклинки буквально через час-два после их появления, просмотр бэклинков на Яндекс.вебмастер тоже немного порадовал - несмотря на то, что Яндекс знает всего 4 страницы сайта, но тем не менее он уже знает около 20 ссылок на сайт - то есть примерно 70% на данный момент… что не так уж плохо.

Ну вот собственно пока и все, надеюсь из этого коротенького обзора можно сделать кое-какие выводы о скорости попадания сайта в индекс (выдачу) основных поисковиков.

я знал о борьбе Яндекса с белыми каталогами, но если честно - не подозревал о масштабах этой борьбы… А столкнулся я с этой проблемой (а именно “проблемой белых каталогов”) в связи с созданием нескольких новых сайтов и желанием на старте “нахаляву” немного им поднять ТИЦ. Нахаляву - то есть просто регистрируя новый сайт в белых каталогах, работа конечно крайне скучная и нудная, но простая и не требует затрат.

Для чего существуют белые каталоги? Думаю, не открою секрета, если скажу - для поднятия ТИЦ (то есть для поисковиков, а не для людей как бы, вот поэтому Яндекс и банит белые каталоги, особенно те, которые уж очень явно сделаны не для людей).

А чтоб белый каталог был полезен для этого самого поднятия, прямую ссылку с него должен увидеть Яндекс. А если каталог отсутствует в индексе Яндекса, зачем в нем регистрироваться? Есть, конечно, еще и другие поисковики, тот же Гугле, Рамблер, но все-таки большинство усилий SEO направлено именно на Яндекс.

С учетом всего этого я внимательно проверял каждый каталог или рейтинг перед регистрацией, чтобы не выполнять напрасную работу. И вот к какому тоскливому выводу я пришел - большинство подборок и списков белых каталогов оказались абсолютно бесполезны! Беру из списка первые 10-15 каталогов и проверяю такие параметры - ТИЦ, Google PR, наличие в индексе Яндекса и Гугла (кол-во страниц в выдаче).

Итог множества проверок такой: примерно 10-20% каталогов вообще мертвы, то есть просто давно заброшены и не работают, 70-80% имеют ТИЦ, какой-то PR и проиндексированы Google, но! в выдаче Яндекса либо 0 страниц, либо 1-2 - вот и приплыли… и только в среднем 1 из 10 каталогов жив и здравствует… Но это тоже зависит от подборки - в некоторых списках из первых 30-40 каталогов я не находил ни одного рабочего и полезного каталога (не “нулевки”).

Совершенно забавные данные я получил по одному из каталогов (видно, что ранее он был довольно продвинут) - каталог фигурировал под названием “Самый большой интернет каталог”, так вот в индексе Google оказалось 237000 страниц этого каталога! А в Яндексе - 0 (ноль), но Яндекс ТИЦ равен 375 - не так уж плохо, зато Google PR - ноль! вот с таким я столкнулся первый раз, но это уже за торговлю ссылками.
Попадались каталоги с ТИЦ более 1000, но отсутствующие в выдаче Яндекса.

Буквально сегодня видел (и не раз) рекламу в Бегуне - “Регистрируем в 4500 каталогов! Быстрая раскрутка, недорого! Вы сразу получите PR3 и ТИЦ +30?. Вдумываясь в текст, понимаешь истинный смысл - их 4.5 тыщи каталогов дадут вам прирост ТИЦ всего 30! ну а PR3 вообще никак не связано с регистрацией в каталогах - это достигается просто грамотной внутренней перелинковкой сайта, к примеру два наших сайта, запущенные в 2007 году, при первом же апе Google получили PR3, бэклинков к этому времени почти не было, ТИЦ тоже был почти нулевой. Хотя сейчас вроде Google ужесточает раздачу PR, теперь возможно получить “тройку” сразу будет непросто, по крайней мере многие сайты во время прошлого апдейта Google PR получили падение ПР, но опять-таки - большинство из них имели продажные ссылки.

В общем, делаем выводы - стоит ли регистрироваться в белых каталогах, стоит ли пользоваться услугами “оптовых регистраторов”, и как выбирать каталоги для регистрации. Регистрироваться вслепую - напрасно тратить время.

Рекламно-контекстовые системы оплаты за клик (Pay per click), такие, как AdSense, много внимания уделяют позиционированию и дизайну своих публикуемых объявлений. Но есть и другой важный аспект - релевантность рекламы, т.е. соответствие текста рекламного объявления содержанию страницы.

---

Ее принцип действительно прост - читатели приходят на Ваш сайт в поисках информации по какой-то конкретной теме и, если видят объявление, ей соответствующее, то есть большая вероятность, что они обратят на него внимание и отреагируют, кликнув по рекламе.

Нерелевантная реклама почти всегда приносит низкий отклик, поэтому публикующий, работая над ее дизайном и позиционированием, должен убедиться в том, что рекламные объявления максимально релевантны контенту, в котором они размещаются.

Каждая контентно-зависимая система рекламы будет требовать применения своих собственных методов для получения наиболее релевантной рекламы.

Ниже следуют 11 подсказок для получения релевантных объявлений, нацеленных на рекламу AdSense:

1. Секционный Таргетинг - Данная идея очень проста - Вы просто проставляете специальные теги вокруг тех частей контента, для которых требуется соответствие объявлений и теги вокруг того контента, который не нужно учитывать при ориентации объявлений. Получается, что вы самостоятельно можете делать таргетинг объявлений в соответствии с тематикой вашего сайта. Я думаю, что объявления о продаже цветов не будут уместны на сайте о программировании. А узнать больше информации об этом от Гугла, пройдя сюда.

2. Ключевые Слова в Контенте Страниц - Ваши посты с ключевыми словами должны быть подкреплены основным содержанием статьи. В противном случает он будут мало читаемы. Также имеет смысл проверить, какие слова в тексте встречаются чаще других, поскольку это те слова, которым с большей вероятностью будет соответствовать текст рекламного объявления. Чтобы помочь AdSense'у вывести нужные объявления, Вы должны найти способ использования нужных ключевых слов более одного-двух раз в каждом сообщении.

3. Ключевые Слова в Заголовках - Как показывает опыт, присутствие ключевых слов в заголовках (title) статей реально влияет на содержимое отображаемых рекламных объявлений. Это утверждение еще более справедливо, если заголовки статей, по сути, являются и заголовками страниц. Идеальный вариант - это когда название статьи есть в заголовке браузера и содержит ключевые слова.

4. Метатеги - Могу сказать, что времена, когда поисковики верили метатегам - в далеком прошлом. Когда инет начинал свое становление, трава была зеленой, а небо голубым :) Сейчас дела обстоят по-другому. Да и сама Google AdSense никогда не говорила о значимости метатегов при отображении рекламы, однако достаточно много пользователей верят, что AdSense обращает на них внимание. Поэтому рекомендую Вам самим убедиться в том, что это значимый показатель, включив в метатеги ключевые слова.

5. Фокусируйте Посты в Одну Тему - Чем больше Ваши посты сфокусированы на одной теме, тем больше AdSense "понимает" то, о чем Вы пишите, и с большей степенью вероятности выводит нужные Вам объявления. И, наоборот, посты, раскрывающие разносторонние темы, приведут к эффекту несоответствия объявления тексту Вашего сайта. Это объясняет причину, по которой иногда главные страницы блогов отображают релевантные объявления значительно реже, чем страницы, отведенные только одному посту. Поэтому для достижения необходимо результата на главной странице, возможно, придется поработать с плотностью ключевых слов на ней.

6. Фокусируйте Blog/URL в Одну Тему - Некоторые веб-мастера верят, что AdSense проверяет не только страницы, на которых размещены объявления, но и весь сайт. Вполне вероятно, что Вы можете не получить релевантную рекламу на страницах своего блога, если пишите на разные темы, расположенные по одному URL. Конечно, это не так существенно, но соблюдение данного условия позволит Вам двигаться в правильном направлении.

7. Проверяйте, Отображаются ли Рекламные Объявления - Это редко случается с объявлениями AdSense, но возможно такое, что веб-мастер прилагает усилия к тому, чтобы добиться отображения релевантных объявлений и в результате обнаруживает, что показывается совсем немного объявлений по его нишевой категории, поскольку она слишком узкоспециализированная. Совсем нетрудно это проверить, например, сделать в Гугле поиск по ключевым словам, по которым Вы хотели бы видеть объявления. И, если страница выданных результатов поиска показывает рекламу, то есть большой шанс, что объявления отобразятся и на Вашем сайте. Если же нет, то, скорее всего, Вам необходимо полнее раскрывать тему в своей нише.

8. Проверяйте, какую рекламу видят другие - Более, чем вероятно, что реклама, которую Вы видите на своем блоге, отличается от той, которую видят Ваши читатели. Это происходит из-за настроек геотаргетинга, т.е. отображения объявления в зависимости от местоположения (географии) читателя. Рекламодатели могут выбирать, каким странам или регионам разрешен показ их объявлений. В результате Ваш регион может иметь меньшую релевантность объявлений, чем другие регионы, поэтому имеет смысл попросить кого-нибудь, кто находится в другой части мира, сказать, какие он видит объявления на Вашем блоге.

9. Блокируйте нерелевантные объявления - AdSense позволяет веб-мастерам блокировать объявления через свои Фильтры Конкурирующих Объявлений. Если Вы наблюдаете объявления, которые не следует отображать на Вашем блоге, то можете заблокировать их, используя данный метод. Безусловно, Вы должны помнить, что объявления, которые видите на своем блоге Вы, специфичны для Вашего местоположения (зависят от IP-адреса), поэтому для Ваших читателей, возможно, показываются совершенно другие объявления. Исходя из этого, блокировка рекламы может быть отчасти бессмысленным занятием.

10. Релевантность рекламы требует времени - Если Ваш блог открыт совсем недавно, и Вы видите, что оторбажается несоответствующая реклама, то причина этого в том, что прошло недостаточно времени. Однако некоторые блоги могут сразу же получить на свои страницы необходимую рекламу, тогда как другим для этого может потребоваться одна-две недели. В последнем случае просто подождите некоторое время.

11. Если сомневаетесь, спросите у AdSense'а - Если у Вас возникают сомнения или затруднения при работе над достижением релевантности объявлений Google AdSense, обращайтесь за помощью в техническую поддержку системы, воспользовавшись формой обратной связи. Письма от русскоязычных пользователей не остаются в стороне, и, возможно, Вы получите полезные ответы. Однако не стоит задавать вопросы, решение которых уже изложено в Справочном Центре AdSense.

На данный момент интернет - это огромная сеть, которая содержит в себе бесконечное множество различной информации. Пользователи получают ее путем серфинга веб-браузеров - программ, предназначенных для просмотра сайтов. Ну а каждый сайт непременно должен содержать контент - то, за чем и приходит на его страницы посетитель.

---

Как правило, при создании новых сайтов у веб-мастера появляется потребность в его информационном наполнении. Многие из них знают, что лучше всего ценится именно уникальный и качественный контент. Но, то ли в силу своей лености или ограниченности авторских способностей, не все создают его самостоятельно.

Да, зачем сидеть сутками за экраном монитора и сочинять какие-то тексты, которые потом еще будет кто-то читать. Можно просто скопировать этот самый контент с других сайтов.

Остановлюсь на причинах, почему так не стоит делать.

Первая - Престиж сайта, особенно, если он корпоративный. Тут можно провести аналогии с рекламой компании на шариковых ручках, чашках и прочих недорогих, но столь нужных вещей. Почему-то на них логотипы и название компании не копируются, а стараются создать свой, уникальный стиль.

Вторая - Незаконность. Множество статей и обзоров являются собственность их авторов. Поэтому публикация без их разрешения является незаконной и охраняется законом об авторском праве. К сожалению, наше несовершенное законодательство не позволяет в полной мере защитить интеллектуальную собственность.

Третья - поисковые машины уже давно научились находить настоящий источник статьи. Это уже проверено на своем сайте. Еще поисковики очень ценят уникальный контент, а не его дубликаты.

Автору данной статьи на одном из форумов о seo доводилось видеть приблизительные алгоритмы определения оригинальности контента. Благо, 5 лет университета не прошли даром - через мрак матриц, векторов и теории вероятности стало ясно, что на самом деле это не так и сложно. Для ЭВМ, конечно. А уж поверьте, что у того же Яндекса или Гугла вычислительные мощности уже исчисляются десятками тысяч(!) машин.

Думаю, этих доводов пока будет достаточно. Тут главное - понять саму суть проблемы, а не все ее мелочи. Еще в последнее время получили распространение сервисы, которые предлагают бесплатный контент. Это как нельзя кстати для новых и малобюджетных проектов. Единственным условием использования такого контента является наличие ссылки на первоисточник.

Но тут есть и обратная сторона медали - от этого выигрывает лишь сайт, предоставляющий контент. Ведь, по сути дела - это просто ссылка на его ресурс. Такие ссылки расползаются по всему инету, создавая для первоисточника просто сказочное количество бек-линков.

Бесплатный сыр, как говорится, может оказаться вовсе не бесплатным. Так и вышло, когда поисковики научились находить дубликаты и убирать содержащие их сайты из результатов выдачи.

К сожалению, на данный момент ситуация такова, что процент оригинального количества контента к общему так и остается на уровне 10-15% . И это только то, что смогли подсчитать поисковые машины, а ведь они по всему инету не ходят (на индексацию всего инета нужно от 300 до 400 лет).

Но все же есть люди, которые стараются создавать уникальный контент, а не копируя уже напечатанное. К некоторым понимание значимости оригинального контента приходит лишь со временем.

Помните, что оригинальный и свежий контент - это курица, которая несет золотые яйца. Не верите - попрактикуйтесь на реальных сайтах.

Удачи!

Расскажу о таком сервисе гугла, который помогает отсеивать спам из поисковой выдачи. Этим в Google занимается один, малоизвестный человек Adam Lasnik. Конечно, чистотой поисковой выдачи и заспамлености поисковой машины следят много человек, их имена нам неизвестны. Они как бойцы невидимого фронты - мы их не видим, а результаты - чувствуются сразу.

---

Про вид деятельности Адама Лэсника говорит вот такая строка в его биографии - Google, Mountain View, CA, Index Quality Enhancement: Analyzing Web spam trends and helping colleagues fine tune indexing and ranking algorithms.

Вообщем деятельность этого человека лежит во взаимодействии вебмастеров и инженеров гугла. Естественно, что внутренняя политика поисковой машины Google запрещает разглашать какие-либо поисковые технологии и механизмы, но нужно уметь понимать то, что подобные специалисты пишут или говорят между строк.

На основании сайта этого человека можно сделать несколько выводов:

* Рапорты или жалобы, которые отправлены через сервис https://www.google.com/webmasters/sitemaps/spamreport?hl=en получат наибольшее внимание

* На основании только жалобы, без проверки самого факта нарушения использования поисковой машины, сайт не может быть исключен из индекса, т.е поисковой выдачи

* Проверка жалоб - практически полностью автоматическая, ручную проверку проходят лишь крупные сайты, представляющие для поисковой машины коммерческий интерес

* Первостепенным фактором в обработке рапортов лежит степень замусоренности (заспамленности, популярности) определенных ключевых слов, тематик. Ясное дело, что чем выше конкуренция по определенному ключевому слову, тем быстрее будет осуществлена проверка на спам

* Ручной обработки бана практически не существует (за исключением исключительных случаев). Инженеры Google ежедневно используют полученную информацию для улучшения алгоритма, с целью определения новых видов спамерский технологий. Потом эти изменения алгоритма тестируются и постепенно вводятся в реальную работу алгоритма

* Инженеры, которые ответственны за качество поискового индекса гугла, не имеют право использовать данные, собираемыми другими отделениями гугла (такими как Adsense, Adwords, Analytic). Это связанно с так называемыми “privacy terms”. Следует обратить внимание, что про тулбар ничего сказано не было, так что весьма вероятно что данные гуглбара могут использоваться для обнаружения поискового спама.

Вот, в принципе и все. Если хотите больше узнать о технологиях поисковой машины, то внимательно изучайте и почаще заходите на сайт Адама Лэсника (его сайт http://www.lasnik.net/). Успехов вам!