Расскажу о таком сервисе гугла, который помогает отсеивать спам из поисковой выдачи. Этим в Google занимается один, малоизвестный человек Adam Lasnik. Конечно, чистотой поисковой выдачи и заспамлености поисковой машины следят много человек, их имена нам неизвестны. Они как бойцы невидимого фронты - мы их не видим, а результаты - чувствуются сразу.
Про вид деятельности Адама Лэсника говорит вот такая строка в его биографии - Google, Mountain View, CA, Index Quality Enhancement: Analyzing Web spam trends and helping colleagues fine tune indexing and ranking algorithms.
Вообщем деятельность этого человека лежит во взаимодействии вебмастеров и инженеров гугла. Естественно, что внутренняя политика поисковой машины Google запрещает разглашать какие-либо поисковые технологии и механизмы, но нужно уметь понимать то, что подобные специалисты пишут или говорят между строк.
На основании сайта этого человека можно сделать несколько выводов:
* Рапорты или жалобы, которые отправлены через сервис https://www.google.com/webmasters/sitemaps/spamreport?hl=en получат наибольшее внимание
* На основании только жалобы, без проверки самого факта нарушения использования поисковой машины, сайт не может быть исключен из индекса, т.е поисковой выдачи
* Проверка жалоб - практически полностью автоматическая, ручную проверку проходят лишь крупные сайты, представляющие для поисковой машины коммерческий интерес
* Первостепенным фактором в обработке рапортов лежит степень замусоренности (заспамленности, популярности) определенных ключевых слов, тематик. Ясное дело, что чем выше конкуренция по определенному ключевому слову, тем быстрее будет осуществлена проверка на спам
* Ручной обработки бана практически не существует (за исключением исключительных случаев). Инженеры Google ежедневно используют полученную информацию для улучшения алгоритма, с целью определения новых видов спамерский технологий. Потом эти изменения алгоритма тестируются и постепенно вводятся в реальную работу алгоритма
* Инженеры, которые ответственны за качество поискового индекса гугла, не имеют право использовать данные, собираемыми другими отделениями гугла (такими как Adsense, Adwords, Analytic). Это связанно с так называемыми “privacy terms”. Следует обратить внимание, что про тулбар ничего сказано не было, так что весьма вероятно что данные гуглбара могут использоваться для обнаружения поискового спама.
Вот, в принципе и все. Если хотите больше узнать о технологиях поисковой машины, то внимательно изучайте и почаще заходите на сайт Адама Лэсника (его сайт http://www.lasnik.net/). Успехов вам!