Робот-паук у Яндекса называется yandex (регистр значения не имеет). Так к нему можно обращаться через файл robots.txt.
Не стоит спешить добавлять незаконченные сайты, чтобы только их поскорее проиндексировать. Робот настраивает свой график посещений таким образом, что на вашу страницу за обновленным контентом может придти не скоро.
Переиндексация документа происходит примерно раз в две недели, но под каждый сайт робот подстраивается в отдельности. Все зависит от частоты обновления. По словам Яндекса, тег никакой роли в работе робота не играет.
Робот yandex индексирует все документы в русскоязычной части Интернета (в том числе и страны СНГ). Впрочем, мой сайт Яндекс принял без проблем через сервис AddURL и проиндексировал в течение недели. Главный критерий приема - текст должен быть написан на русском. Кстати, воспользовавшись этим же сервисом, вы сможете увидеть какие страницы вашего сайта занесены в Яндекс и проиндексирован ли он вообще.
Информация в заголовке (тег title) Яндекс отображает в результатах поиска, так что постарайтесь сделать содержательный заголовок, вкратце описать данную страницу. Слова, находящиеся в теге title, имеют больший вес чем все остальные. Постарайтесь включить в заголовок ключевое слово этой страницы, так у вас появиться шанс быть выше в списке при поиске по данному слову.
Не стоит в тег запихивать все самые популярные ключевые слова. Такой подход вряд ли прибавит вес документу. Самый оптимальный вариант - комплектовать на каждой странице свой набор ключевых слов, которые наиболее характерны для описываемого текста. Ключевые слова в теге также увеличивают вес слова в документе, но только если само слово находится на странице.
Помимо вышеперечисленных способов, на релевантность слова влияют частота его использования в заголовках (h1, h2 ...), в атрибуте alt, во всплывающих подсказках и процент встречаемости этого слова в документе, т.е. как часто вы его используете. Но при этом сохраните смысл документа, иначе Яндекс может посчитать ваше слово спамом.
Индекс цитирования
В каталоге Яндекса используется такое понятие, как тематический индекс цитирования (тИЦ). Он определяется количеством и качеством внешних ссылок на ваш сайт. С количеством ссылок все понятно, а как насчет качества? На качество ссылки влияет тИЦ ресурса, ссылающегося на вас. Немаловажную роль играет тематическая близость вашего сайта с ссылающимися на вас ресурсами.
При подсчете вашего индекса цитирования не берутся во внимание ссылки с форумов, веб-досок, конференций, с сайтов, расположенных на бесплатных хостингах (если они не описаны в каталоге Яндекса). Естественно, не учитываются ссылки с тех сайтов, которые Яндекс не индексирует (например, зарубежные сайты).
"А зачем вообще нужен этот индекс цитирования?" - спросите вы. тИЦ сайта такая же мера измерения, как и хосты, Разница только в одном: количество хостов зависит от посетителей (чем их больше, тем больше хостов), а индекс цитирования Яндекса - от авторов сайтов (чем больше авторов поставят ссылку на ваш ресурс, тем выше значение CY).
По значению индекса цитирования определяется релевантность ресурса в каталоге Яндекса и, соответственно, позиция вашего сайта в выбранном разделе.