Как ускорить индексирование сайта поисковой системой Яндекс

Чтобы ускорить появление остальных страниц сайта в индексе, нужно, во-первых, исключить из индексации ненужную информацию, во-вторых, сообщать роботу о новых страницах:

• запретить в robots.txt индексацию страниц, неинтересных пользователям, и дубликатов. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
• создать карту сайта, то есть страницу или несколько страниц, на которых есть ссылки на все документы сайта;
• выдавать корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос "If-Modified-Since", то выдавать код 304, если страница с указанной в запросе даты не изменилась);
• каждому уникальному URL, по возможности, должна соответствовать только одна страница сайта. Это исключает наличие страниц дубликатов, которые только захламляют поисковый индекс. Например, не рекомендуется добавлять в URL sessionID, так как для робота URL с двумя разными сессиями - это два разных URL. Поисковая система Яндекс периодически радикально чистит базу от дубликатов.