Ошибка 404 "Not found"

Необходимо правильно обрабатывать ошибку 404 "Not found". Это особенно актуально, если сайт динамический. Необходимо проверить, что делают скрипты в случае ошибок. Если скрипт сообщает об ошибке и при этом выдает код нормального завершения 200 "OK", то сообщение будет проиндексировано. Если же скрипт вернет HTTP код 404 "Not found", это сообщение об ошибке проиндексировано не будет.

Это относится и к обычным документам. Некоторые web-сервера настроены таким образом, что они в случае ошибки отсылают сообщение с кодом нормального завершения 200 "OK". Это мешает роботу удалить ссылку на страницу в базе данных. Любой современный web-сервер позволяет изменять стандартные сообщения об ошибках и отсылать их с правильным кодом ошибки.