Ошибки 5xx и SEO: что происходит с сайтом, если сервер регулярно недоступен

Что означают ошибки 5xx

Для поискового робота общий смысл одинаков: контент сейчас получить нельзя. Причина и правильная реакция инфраструктуры при этом различаются.

Что делает Google, когда получает 5xx

• временно снижает интенсивность crawling;
• игнорирует контент, пришедший вместе с 5xx;
• некоторое время сохраняет известный URL в индексе;
• при устойчивой ошибке может удалить URL;
• после ответов 2xx постепенно увеличивает обход.

Снижение crawl rate зависит от масштаба: несколько ошибочных URL и падение всего хоста — разные ситуации.

Что происходит с Яндексом

Яндекс указывает, что страницы с 4xx и 5xx не участвуют в поиске. Ранее известные URL при последующем получении ошибки могут быть исключены.

Это не означает, что один случайный 500 мгновенно удалит весь сайт: важны повторные визиты робота, охват и продолжительность сбоя.

Опасен ли сайт, который упал на 10–15 минут

Обычно нет. Google отдельно разбирал сценарий с ответом 503 на 10–15 минут несколько раз в неделю и назвал такую недоступность непродолжительной.

Нужно корректно отдавать 503, быстро восстановить сайт и не превращать короткий релиз в многочасовой или многодневный простой.

Когда ошибки становятся реальной SEO-проблемой

• 5xx появляются ежедневно;
• ошибки затрагивают большие группы страниц или главную;
• недоступны robots.txt и Sitemap;
• робот регулярно получает таймауты;
• новые и обновлённые страницы долго не обходятся;
• ухудшается Host availability в Crawl Stats;
• URL начинают исключаться из индекса.

500, 502, 503 или 504 — что хуже

Искусственный рейтинг кодов не нужен. Для SEO важнее частота, длительность и количество затронутых URL. Для планового обслуживания предпочтителен 503: он явно обозначает временное состояние.

Почему 503 лучше заглушки с кодом 200

Заглушка с 200 может быть воспринята как настоящий контент. Одинаковая заглушка на разных URL также создаёт риск ошибочного распознавания дублей.

Нужно ли использовать Retry-After

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

Заголовок сообщает клиенту ориентир повторной попытки, но не гарантирует, что поисковик вернётся строго через указанное время. Документация Яндекса отдельно отмечает, что для 429 он не учитывает Retry-After.

429 и 503: в чём разница

429 Too Many Requests означает ограничение слишком частых запросов. 503 Service Unavailable — временную недоступность сервиса.

Google воспринимает 429 и 5xx как сигнал перегрузки и замедляет обход. Использовать их следует временно: длительная выдача таких кодов уже влияет на индексирование.

Почему нельзя использовать 404 или 403 при перегрузке

Google прямо просит не применять 403 и 404 для rate limiting. Эти коды означают недоступность или отсутствие ресурса, поэтому существующие URL могут быть удалены из поиска. Исключение среди 4xx — код 429.

Ошибки соединения и DNS тоже считаются проблемой

SEO-аудит нельзя ограничивать HTTP 500. DNS error, connection timeout и connection reset также заставляют Google снижать обход. При длительной недоступности известные страницы могут исчезать из индекса.

Как 5xx влияют на краулинговый бюджет

Массовые 5xx и таймауты сообщают Google, что сервер близок к пределу. Googlebot уменьшает crawl capacity, чтобы не усиливать нагрузку. Это защитное поведение, а не прямой штраф.

Подробнее о механике — в статье про краулинговый бюджет.

Что происходит после восстановления сайта

После получения 200 Google постепенно увеличивает обход и повторно обрабатывает страницы. Исключённые URL могут вернуться, но не мгновенно.

В Яндексе проверьте серверные ответы и отправьте самые важные страницы на переобход. Видимость восстановится после повторного посещения и обработки.

Как диагностировать серверные проблемы

1. Google Search Console → Crawl Stats → Host availability.
2. Яндекс Вебмастер → Статистика обхода.
3. Проверка ответа сервера в Яндекс Вебмастере.
4. Access/error logs сервера, CDN и WAF.
5. Uptime monitoring и доля 5xx.
6. DNS, SSL, база данных и ошибки API.

Проверяйте не только главную: категории, карточки и API могут падать при формально доступном хосте. Ошибки API особенно важны для JavaScript-сайтов.

Какие показатели мониторить постоянно

Показатели сервера дополняют Core Web Vitals, но не заменяют пользовательские метрики.

План действий при массовых 5xx

1. Определить начало и масштаб.
2. Проверить server, CDN и application logs.
3. Выяснить, какие URL затронуты.
4. При перегрузке временно отдавать 503 или 429.
5. Не подменять их кодами 403/404.
6. После исправления проверить 200, robots.txt и Sitemap.
7. Наблюдать Crawl Stats и индексирование.

«Для SEO опасен не сам факт одного сбоя, а ситуация, когда поисковик регулярно приходит за страницей и снова получает ошибку. Если сервер несколько минут был недоступен и корректно отдал 503 — это штатная ситуация. Если 500, 502 или 504 появляются каждый день, я бы уже рассматривал это как техническую SEO-проблему, а не просто вопрос хостинга».

Константин Шипилов

SEO-специалист, основатель Шипилов SEO

Что не делать

• возвращать 200 со страницей техработ;
• отдавать 404 для существующих страниц при перегрузке;
• закрывать сайт в robots.txt на время коротких работ;
• использовать 403 для снижения частоты Googlebot;
• считать один 500 причиной падения позиций;
• игнорировать редкие, но регулярные 502/504;
• мониторить только главную;
• после восстановления не проверять обход и индекс.

Частые вопросы

Источники

• Google: HTTP status codes;
• Google: снижение crawl rate;
• Google: краткие 503 во время релизов;
• Яндекс: индексирование и коды ответа;
• Яндекс: справочник HTTP-кодов.