Sitemap и robots.txt простыми словами
Это два небольших файла, которые подсказывают поисковым роботам, что на вашем сайте можно читать и где искать важные страницы. Ошибка в них может закрыть сайт от поиска.
Бесплатный разборSitemap: карта сайта
Это файл со списком адресов страниц, которые вы хотите видеть в поиске. Он помогает роботу быстрее найти новые и изменённые страницы. Включайте в него только нужные адреса: без служебных, дублей и закрытых страниц.
Robots.txt: правила для роботов
В этом файле перечислены разделы, которые роботам не нужно открывать: административная часть, корзина, служебные адреса. Здесь же указывают адрес sitemap. Типичная ошибка: случайно запретить весь сайт или нужные страницы.
Как проверить
- Откройте адрес вашсайт/robots.txt и убедитесь, что нет строки, запрещающей весь сайт.
- Откройте вашсайт/sitemap.xml и проверьте, что список актуален.
- Проверьте обе настройки в Яндекс Вебмастере и Google Search Console.
- После крупных изменений на сайте пересмотрите файлы.
Чего не нужно
Не пытайтесь использовать robots.txt как защиту закрытых данных: он только просит роботов не заходить, а не ограничивает доступ людям. Для закрытых разделов нужна авторизация. Страницы, которые не должны попасть в поиск, лучше закрывать метатегом noindex.
Частые вопросы
Обязательно ли иметь sitemap?
Не обязательно, но он ускоряет индексацию, особенно у нового сайта.
Можно ли закрыть от поиска часть страниц?
Да, через noindex или robots.txt в зависимости от задачи.
Что делать, если страница из sitemap не индексируется?
Проверьте качество и уникальность текста, ссылки на неё и ошибки в Вебмастере.
Читайте также
Посмотрим на вашу карточку глазами клиента
Разберём первое впечатление, способы связи и содержание. Обсудим, что стоит изменить в первую очередь.
Разобрать мою карточкуБесплатно. Решение о дальнейшей работе принимаете вы.
С чего начнём
Смотрим на карточку глазами человека, который вас ещё не знает: обложка и первые фотографии, название, описание, рубрики, услуги с ценами, рейтинг и отзывы.
Проверяем, понятно ли за несколько секунд, что вы предлагаете и чем отличаетесь от соседних компаний в выдаче.
- Обложка, логотип и порядок фотографий
- Описание, рубрики, услуги и прайс
- Рейтинг, отзывы и ответы на них
- Сравнение с ближайшими компаниями в выдаче
В результате: приоритетные изменения для вашей карточки.