Файл robots.txt и sitemap.xml — как правильно настроить

Robots.txt и sitemap.xml — два технических файла, без которых поисковые системы не смогут правильно индексировать ваш сайт. Они не видны пользователям, но критически важны для SEO. Разбираем, что это такое и как их правильно настроить.

Что такое robots.txt и зачем он нужен

Robots.txt — это текстовый файл в корне сайта, который говорит поисковым роботам (Googlebot, Yandex и другим): куда заходить можно, а куда — нельзя. Это первое, что проверяет поисковый робот при посещении вашего сайта.

Где находится robots.txt

Файл всегда располагается по адресу: https://parsing.uz/robots.txt. Проверьте прямо сейчас — откройте этот URL в браузере. Если видите текст с правилами — файл существует. Если ошибка 404 — файла нет, и его нужно создать.

Структура robots.txt

Файл состоит из блоков. Каждый блок начинается с директивы User-agent, которая указывает, для какого робота действуют правила:

Правильный robots.txt для информационного сайта (.uz)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /backend/
Disallow: /cp/
Disallow: /?*
Disallow: /search
Disallow: /tag/

Sitemap: https://gizz.uz/sitemap.xml
Sitemap: https://gizz.uz/sitemap-ru.xml

Частые ошибки в robots.txt

• Disallow: / — полный запрет индексации всего сайта. Частая ошибка на новых сайтах.
• Блокировка CSS и JS файлов — Google не сможет отрендерить страницу и оценить её правильно.
• Блокировка страниц, которые участвуют в перелинковке — теряется «вес» ссылок.
• Отсутствие ссылки на Sitemap в конце файла.

Что такое sitemap.xml и почему без него медленнее индексация

Sitemap.xml — это файл-карта всех страниц вашего сайта в формате XML. Он помогает поисковикам быстрее находить и индексировать новые и обновлённые страницы, особенно на крупных сайтах или когда ваши страницы плохо связаны ссылками между собой.

Что должно быть в sitemap.xml

Пример правильного sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://gizz.uz/ru/stati/core-web-vitals-dlya-uzbekistana</loc>
    <lastmod>2025-06-01</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Типы sitemap-файлов

• Обычный sitemap — список страниц
• Sitemap Index — файл, который объединяет несколько sitemap (для больших сайтов, более 50 000 URL)
• Image Sitemap — помогает индексировать изображения
• Video Sitemap — для видеоконтента
• News Sitemap — для новостных сайтов, попадающих в Google News

Как отправить sitemap в Google и Яндекс

Google Search Console

Войдите в Google Search Console → выберите ваш ресурс → в меню слева нажмите «Файлы Sitemap» → введите URL вашего sitemap.xml и нажмите «Отправить».

Яндекс.Вебмастер

Войдите в Яндекс.Вебмастер → выберите сайт → «Индексирование» → «Файлы Sitemap» → добавьте URL файла.

Автоматически через robots.txt

Добавьте строку в конец robots.txt — и все поисковики найдут sitemap сами:

Sitemap: https://gizz.uz/sitemap.xml

Robots.txt vs Sitemap: в чём разница

Вывод

Robots.txt и sitemap.xml — это фундамент технического SEO. Без правильно настроенного robots.txt вы рискуете закрыть важные страницы от индексации. Без sitemap.xml новые статьи будут индексироваться дольше. Настройте оба файла один раз — и поисковики скажут вам спасибо ростом трафика.