Robots.txt va Sitemap.xml: to'g'ri sozlash bo'yicha qo'llanma

Abdujalilov Dilshod
Abdujalilov Dilshod SEO mutaxassis · 23 June 2026
Robots.txt va Sitemap.xml: to'g'ri sozlash bo'yicha qo'llanma

Robots.txt va sitemap.xml — qidiruv tizimlari saytingizni to'g'ri indekslay olishi uchun zarur bo'lgan ikkita texnik fayl. Ular foydalanuvchilarga ko'rinmaydi, lekin SEO uchun juda muhim. Nima ekanligini va qanday sozlash kerakligini ko'rib chiqamiz.

Robots.txt nima va nima uchun kerak

Robots.txt — sayt ildizidagi matnli fayl bo'lib, qidiruv robotlariga (Googlebot, Yandex va boshqalarga) qayerga kirish mumkinligini va qayerga yo'qligini bildiradi. Bu qidiruv roboti saytingizga tashrif buyurganda tekshiradigan birinchi narsadir.

Robots.txt qayerda joylashgan

Fayl har doim quyidagi manzilda joylashadi: https://parsing.uz/robots.txt. Hoziroq tekshiring — bu URL ni brauzerda oching. Qoidalar yozilgan matn ko'rsangiz — fayl mavjud. 404 xatosi bo'lsa — fayl yo'q va uni yaratish kerak.

Robots.txt tuzilishi

Fayl bloklardan iborat. Har bir blok User-agent direktivasidan boshlanadi — bu qaysi robot uchun qoidalar amal qilishini ko'rsatadi:

Direktiva Ma'nosi Misol
User-agent: * Barcha robotlar uchun qoida User-agent: *
User-agent: Googlebot Faqat Google uchun User-agent: Googlebot
Disallow: /admin/ Papkani taqiqlash /admin/ ni indekslamaslik
Allow: / Sahifalarni ruxsat etish Butun saytni indekslash
Sitemap: Sayt xaritasiga havola Sitemap: https://gizz.uz/sitemap.xml

Ma'lumot saytlari (.uz) uchun to'g'ri robots.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /backend/
Disallow: /cp/
Disallow: /?*
Disallow: /search
Disallow: /tag/

Sitemap: https://gizz.uz/sitemap.xml
Sitemap: https://gizz.uz/sitemap-ru.xml

Robots.txt dagi keng tarqalgan xatolar

  • Disallow: / — butun saytni to'liq taqiqlash. Yangi saytlarda keng tarqalgan xato.
  • CSS va JS fayllarini bloklash — Google sahifani to'g'ri ko'rsata olmaydi va uni to'g'ri baholay olmaydi.
  • Ichki havolalashda ishtirok etadigan sahifalarni bloklash — havola "vazni" yo'qoladi.
  • Fayl oxirida Sitemap ga havola yo'qligi.

Sitemap.xml nima va u bo'lmasa indeksatsiya nima uchun sekinlashadi

Sitemap.xml — XML formatidagi saytingizdagi barcha sahifalar xaritasi fayli. U qidiruv tizimlariga yangi va yangilangan sahifalarni tezroq topish va indekslashga yordam beradi, ayniqsa yirik saytlarda yoki sahifalaringiz bir-biriga yomon bog'langan bo'lganda.

Sitemap.xml da nima bo'lishi kerak

Teg Majburiylik Ta'rif
<loc> ✅ Ha Sahifa URL manzili
<lastmod> Tavsiya etiladi Oxirgi o'zgartirish sanasi
<changefreq> Yo'q Yangilanish chastotasi (daily, weekly)
<priority> Yo'q Sahifa ustuvorligi (0.1 – 1.0)

To'g'ri sitemap.xml namunasi

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://gizz.uz/maqolalar/core-web-vitals</loc>
    <lastmod>2025-06-01</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Sitemap fayllari turlari

  • Oddiy sitemap — sahifalar ro'yxati
  • Sitemap Index — bir nechta sitemapni birlashtiruvchi fayl (50 000 dan ortiq URL bo'lgan katta saytlar uchun)
  • Image Sitemap — rasmlarni indekslashga yordam beradi
  • Video Sitemap — video kontent uchun
  • News Sitemap — Google News ga kiritiladigan yangiliklar saytlari uchun

Sitemapni Google va Yandexga qanday yuborish kerak

Google Search Console

Google Search Console ga kiring → resursingizni tanlang → chap menuda "Sitemap fayllari" tugmasini bosing → sitemap.xml URL manzilini kiriting va "Yuborish" tugmasini bosing.

Yandex.Webmaster

Yandex.Webmaster ga kiring → saytni tanlang → "Indeksatsiya" → "Sitemap fayllari" → fayl URL manzilini qo'shing.

robots.txt orqali avtomatik ravishda

Robots.txt oxiriga ushbu qatorni qo'shing — va barcha qidiruv tizimlari sitemapni o'zlari topadi:

Sitemap: https://gizz.uz/sitemap.xml

Robots.txt va Sitemap: farqi nimada

Parametr robots.txt sitemap.xml
Maqsad Robotga qayerga BORMASLIK kerakligini aytadi Robotga qayerga BORISH kerakligini aytadi
Format Matnli (.txt) XML
Joylashuv /robots.txt (sayt ildizi) Istalgan joy, odatda /sitemap.xml
Majburiylik Ha (tavsiya etiladi) Majburiy emas, lekin muhim

Xulosa

Robots.txt va sitemap.xml — texnik SEO ning asosi. To'g'ri sozlanmagan robots.txt muhim sahifalarni indeksatsiyadan yopib qo'yish xavfini tug'diradi. Sitemap.xml bo'lmasa, yangi maqolalar uzoqroq indekslanadi. Ikkala faylni bir marta sozlang — va qidiruv tizimlari sizga trafik o'sishi bilan minnatdorchilik bildiradi.

← Barcha maqolalar