Robots.txt nima? Nginxda qanday qo'yiladi?

Robots.txt fayli nima?

Robots.txt – bu saytingizdagi sahifalarni qidiruv robotlariga ko'rsatadigan fayl. U qaysi sahifalarni skanlash mumkin yoki mumkin emasligini belgilaydi. Natijada, qidiruv tizimlari barcha sahifalarni o'zlari izlamaydi.

Robots.txt fayli namunasi

NameOcean saytining robots.txt faylini nameocean.net/robots.txt da ko'rishingiz mumkin. U quyidagi qatorlarni o'z ichiga oladi:

User-agent: *
Disallow: /recaptcha
Disallow: /tag/
Sitemap: https://nameocean.net/sitemap.xml

Bu yerda barcha qidiruv robotlariga "/recaptcha" va "/tag/" sahifalaridan tashqari hammasini skanlashga ruxsat berilgan. Shuningdek, sitemap manzili ko'rsatilgan.

Saytingizga robots.txt qanday qo'shiladi?

Agar oddiy HTTP server ishlatayotgan bo'lsangiz va fayllar /var/www kabi joyda saqlansa, robots.txt ni oddiy matn fayli sifatida joylashtiring. Biz NameOcean da nginx dan foydalanamiz va robots.txt ni nginx orqali beramiz. Mana bizning nginx konfiguratsiyasi:

server {
  listen 443 ssl;
  server_name nameocean.net;

  location = /robots.txt {
      add_header Content-Type text/plain;
      return 200 "User-agent: *\nDisallow: /recaptcha\nDisallow: /tag/\nSitemap: https://nameocean.net/sitemap.xml\n";
  }

  # ... boshqa qoidalar

}

Barcha robotlarga saytning barcha sahifalarini skanlashga ruxsat bersangiz:

User-agent: *
Disallow: