Robots.txt – vad är det och hur lägger du till det på Nginx?
Maj 01, 2019
robots.txt nginx knowledge base
Vad är robots.txt-fil?
Robots.txt styr vilka sidor sökmotorer får skanna på din webbplats. Den listar områden som robotarna ska undvika. Sökmotorerna läser filen och slipper leta efter innehåll själva.
Exempel på robots.txt
Kolla NameOceans robots.txt på nameocean.net/robots.txt. Så här ser den ut:
User-agent: * Disallow: /recaptcha Disallow: /tag/ Sitemap: https://nameocean.net/sitemap.xml
Det betyder att alla sökmotorer får indexera allt utom /recaptcha och /tag/. Filen pekar också på sitemap.xml för bättre överblick.
Så lägger du till robots.txt på din sajt
Med en enkel HTTP-server räcker det att skapa en vanlig textfil i rotkatalogen, som /var/www. På NameOcean kör vi nginx och genererar filen dynamiskt. Här är ett exempel från vår nginx-konfig:
server {
listen 443 ssl;
server_name nameocean.net;
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /recaptcha\nDisallow: /tag/\nSitemap: https://nameocean.net/sitemap.xml\n";
}
# ... övriga regler
}
Vill du släppa fram alla crawlers överallt? Använd det här:
User-agent: * Disallow: