Hva er robots.txt – og hvordan legger du det til på Nginx?
Mai 01, 2019
robots.txt nginx knowledge base
Hva er robots.txt-filen?
Robots.txt styrer hvilke sider søkemotorer får krype på nettstedet ditt. Den lister opp sider som skal blokkeres eller slippes fri. Søkemotorene leser filen og trenger ikke lete etter sider selv.
Eksempel på robots.txt
Sjekk ut robots.txt fra NameOcean her: nameocean.net/robots.txt. Filen ser slik ut:
User-agent: * Disallow: /recaptcha Disallow: /tag/ Sitemap: https://nameocean.net/sitemap.xml
Her får alle bots krype fritt, bortsett fra sider under /tag/ og /recaptcha. Pluss en pek på sitemapen vår.
Hvordan setter du opp robots.txt på ditt nettsted?
På en enkel HTTP-server legger du bare ut en tekstfil som robots.txt i rotmappen, typisk /var/www. Vi kjører nginx på NameOcean og genererer filen dynamisk. Sjekk nginx-konfiggen vår:
server {
listen 443 ssl;
server_name nameocean.net;
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /recaptcha\nDisallow: /tag/\nSitemap: https://nameocean.net/sitemap.xml\n";
}
# ... andre regler
}
Vil du slippe alle crawlere løs på alt? Bruk dette:
User-agent: * Disallow: