Hvad er robots.txt – og hvordan tilføjer du det på Nginx?
Maj 01, 2019
robots.txt nginx knowledge base
Hvad er en robots.txt-fil?
En robots.txt-fil guider søgemaskiner som Googlebot på, hvilke sider de må indeksere på din hjemmeside. Den lister steder frem for at lade botte søge rundt overalt.
Eksempel på robots.txt
Tjek NameOceans robots.txt på nameocean.net/robots.txt. Her er indholdet:
User-agent: * Disallow: /recaptcha Disallow: /tag/ Sitemap: https://nameocean.net/sitemap.xml
Det betyder, at alle crawlere må scanne alt undtagen sider under /tag/ og /recaptcha. Plus en henvisning til vores sitemap.
Sådan tilføjer du robots.txt til din site
På en simpel HTTP-server kan du bare smide en tekstfil ind i rodmappen som /var/www. Vi bruger nginx på NameOcean og genererer filen direkte i configgen.
server {
listen 443 ssl;
server_name nameocean.net;
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /recaptcha\nDisallow: /tag/\nSitemap: https://nameocean.net/sitemap.xml\n";
}
# ... resten af reglerne
}
Vil du åbne alt for crawlere? Brug det her:
User-agent: * Disallow: