Hvad er robots.txt – og hvordan tilføjer du det på Nginx?
Hvad er en robots.txt-fil?
En robots.txt-fil guider søgemaskiner som Googlebot på, hvilke sider de må indeksere på din hjemmeside. Den lister steder frem for at lade botte søge rundt overalt.
Eksempel på robots.txt
Tjek NameOceans robots.txt på nameocean.net/robots.txt. Her er indholdet:
User-agent: * Disallow: /recaptcha Disallow: /tag/ Sitemap: https://nameocean.net/sitemap.xml
Det betyder, at alle crawlere må scanne alt undtagen sider under /tag/ og /recaptcha. Plus en henvisning til vores sitemap.
Har du en idé? Find det perfekte domæne til den
Vores AI-domænenavnegenerator foreslår ledige navne på tværs af hundredvis af endelser. Gratis SSL, DNS og Whois-beskyttelse er inkluderet.
Sådan tilføjer du robots.txt til din site
På en simpel HTTP-server kan du bare smide en tekstfil ind i rodmappen som /var/www. Vi bruger nginx på NameOcean og genererer filen direkte i configgen.
server {
listen 443 ssl;
server_name nameocean.net;
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /recaptcha\nDisallow: /tag/\nSitemap: https://nameocean.net/sitemap.xml\n";
}
# ... resten af reglerne
}
Vil du åbne alt for crawlere? Brug det her:
User-agent: * Disallow:
Har du en idé? Find det perfekte domæne til den
Vores AI-domænenavnegenerator foreslår ledige navne på tværs af hundredvis af endelser. Gratis SSL, DNS og Whois-beskyttelse er inkluderet.