Mi az a robots.txt? Így add hozzá Nginx-en!
Máj 01, 2019
robots.txt nginx knowledge base
Mi az a robots.txt fájl?
A robots.txt fájl utasítja a keresőmotorok robotjait, hogy mely oldalakat nézzék meg egy weboldalon, és melyeket hagyják ki. Ez segít nekik gyorsan eligazodni, anélkül hogy minden egyes oldalt végigpásztáznának.
Példa robots.txt fájlra
Nézd meg a NameOcean robots.txt-jét itt: nameocean.net/robots.txt. Így néz ki:
User-agent: * Disallow: /recaptcha Disallow: /tag/ Sitemap: https://nameocean.net/sitemap.xml
Ez azt jelenti, hogy minden robot böngészhet, kivéve a /recaptcha és /tag/ részeket. Plusz megadja a sitemap.xml helyét is.
Hogyan tedd fel a robots.txt-t a saját oldaladra?
Ha sima HTTP szervered van, ami fájlokat szolgál ki /var/www-ból, akkor csak dobd fel egy sima szöveges fájlként. Mi nginx-et használunk a NameOcean-nél, és így tálaljuk ki:
server {
listen 443 ssl;
server_name nameocean.net;
location = /robots.txt {
add_header Content-Type text/plain;
return 200 "User-agent: *\nDisallow: /recaptcha\nDisallow: /tag/\nSitemap: https://nameocean.net/sitemap.xml\n";
}
# ... többi szabály
}
Ha mindent megengednél a robotoknak:
User-agent: * Disallow: