In robots.txt-bestân dat bewarre is yn 'e root fan jo webside, sil webrobôtes as sykmasjine spiders sizze wat triemtafels en triemmen se tagelyk krije. It is maklik om in robots.txt-bestân te brûken, mar der binne wat dingen dy't jo ûnthâlde moatte:
- Swarte hat web-roboten jo robots.txt-bestân ignorearje. De meast foarkommende types binne malware bots en robots dy't sykje foar e-mailadressen nei rispinge.
- Guon nije programmers skriuwe robots dy't de robots.txt-bestân ignorje. Dit wurdt normaal dien troch gefolch.
- Eltsenien kin jo robots.txt bestân sjen. Se wurde altyd neamd robots.txt en wurde altyd opslein by de webside fan 'e webside.
- As lêste, as immen keppele is oan in triem of triemtafel dat útsletten wurdt troch jo robots.txt-bestân fan in side dy't net troch de robots.txt-triem útsletten is, kinne de sykmasjines it dochs fine.
Brûk robots.txt triemmen net om it wichtich te ferbergjen. Ynstee dêrfan moatte jo wichtige ynformaasje efter secure secure passwords sette of it net folslein útbliuwe fan it web.
Hoe brûke dizze sampleproblemen
Kopiearje de tekst út 'e ôfbylding dy't it tichtst is foar wat jo wolle, en pleatst it yn jo robots.txt triem. Feroarje de robot, triemtafel en triemnammen om jo foarkommende konfiguraasje te passen.
Twa Basic Robots.txt-bestannen
Brûker-agent: *
Disallow: /
Dizze triem fertelt dat elke robot (brûker-agent: *) dy tagong hat, alle side op 'e side bewarje (Disallow: /).
Brûker-agent: *
Ferklearje:
Dizze triem fertelt dat elke robot (brûker-agent: *) dy't tagong hat dy is elke side op 'e side te besjen (Disallow:).
Jo kinne dit ek dwaan troch jo robots.txt-bestân leech te litten of net ien op jo side te hawwen.
Beskermearje spesifike mappen fan robots
Brûker-agent: *
Disallow: / cgi-bin /
Disallow: / temp /
Dizze triem fertelt dat elke robot (brûker-agent: *) dy tagong hat, de mappen / cgi-bin / en / temp / (ûntbrekke: / cgi-bin / Disallow: / temp /) te foarkommen.
Spesjale siden beskermje fan robots
Brûker-agent: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Dizze triem fertelt dat elke robot (brûker-agent: *) dy tagong hat, de bestannen /jenns-stuff.htm en /private.php ignorearje (Disallow: /jenns-stuff.htm Disallow: /private.php).
Foardat in spesifyk robot fan jo tagong te krijen
User-agent: Lycos / xx
Disallow: /
Dizze triem fertelt dat de Lycos bot (brûker-agint: Lycos / xx) tagelyk tagonklik tagong is op 'e side (Disallow: /).
Allinne ien spesifike robot tagong tastean
Brûker-agent: *
Disallow: /
User-agent: Googlebot
Ferklearje:
Dizze triem ferlit allinich robots lykas wy hjirboppe dien hawwe, en litte jo de Googlebot (brûker-agint: Googlebot) tagong hawwe ta tagong ta alles (ferbrekken:).
Kombinearje Multiple Lines om krekt de útsluten te meitsjen dy't jo winskje
Wylst it is better om in tige ynklusive brûker-rigel te brûken, lykas User-agent: *, kinne jo as spesifike as jo wolle. Tink derom dat robots de bestân lêze yn bestelling. Dus as de earste linen sizze dat alle robots binne fan alles blokkearre, en dan letter yn 'e bestân sizze dat alle robots tagong krije ta alles, de robots sille tagong krije ta alles.
As jo net wis binne oft jo jo robots.txt-bestân korrekt skreaun hawwe, kinne jo Google's Webmaster-ark brûke om jo robots.txt-bestân te kontrolearjen of in nij te skriuwen.