Configurarea fișierului Robots.txt

Motoarele de căutare citesc un fișier http://site.com/robots.txt pentru a lua informații în legatură cu ce să caute și ce să nu , și mai ales unde.
Specificând locul unde motoarele de căutare găsesc conținut de calitate în site-ul vostru vă puteți creste valoarea site-ului , și este recomandat de Google și de restul motoarelor de căutare.Acest fisier are o sintaxa speciala continand inregistrari. Fiecare inregistrare are 2 campuri de forma: Field : value.
Prima linie mentioneaza User-agent iar alta linie sau mai multe Disallow.

User-agent este numele robotului. De exemplu:
User-agent: GoogleBot
Pentru a specifica toti robotii se poate folosi caracterul *.

User-agent: *
Disallow exclude de la cautare fisiere sau directoare. De exemplu este exclus de la cautare fisierul proba.html:

Disallow: proba.html
Pot fi excluse de la cautare si directoare. De exemplu directorul test aflat in radacina domeniului:

Disallow: /test/
Daca Disallow nu are nici o metiune inseamna ca nu sunt fisiere sau directoare excluse de la cautare.
Fiecare User-agent are cel putin o linie Disallow.
Un fisier robots.txt gol este echivalent cu lipsa acestuia.

Si acum sa va dau cateva exemple concrete :

• Este permis accesul oricarui robot si nici-un fisier exclus de la cautare :

User-agent: *

Disallow:

• Acces interzis robotilor (sunt excluse toate fisierele) :

User-agent: *
Disallow: /

• Acces interzis unui anume robot :

User-agent: googlebot
Disallow: /

• Pentru un anume robot este exclus de la cautare fisierul test.html

User-agent: googlebot
Disallow: test.html

Un exemplu de fisier robots.txt pentru WordPress ( pentru mai multe detalii click ) :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: https://etutoriale.net/sitemap.xml