Здравейте.Може ли някой съвсем накратно да ми обясни някои неща за robots.txt файла,а именно:
- Как точно се използва?Имам предвид,дали трябва да се пишат директориите,които позволявам да се индексират и тези които не позволявам?
- За какво служат index / follow - noindex / nofollow в мета тага robots?
- Ако напиша следното нещо:
User-agent: *Allow: http://www.sitename.com/sitemap.xml
и в случая sitemap.xml ми е sitemap-а на сайта,какво ще означава това,че позволявам да се индексират само страниците зададени в sitemap-а или?
- Как точно се използва?Имам предвид,дали трябва да се пишат директориите,които позволявам да се индексират и тези които не позволявам?
- За какво служат index / follow - noindex / nofollow в мета тага robots?
- Ако напиша следното нещо:
User-agent: *Allow: http://www.sitename.com/sitemap.xml
и в случая sitemap.xml ми е sitemap-а на сайта,какво ще означава това,че позволявам да се индексират само страниците зададени в sitemap-а или?