Robots.txt - файл является документом, имеющим формат .txt. В этом документе представлена инструкция касаемо индексации определенного сайта для поисковых ботов. Данный документ указывает всем поисковикам на то, какие страницы веб-ресурса нуждаются в индексации, а каким это не нужно.
