Файл robots.txt для wordpress это свод правил по которым поисковики должны индексировать сайт. Управляя файлом robots.txt можно регулировать индексацию страниц сайта, закрывая или открывая поисковикам нужные разделы или страницы сайта. Собрали некоторые рекомендации от ведущих поисковых систем.