0. При проверке сайта программой Xenu’s link sleuth некоторые ссылки дают ошибку forbidden request. При этом если попробовать открыть такую ссылку в Броузере, то никакой ошибки не возникает:

Ошибка forbidden request

1. В моем случае такие ошибки были связаны с сайтом Google. Возможная причина объясняется в ФАК сайта Xenu’s link sleuth. Вкратце – не нравится некоторым сайтам User Agent Xenu Читать →