0. При проверке сайта программой Xenu’s link sleuth некоторые ссылки дают ошибку forbidden request. При этом если попробовать открыть такую ссылку в Броузере, то никакой ошибки не возникает:
![]() |
| Ошибка forbidden request |
1. В моем случае такие ошибки были связаны с сайтом Google. Возможная причина объясняется в ФАК сайта Xenu’s link sleuth. Вкратце – не нравится некоторым сайтам User Agent Xenu Читать

