0. При проверке сайта программой Xenu’s link sleuth некоторые ссылки дают ошибку forbidden request. При этом если попробовать открыть такую ссылку в Броузере, то никакой ошибки не возникает:

Ошибка forbidden request

1. В моем случае такие ошибки были связаны с сайтом Google. Возможная причина объясняется в ФАК сайта Xenu’s link sleuth. Вкратце – не нравится некоторым сайтам User Agent Xenu

2 Сделанный автоматическим переводчиком перевод пукта ФАК  говорит следующее:

20. То, почему некоторые ссылки, сообщают, как «сломано» Xenu, который может быть показан в пределах моего браузера?

Некоторые серверы читают «User Agent», т.е. название программного обеспечения, которое пытается получить доступ к веб-сайту. Некоторые веб-сайты позволяют только браузеры, некоторые даже только Microsoft Internet Explorer, и отказываются от всего остального. Некоторые могут даже определенно отказаться от Xenu из-за прошлого неправильного употребления. У Andi есть список веб-сайтов, которые лишают доступа к Xenu. У Тома Бутелла есть расширенное объяснение того, как Википедия лишает доступа. Конфигурируемый пользователем «User Agent» было бы решением, но это сделает злоупотребление возможным.

3. Нашел в интернете исполняемый файл Xenu’s link sleuth с другим User Agent . Побитовое сравнение говорит, что изменения касаются только User Agenta. С этим файлом у меня ошибки forbidden request исчезли. Скачать можно здесь:  Xenu1.exe Поместить в директорию Xenu и выполнить. Результат выполнения – ошибки forbidden request исчезли:

Ошибки forbidden request исчезли