Архив рубрики: Публикации

5 ключевых HTTP-заголовков для веб-скрейпинга

Общие и повторяющиеся вопросы в мире веб-скрейпинга — как избежать блокировки целевыми серверами? И как повысить качество получаемых данных?

 

Заголовки HTTP для скрейпинга веб-страниц

  • User-Agent

  • Accept-Language

  • Accept-Encoding

  • Accept

  • Referer

Конечно, есть проверенные ресурсы и методы, такие как использование прокси или ротация IP-адресов, которые помогут вашему веб-скрейпингу избежать блоков.

Однако, другой метод, который иногда упускают из виду, заключается в использовании и оптимизации заголовков HTTP. Эта практика позволит значительно снизить шансы вашего веб-скрейпинга на блокировку различными источниками данных, а также обеспечит высокое качество получаемых данных.

В этой статье мы расскажем о 5 наиболее важных HTTP-заголовках, которые необходимо использовать и оптимизировать, и предоставим вам обоснование этого.

Заголовки HTTP позволяют клиенту и серверу передавать дополнительную информацию в запросе или ответе.

 

1. User-Agent

Заголовок запроса User-Agent передает информацию, связанную с идентификацией типа приложения, операционной системы, программного обеспечения и его версии, и позволяет целевому объекту данных решить, какой тип HTML-макета использовать в ответе, например, мобильный телефон, планшет или ПК.




User-AgentMozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5)

AppleWebKit/605.1.15 (KHTML, like Gecko)

Version/12.1.1 Safari/605.1.15

 

Поэтому, когда дело доходит до заголовка запроса User-Agent, не забывайте часто изменять информацию, содержащуюся в этом заголовке, что позволит существенно уменьшить ваши шансы получить блокировку. Аутентификация заголовка запроса User-Agent является обычной практикой веб-серверов, и это первая проверка, которая позволяет источникам данных идентифицировать подозрительные запросы. Например, когда выполняется очистка веб-страниц, многочисленные запросы отправляются на веб-сервер, и если заголовки запросов User-Agent идентичны, это может показаться как бот-подобная активность. Следовательно, опытные пользователи, занимающиеся очисткой веб-страниц, будут манипулировать и различать строки заголовков User-Agent, что, следовательно, позволяет отображать сеансы нескольких обычных пользователей.

2. Accept-Language

Заголовок запроса Accept-Language передает информацию, указывающую веб-серверу, какие языки понимает клиент, и какой конкретный язык предпочтителен, когда веб-сервер отправляет ответ обратно.




Accept-Languageen-gb

 

Тем не менее, ключ с заголовком запроса Accept-Language является релевантным. Важно убедиться, что установленные языки соответствуют целевому домену данных и IP-адресу клиента. Просто потому, что, если запросы от одного и того же клиента будут появляться на нескольких языках, это вызовет подозрения у веб-сервера в поведении, подобном ботам (неорганический подход к запросу), и, следовательно, они могут заблокировать процесс очистки веб-страниц. Стоит отметить, что этот конкретный заголовок обычно вступает в игру, когда веб-серверы не могут определить предпочтительный язык, например, через URL.

3. Accept-Encoding

Заголовок запроса Accept-Encoding уведомляет веб-сервер, какой алгоритм сжатия использовать при обработке запроса. Другими словами, в нем говорится, что требуемая информация может быть сжата (если веб-сервер может ее обработать) при отправке с веб-сервера клиенту.




Accept-Encodingbr, gzip, deflate

 

Однако при оптимизации это позволяет экономить объем трафика, что является беспроигрышной ситуацией как для клиента, так и для веб-сервера с точки зрения загрузки трафика. Клиент по-прежнему получает необходимую информацию (только сжатую), а веб-сервер не тратит свои ресурсы, передавая огромную нагрузку трафика.

 

4. Accept

Заголовок запроса Accept относится к категории согласования контента, и его целью является уведомление веб-сервера о том, какой тип данных может быть возвращен клиенту.




Accepttest/html,application/xhtml+xml,application/x

ml;q=0.9,*/*;q=0.8

 

Это так просто, как кажется, но распространенный сбой с очисткой веб-страниц игнорирует или забывает настроить заголовок запроса в соответствии с принятым форматом веб-сервера. Если заголовок запроса «Accept» настроен надлежащим образом, это приведет к более органичному взаимодействию между клиентом и сервером и, следовательно, уменьшит шансы блокировки веб-скрейпинга.

 

5. Referer

Заголовок запроса Referer содержит адрес предыдущей веб-страницы перед отправкой запроса на веб-сервер.




Refererhttp://www.google.com/

 

Не забывайте всегда настраивать заголовок запроса Referer и повышайте свои шансы на проскальзывание в соответствии с мерами защиты от скрейпинга, реализованными веб-серверами.Может показаться, что заголовок запроса Referer очень мало влияет на блокировку процесса очистки, хотя на самом деле это действительно так. Подумайте о моделях использования Интернета случайным органическим пользователем. Этот пользователь, скорее всего, путешествует по мощному интернету и теряет часы в течение дня. Следовательно, если вы хотите изобразить трафик веб-скрейпинга, чтобы он казался более естественным, просто укажите случайный веб-сайт перед началом сеанса скрейпинга веб-страниц.

 

Завершение

Теперь вы знаете, какие HTTP-заголовки для веб-скрейпинга нужно настроить, и это позволит увеличить шансы вашего веб-скребка на успешную и эффективную операцию извлечения данных.

Можно с уверенностью сказать, что чем больше вы знаете о технической стороне веб-скребка, тем более плодотворными будут ваши результаты. Используйте эти знания с умом, и, безусловно, ваш веб-скребок будет работать более эффективно и результативно.



2020-05-10T12:13:01
Сети

Nginx открывает пустые страницы PHP с FastCGI или PHP-FPM

Перед применением этого исправления вы должны проверить свой доступ и журналы ошибок Nginx. Если вы не получили никакой ошибки в журнале ошибок и получите статус HTTP 200/OK в журнале доступа. Но, тем не менее, вы получите пустые страницы на всех страницах PHP, тогда это исправление решит вашу проблему.

Шаг 1: Конфигурация блока местоположения для всех файлов PHP

Ниже приведен блок местоположения, который мы использовали для блогов WordPress.

location ~ .php$ {

        try_files $uri /index.php =404;

        fastcgi_pass unix:/run/php/php7.3-fpm.sock;

        fastcgi_index index.php;

        include fastcgi_params;

}

Здесь мы включаем fastcgi_params из ngx_http_fastcgi_module из Nginx. Но забыли добавить следующую строку в нужный файл.

 

Шаг 2: Добавьте fastcgi_param в файл конфигурации

Нам просто нужно открыть файл /etc/nginx/fastcgi_params и добавить строку ниже в конце файла.

fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;

 

ИЛИ вы можете напрямую пропустить эту строку с помощью приведенной ниже команды.

echo "fastcgi_param SCRIPT_FILENAME $realpath_root$fastcgi_script_name;" >> /etc/nginx/fastcgi_params

 

Теперь перезапустите службу PHP-FPM и службу Nginx, используя приведенные ниже команды.

systemctl restart php7.3-fpm

systemctl restart nginx

 

Примечание

Если у вас другая версия PHP-FPM, вы должны использовать ее вместо 7.3

Как указано в Nginx Docs, параметр должен быть передан на сервер FastCGI. После применения этого исправления ваши PHP-страницы должны работать. Если нет, то у вас, вероятно, была другая проблема. Вы можете написать в комментарии, как вы решили эту проблему.



2020-05-08T11:50:21
Nginx

Как установить и настроить XAMPP в Windows 10

XAMPP — это бесплатный инструмент с открытым исходным кодом, который в основном используется для создания локальной копии сайта на вашем компьютере в целях тестирования. Это легкое и кроссплатформенное приложение, которое упрощает веб-разработчикам тестирование его плагинов, тем и прочего. Xampp поставляется с Apache и MySQL, которые являются двумя основными компонентами для его установки. Apache используется для создания локального сервера, в то время как вы можете использовать MySQL для управления или сохранения данных на локальном сервере для веб-сайта.

Этот сервер используется для тестирования страниц PHP. Он позволяет вам создать локальный веб-сервер, где вы можете протестировать любые плагины, темы и другие вещи, прежде чем применять их на живом сайте WordPress. Таким образом, вы можете защитить свой сайт WordPress от возможных ошибок. Итак, давайте начнем и узнаем, как правильно установить и настроить XAMPP в Windows 10.

Как установить XAMPP на Windows 10

Откройте веб-браузер и перейдите на страницу загрузок Apache Friends. На следующей странице загрузите соответствующую версию для вашего ПК с Windows 10.

После загрузки перейдите в папку загрузки Проводника и запустите установщик XAMPP.

Если на экране появится окно «Контроль учетных записей», нажмите кнопку «Да», чтобы дать свое согласие.

Во время этого может появиться предупреждающее сообщение. Когда вы нажимаете кнопку «ОК», на экране открывается мастер установки XAMPP. Затем нажмите кнопку «Далее», чтобы продолжить.

На следующем экране есть множество компонентов, которые необходимо выбрать для процесса установки.

Поскольку эти параметры необходимы для запуска программного обеспечения, оставьте его как есть и нажмите кнопку «Далее».

Затем выберите папку, в которую вы хотите установить файлы XAMPP.

Кстати, мы рекомендуем вам использовать установленное местоположение по умолчанию. А затем нажмите кнопку «Далее».

Поскольку панель управления XAMPP для Windows поддерживает разные языки, выберите нужный язык и нажмите «Далее».

На странице Bitnami for XAMPP просто нажмите кнопку «Далее». Если вы хотите узнать о Bitnami, установите флажок рядом с пунктом Узнать больше о Bitnami для XAMPP.

Теперь установка готова к запуску процесса установки на вашем устройстве, поэтому снова нажмите кнопку «Далее», чтобы продолжить.

Здесь вам может понадобиться немного подождать, пока он не завершит установку.

После правильной установки вам будет предложено окно с вопросом «Хотите ли вы запустить панель управления сейчас?».

Установите флажок и нажмите кнопку Готово.

Как настроить XAMPP в Windows 10

Для настройки XAMPP в Windows 10 может потребоваться запустить приложение XAMPP от имени администратора.

Итак, нажмите на кнопку «Пуск» и введите XAMPP.

При этом «Панель управления XAMPP» начинает появляться в лучшем совпадении. Теперь щелкните по нему правой кнопкой мыши и выберите «Запуск от имени администратора». Если UAC запрашивает разрешение, нажмите кнопку «Да».

Когда откроется панель управления XAMPP, вы увидите список веб-сервисов в разделе «Модуль».

Здесь сначала необходимо активировать службы Apache и MySQL , нажав соответствующую кнопку «Пуск», которая доступна в разделе «Действия».

Здесь сначала необходимо активировать службы Apache и MySQL, нажав соответствующую кнопку «Пуск», которая доступна в столбце «Действия».

Как только вы нажмете кнопку «Пуск», PID и номер порта соответствующих служб станут видны. Кроме того, соответствующие сервисы в разделе модуля становятся зелеными.

Кроме того, вы также можете запустить другие службы, если они вам нужны.

Чтобы получить доступ к панели администрирования для каждой отдельной службы, нажмите соответствующую кнопку администратора.

В правом конце страницы вы увидите список параметров, таких как Config, Netstat, Shell и другие. Эти параметры помогут вам настроить различные аспекты панели управления XAMPP.

Нажмите на кнопку «Config», чтобы открыть окно конфигурации панели управления.

Установите флажок Модули, которые вы хотите запускать автоматически при запуске приложения. Затем нажмите кнопку Сохранить, чтобы сохранить изменения.

Рядом с кнопкой Config вы найдете кнопку Netstat. Нажав на эту кнопку, вы получите список служб, которые в данный момент получают доступ к сети.

Он состоит из имени исполняемого файла, информации об идентификаторе процесса, номера порта и соответствующего TCP/IP-адреса.

Панель управления XAMPP также предлагает вам раздел журнала каждой конкретной услуги. Это первый сервис, который вы выбираете, чтобы проверить, когда что-то не так, и функция не работает должным образом.

Вот и все. Надеюсь, что после прочтения этого руководства вам стало довольно легко установить и настроить XAMPP на Windows 10.

https://www.youtube.com/watch?v=8NKhC-7x8bM



2020-05-08T09:36:40
Вопросы читателей

Как разблокировать и включить Flash в Microsoft Edge из Windows 10

Adobe, компания, которая создала Flash, объявила об окончании срока службы этой технологии на 2020 год. Хотя Microsoft предлагает поддержку Adobe Flash Player в Windows 10, она также ограничивает ее использование в Microsoft Edge. Вы все еще можете заставить работать Flash-контент, но для этого требуется множество неудобных действий. Прочтите это руководство, чтобы узнать, как включить Flash в Edge как во встроенной версии для Windows 10, так и в новой Microsoft Edge на основе Chromium.

ПРИМЕЧАНИЕ. В этом руководстве мы рассмотрим, как разблокировать Flash в старой версии Microsoft Edge, которая по-прежнему является веб-браузером по умолчанию в Windows 10, а также в новом браузере Microsoft Edge на основе Chromium . Мы выделили заголовки каждого из разделов этого руководства, в зависимости от того, к какому браузеру Edge он применяется, поэтому вы можете перейти к тому, который вас интересует.

Что происходит с Adobe Flash?

В 2017 году Adobe объявила, что собирается прекратить поддержку Flash к концу 2020 года. Flash — это технология, которая вывела интерактивность и воспроизведение мультимедиа на новый уровень в Интернете. Недостатком Flash является то, что он принес проблемы с безопасностью, и он не был оптимизирован для мобильного интернета. Веб-разработчики перешли на открытые стандарты, которых не было на момент запуска Flash. Технологии HTML5, WebGL и WebAssembly взяли на себя разработку интерактивного контента в Интернете.

До тех пор, пока Flash не будет полностью прекращен, в Интернете все еще есть довольно много веб-сайтов и большое количество контента, которые все еще полагаются на него. Microsoft включила поддержку Adobe Flash Player, чтобы при ее использовании в Microsoft Edge можно было разрешить запуск содержимого Flash. Учитывая многочисленные проблемы с безопасностью, присущие Adobe Flash, требуется, чтобы вы одобряли загрузку и запуск содержимого Flash при каждом посещении веб-страницы, использующей Flash.

Однако примите во внимание, что Microsoft также объявила, что к концу 2020 года они «откажутся от возможности запуска Adobe Flash в Microsoft Edge и Internet Explorer во всех поддерживаемых версиях Microsoft Windows. У пользователей больше не будет возможности включать или запускать Flash. «Таким образом, имейте в виду, что инструкции в этом руководстве действительны только до тех пор, пока Microsoft не решит окончательно положить конец Adobe Flash Player в Windows 10.

Что происходит при открытии сайтов с Flash-содержимым в Microsoft Edge (старом и новом)

Независимо от того, используете ли вы браузер Edge по умолчанию из Windows 10 или новый Microsoft Edge (на основе того же механизма рендеринга, что и Google Chrome), при доступе к веб-сайту, содержащему Flash-содержимое, ничего не отображается . В других случаях вы можете наткнуться на различные сообщения, связанные с Flash. Например, некоторые говорят, что вы должны либо установить Adobe Flash Player, либо включить его , как на скриншоте ниже:

Помните, что некоторые сайты могут лгать вам и убедить вас загрузить поддельный Flash Player, который является замаскированным вредоносным ПО. Adobe Flash по умолчанию доступен в Microsoft Edge. Для его работы не требуется устанавливать дополнительное программное обеспечение.

Как включить и разблокировать Flash в браузере Edge в Windows 10

В Windows 10 Microsoft Edge Adobe Flash Player (по-прежнему) включен по умолчанию. Однако, несмотря на это, вы все равно можете столкнуться с проблемой, что Flash-контент не загружается автоматически. Единственным признаком того, что у вас есть Flash-контент, является значок головоломки, отображаемый в правой части адресной строки.

Этот значок отображается в Edge только в том случае, если содержимое Adobe Flash заблокировано, и для его запуска требуется ваше разрешение. Нажмите или коснитесь этого значка, и появится приглашение «Содержимое Adobe Flash было заблокировано», которое дает вам возможность включить Flash в Microsoft Edge. Нажмите «Разрешить один раз» для загрузки и запуска.

Теперь вы можете пользоваться контентом Adobe Flash для страницы, которую вы посещаете.

Однако, если вы по-прежнему не видите флэш-контент в Microsoft Edge в Windows 10 и у вас не появляется значок головоломки, подобный описанному ранее, возможно, Adobe Flash Player отключен.

Чтобы включить его, сначала нажмите или коснитесь кнопки «Настройки и другое» , представленной тремя точками, которая находится в правом верхнем углу окна браузера. Затем в открывшемся меню перейдите в « Настройки».

Выберите «Дополнительно» в столбце слева, как показано ниже.

В списке расширенных настроек включите переключатель «Использовать Adobe Flash Player».

Включение использования Adobe Flash Player в Windows 10 Microsoft Edge — это решение, которое может решить большинство ваших проблем для большинства веб-страниц с Flash-контентом, так что попробуйте. После этого вы должны увидеть значок головоломки, который позволяет запускать Adobe Flash Player на каждом веб-сайте, на котором есть Flash-контент.

Как включить и разблокировать Flash в новом Microsoft Edge

В новом Microsoft Edge все содержимое Adobe Flash Player отключено по умолчанию , без вопросов. Это означает, что посещение веб-сайтов с Flash-содержимым еще более сбивает с толку, поскольку новый Edge даже не говорит вам, что вам нужен Flash для их правильной загрузки.

Чтобы дать вам пример, мы посетили сайт с Flash-контентом. Как вы можете видеть ниже, когда мы пытались открыть его, все, что он показывал, было просто черной страницей и без указания какого-либо содержимого Flash.

Как можно разблокировать Adobe Flash Player в новом Microsoft Edge? Ответ не из приятных для многих. Сначала необходимо включить Flash, а затем одобрить загрузку и запуск объектов Flash на каждом веб-сайте, который вы посещаете, каждый раз, когда вы посещаете его. Вот как это сделать.

Нажмите на кнопку «Настройки и многое другое». Это похоже на три точки подвеса, и вы можете найти их в правом верхнем углу окна. Кроме того, вы можете использовать сочетание клавиш Alt + F.

В меню нажмите на настройки.

На странице «Параметры» перейдите в раздел «Права доступа к сайту» на левой боковой панели и щелкните или нажмите на Adobe Flash на панели справа.

В разделе «Права доступа к сайту/Adobe Flash» включите переключатель «Спросить перед запуском Flash (рекомендуется отключить)».

ПРИМЕЧАНИЕ. На предыдущем снимке экрана вы могли заметить два списка « Блокировать и разрешить», которые по умолчанию показывают «Сайты недоступны». Это потому, что списки не доступны для редактирования, как вы можете подумать. Они заполняются после того, как вы посещаете веб-сайты, использующие Flash-контент, и вы разрешаете или блокируете его запуск.

После включения Adobe Flash Player в новой версии Microsoft Edge необходимо вручную разрешить каждому веб-сайту, на котором вы находитесь, запускать Flash-контент. Хотя браузер должен спрашивать вас об этом, когда вы посещаете веб-сайт с Flash-контентом, по нашему опыту, это не так. Единственное, что мы увидели, когда пытались загрузить веб-сайты с Flash-содержимым, было сообщение о том, что «Flash Player больше не будет поддерживаться после декабря 2020 года» и возможность отключить сообщение, как на скриншоте ниже.

ПРИМЕЧАНИЕ. На предыдущем снимке экрана вы могли заметить два списка «Блокировать и разрешить», которые по умолчанию показывают «Сайты недоступны». Это потому, что списки не доступны для редактирования, как вы можете подумать. Они заполняются после того, как вы посещаете веб-сайты, использующие Flash-контент, и вы разрешаете или блокируете его запуск.

После включения Adobe Flash Player в новой версии Microsoft Edge необходимо вручную разрешить каждому веб-сайту, на котором вы находитесь, запускать Flash-контент. Хотя браузер должен спрашивать вас об этом, когда вы посещаете веб-сайт с Flash-контентом, по нашему опыту, это не так. Единственное, что мы увидели, когда пытались загрузить веб-сайты с Flash-содержимым, было сообщение о том, что «Flash Player больше не будет поддерживаться после декабря 2020 года» и возможность отключить сообщение, как на скриншоте ниже.

В появившемся всплывающем окне найдите раздел «Flash» и нажмите «Спросить (по умолчанию)».

В списке параметров выберите «Разрешить», а затем закройте всплывающее окно.

В новом Microsoft Edge теперь должно появиться новое сообщение о том, что «Чтобы увидеть обновления настроек, [вы должны] обновить страницу». Нажмите или коснитесь кнопки «Обновить» справа или нажмите обычную кнопку «Обновить» на панели инструментов браузера.

Затем, наконец, New Microsoft Edge разблокирует Flash-контент, и веб-сайт должен начать показывать все, что он хотел.

Не забывайте, что вы должны следовать инструкциям этого раздела для каждого веб-сайта, на котором есть содержимое Adobe Flash Player, каждый раз, когда вы посещаете его. Это очень раздражает. Мы знаем!

Удалось ли вам разблокировать Adobe Flash Player в Microsoft Edge?

Теперь вы знаете, как использовать браузер Edge по умолчанию из Windows 10 и новый Microsoft Edge для разблокировки Adobe Flash Player. Прежде чем закрыть это руководство, поделитесь с нами своим мнением. Как вы думаете, эти веб-браузеры отлично справляются с управлением Flash-контентом? Насколько досадным становится запуск содержимого Adobe Flash Player? Оставьте комментарий ниже и давайте обсудим.

https://www.youtube.com/watch?v=S1A1jpuepXM



2020-05-08T09:27:55
Вопросы читателей

Binance биржа — вся правда и реальные отзывы



























5/5 — (1 голос)

Познакомьтесь с криптовалютной биржей Binance, появившейся только в 2017 г, но за этот промежуток времени успешно вышла на первые роли в своем сегменте рынка. Binance официальный сайт – binance.com.

Значительная часть пользователей сети Интернет, особенно представители молодого поколения, активно интересуются всем, что связано с криптовалютами. Этот интерес время от времени подогревается сенсационным ростом той или иной монеты и информацией о небывалых заработках ее держателей. В такие моменты количество запросов на крипто тематику (Что такое криптовалюты? Как заработать Биткоин и где его хранить? Что такое майнинг?) вырастает в разы, ведь все хотят приобщиться к этой доходной отрасли. Дальше следует волна повышенного спроса на оборудование для майнинга, рост цен на это оборудование, ну и так далее.

Видео: “Как начать торговать новичку на Binance”