По мере роста посещаемости вашего сайта или приложения одного сервера может оказаться недостаточно для эффективной обработки нагрузки. Именно здесь на помощь приходит балансировка нагрузки, и HAProxy является одним из самых мощных и гибких решений для балансировки нагрузки.
Читать
Короче: прокси-сервер — это посредник между вами и интернетом. Вы подключаетесь к прокси, прокси подключается к сайту, сайт видит IP прокси вместо вашего. Есть три основных типа: HTTP (только веб-трафик), SOCKS4 (любой TCP, без авторизации) и SOCKS5 (любой трафик, с авторизацией и UDP). SOCKS5 — самый универсальный, HTTP — самый быстрый для браузинга, SOCKS4 — устаревший, но иногда ещё встречается.
Эта шпаргалка — для тех, кто хочет понять разницу между типами прокси, выбрать правильный для парсинга/анонимности/обхода блокировок, настроить прокси в браузере или приложении и наконец перестать путать SOCKS с HTTP. Читать
Протокол передачи гипертекста версии 2 (HTTP / 2) является последней версией протокола HTTP, опубликованной в качестве стандарта IETF в RFC 7540 в 2015 году.
Основное внимание в протоколе уделяется производительности; в частности, задержка у конечного пользователя, использование ресурсов сети и сервера.
Одна из основных целей – разрешить использование одного подключения браузера к веб-сайту. Читать
Caddy лёгкий и быстрый веб-сервер написанный на языке Go и из коробки рассчитан на работу с HTTPS и имеет интеграцию с Let’s Encrypt который может автоматически получать и обновлять сертификаты SSL/TLS а также поддержку HTTP/2 и HTTP/3 протоколов. Он может работать как статический файловый сервер, обратный прокси-сервер или балансировщик нагрузки, что делает его универсальным инструментом для современных веб-приложений, контейнерных сред (Docker) и микросервисов. Caddy веб-сервер нового поколения, который экономит время и снижает количество ошибок за счёт автоматизации.
Сегодня познакомимся с любопытным на мой взгляд веб сервером — Caddy. Расскажу как установить Caddy server. Раньше вообще о нем не слышал. Читать
Парсинг (веб-скрапинг) — это процесс автоматизированного извлечения структурированных данных с веб-страниц. Python предоставляет богатый набор инструментов для этой задачи. Основные области применения:
Репутация IP основана на черных списках и списках спама в сочетании с публичными данными о владении.
Эти данные, как правило, должны быть чистыми, если ваша компания не занимается спамом и может быстро обнаружить и остановить заражение вредоносным ПО.
Поэтому для большинства компаний их рейтинг в значительной степени определяется тем, какие заголовки безопасности установлены на веб-сайтах, предназначенных для общего пользования.
Установка правильных заголовков может быть выполнена быстро (обычно без значительного тестирования), может повысить безопасность веб-сайта и теперь может помочь вам заключать сделки с клиентами, заботящимися о безопасности. Читать