Прокси

Прокси для Screaming Frog: статичные IPv4/резидентские и быстрая настройка

Screaming Frog SEO Spider поддерживает работу через HTTP(S)-прокси. Для стабильного краулинга и рендеринга JS берите статичные IP с близким GEO. SOCKS5 используйте только через мост/системный клиент (например, Proxifier) — сам SF работает по HTTP(S).

Что выбрать под Screaming Frog

IPv4 — максимальная совместимость с сайтами/CDN и антибот-фильтрами.
IPv6 — вторично (если цели поддерживают), для фоновых задач.
Резидентные — «домашний» профиль для чувствительных сайтов и геозависимых разделов.
Мобильные прокси — точечно, когда резидентских недостаточно; пинг/стоимость выше.
Shared — только лёгкий безлогинный краул; проекты и кабинеты — на приватных статичных IP.
GEO: выбирайте рядом с целевым сайтом/CDN: EU — DE/NL/PL/FR/GB; US — VA/NY/IL/TX/CA; APAC — SG/JP.

Где купить прокси для Screaming Frog

Нужны провайдеры со статичными IPv4/IPv6, поддержкой HTTPS/CONNECT, авторизацией по логину/паролю или whitelist-IP, точными городами и, желательно, API.

1 место: Proxys.io — статики по городам + API

В одном кабинете DC, резидентские и мобильные IP. Удобно выделять «SF-Crawl», «SF-JS-Render», «SEO-Maps» и держать резерв того же города/ASN.

Плюсы: HTTPS/CONNECT, десятки GEO, быстрый выпуск, API.
Минусы: резидентские/мобильные дороже DC — берите точечно под капризные домены.

Перейти на Proxys.io

ProxyLine — низкая задержка для больших краулов

Статичные IPv4/IPv6 (HTTPS/HTTP). Подходят для длительных обходов и аудитов со строгими лимитами.

Плюсы: ровные подсети EU/US, простой кабинет.
Минусы: для жёсткой локалки иногда нужен резидентский IP города.

Перейти на proxyl.net

Proxy-Store — раздельные пулы под задачи

Статик — на проекты/кабинеты; ротируемые пулы — только для безлогинного парсинга вспомогательных страниц.

Перейти на Proxy-Store

MobileProxy.space — мобильный «домашний» профиль

SIM-устройства (статик/ротация) по городам и операторам — точечно для особо чувствительных целей.

Перейти на MobileProxy.space

Proxy-Solutions — прицельные города и SLA

Когда критичны конкретные дата-центры/узлы CDN и нужен аптайм под длинные обходы.

Перейти на Proxy-Solutions

Где ещё можно купить

PX6 (PROXY6) — бюджетные DC/IPv6 для тестов и лёгкого фона.
Proxymania — резервные статики по странам/городам.
ShopProxy — маркетплейс с фильтрами по протоколам/GEO.

Настройка прокси в Screaming Frog (коротко и по делу)

Включите прокси. Configuration → System → Proxy → галочка «Use Proxy Server». Заполните Host, Port, включите Authentication и задайте логин/пароль.
Проверьте сеть. Откройте любой маленький сайт или внутреннюю страницу клиента — статус-коды должны быть 200/301/302 без таймаутов.
Скорость и потоки. Configuration → Speed → для одного домена начните с Max Threads: 5–10, URL/s: 2–5. При JS-рендеринге снизьте в 1.5–2 раза.
Рендеринг JS. Configuration → Spider → Rendering (Chrome). При включении рендеринга увеличьте таймауты и уменьшите потоки.
Robots/этика. Уважайте robots.txt, ставьте паузы/бэк-офф; не меняйте IP в активном обходе.

Ротация и цепочки

Ротация на стороне провайдера: подключайте «шлюз» с авто-ротацией (одна точка входа; провайдер меняет IP). Для SF удобно — в настройках остаётся один хост/порт.
SOCKS5/цепочки: если нужен SOCKS5 или цепочка, используйте системный клиент (Proxifier/redsocks/privoxy) и укажите в SF локальный HTTP-порт моста.

Если часть работ в браузере

Для ручной проверки сниппетов, карт и рендера держите пресеты «SF-EU-Static», «SF-US-Static», «SF-Local» в браузере.

Скачать: Mobile Proxy Manager

Антидетект-браузеры (для витрин/кабинетов)

Если вместе с краулом ведёте проверки кабинетов/виджетов, разделяйте профили и закрепляйте за каждым свой статичный IP.

Практические советы

1 статичный IP → 1 проект. Отдельно держите IP на JS-рендер, отдельно — на простые обходы.
Лимиты и таймауты: при 429/5xx снижайте потоки/URL/s, включайте бэк-офф, увеличьте Max Redirects/Timeouts.
Хранилище: для больших сайтов включайте сохранение в .seospider и периодические паузы — прокси будет дышать ровнее.
Shared: не используйте для JS-рендера и тяжёлых обходов.

Чек-лист

Добавлен статичный HTTP(S)-прокси (host/port/user/pass) и проверен на небольшом обходе.
Настроены Speed (5–10 потоков, 2–5 URL/s стартово); при JS-рендере — ниже.
GEO/IP соответствует целевому региону; есть резервный IP того же города/ASN.
Ротация — только через провайдерский шлюз или системный мост; в процессе обхода IP не меняется.

Итоги

Рабочая схема для Screaming Frog: статичный HTTP(S)-прокси ближайшего GEO + аккуратные лимиты потока и, при необходимости, JS-рендер с пониженной скоростью. Так обходы стабильны, а данные — воспроизводимы.