Прокси

Прокси для Crawlee — статичный IPv4 и ротация, примеры на Node.js

Прокси для Crawlee используют для парсинга сайтов в Playwright/Puppeteer/HTTP-режиме, разделения проектов по IP и точной локализации. База: статичный IP — для кабинетов и тестов авторизации; ротируемые пулы — для каталога, поиска и массовых запросов. Правило: 1 статичный IP = 1 проект/роль. Страна/город должны совпадать с рынком данных.

прокси для Crawlee — общая схема статик/ротация

Что выбрать

Типы: Мобильные прокси, IPv4, IPv6, Резидентные, Shared (только для анонимного каталога, не для логинов).
Режимы:
- Статичный резидентский IPv4 — кабинеты, OAuth, IP-allowlist.
- Ротируемые DC/резидентские — листинги/SERP/поиск.
- IPv6 — для большого объёма, если цель поддерживает.
Протокол: для браузеров и HTTP-клиентов — HTTPS-прокси; для проксирования процесса — SOCKS5 через системные переменные или прокси-агент.

ГЕО

Европа: Амстердам (NL), Франкфурт (DE), Лондон (GB), Париж (FR), Варшава (PL).
США/Канада: Нью-Йорк/Нью-Джерси, Вирджиния, Чикаго, Торонто.
APAC: Сингапур, Токио, Сеул, Сидней.

Разносите проекты и страны по разным IP/подсетям. Не меняйте адрес во время авторизации.

прокси для Crawlee — выбор стран и городов

Где купить прокси для Crawlee

1) Proxys.io — DC/резидентские/мобильные, статик и ротация + API

Удобно закрепить статик под проект и собрать ротируемый пул под каталог. Авторизация по паролю/whitelist. Доступны HTTPS и SOCKS5.

Proxys.io — прокси для Crawlee/Playwright/Puppeteer

Плюсы: города по странам, стабильные подсети, быстрая выдача.
Минусы: резидентские/мобильные дороже DC — берите точечно.

Перейти на Proxys.io

2) ProxyLine — статичные IPv4/IPv6 и недорогие пулы

Подходит для постоянных узлов и массовых HTML/JSON-запросов.

Перейти на ProxyLine

3) Proxy-Store — раздельные пулы и статики

Ротация — на листинги; статик — на логины/чувствительные действия. Есть API/авторотация.

Перейти на Proxy-Store

4) MobileProxy.space — мобильные статики/пулы

Точечные кейсы, где полезен мобильный источник IP.

Перейти на MobileProxy.space

5) Proxy-Solutions — точные города и SLA

Когда требуется конкретная локация и стабильная задержка.

Перейти на Proxy-Solutions

Примеры настройки в Crawlee

PlaywrightCrawler — статичный IP

import { PlaywrightCrawler, ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
proxyUrls: ['http://login:pass@IP:PORT'], // статичный IP
});

const crawler = new PlaywrightCrawler({
proxyConfiguration,
useSessionPool: true,
persistCookiesPerSession: true,
maxConcurrency: 5,
requestHandler: async ({ page, request, log }) => {
await page.goto(request.url, { waitUntil: 'domcontentloaded' });
log.info(OK: ${request.url});
},
});

await crawler.run(['https://example.com
']);

PlaywrightCrawler — ротируемый пул

import { PlaywrightCrawler, ProxyConfiguration } from 'crawlee';

const pool = [
'http://u:p@1.2.3.4:3128',
'http://u:p@5.6.7.8:8080',
'http://u:p@9.9.9.9:8000',
];

const proxyConfiguration = new ProxyConfiguration({ proxyUrls: pool });

const crawler = new PlaywrightCrawler({
proxyConfiguration,
useSessionPool: true, // новая сессия — новый IP из пула
sessionPoolOptions: { maxPoolSize: 100 },
maxConcurrency: 10,
navigationTimeoutSecs: 20,
requestHandlerTimeoutSecs: 30,
// при ошибках даём паузу и повтор
failedRequestHandler: async ({ request, log }) => {
log.warning(Retry: ${request.url});
},
});

await crawler.run(['https://example.com/search?q=phones
']);

HttpCrawler/CheerioCrawler — системные переменные

# Linux/macOS export HTTP_PROXY="http://login:pass@IP:PORT" export HTTPS_PROXY="http://login:pass@IP:PORT" node crawl.js

import { HttpCrawler } from 'crawlee'; // или CheerioCrawler

const crawler = new HttpCrawler({
maxConcurrency: 20,
requestHandler: async ({ request, response, body, log }) => {
log.info(${response.status()} ${request.url});
},
});
await crawler.run(['https://example.com/api/items
']);

Разные страны через отдельные кластеры

const eu = new ProxyConfiguration({ proxyUrls: ['http://u:p@EU_IP:PORT'] }); const us = new ProxyConfiguration({ proxyUrls: ['http://u:p@US_IP:PORT'] }); // Запускайте два краулера в параллель, разделив очереди по GEO.

Переключатель пресетов (ручные проверки перед запуском)

Профили: «Crawlee-Static (DE)», «Crawlee-Rotate (NL)», «Crawlee-Resident (UK)». Формат — login:password@ip:port (HTTP) или socks5://…. Быстро проверить страну IP/язык страницы, а затем запускать краулер.

расширение для быстрых пресетов прокси перед запуском Crawlee

Скачать: Mobile Proxy Manager

Антидетект (по желанию для ручных задач)

Dolphin Anty — задайте прокси в профиле, таймзона/локаль/WebRTC «по IP», разные роли.
Indigo Browser — New Profile → Proxy → Check; язык/валюта под страну IP.
Incogniton — отдельные профили под страны/проекты, куки храните раздельно.

Практические правила

Разделяйте: статик — логины/кабинеты; ротация — каталоги и поиск.
Сессии: включайте useSessionPool, держите куки по сессиям; не меняйте IP в активной сессии авторизации.
Лимиты: очереди, паузы, ограничение потоков; хэндлы ошибок с повтором.
Заголовки: корректный User-Agent, Accept-Language по стране.
DNS: системный или защищённый в той же стране, что и прокси.
Безопасность: пароль/whitelist на прокси; логи подключений храните 30–90 дней.

Где ещё можно купить

PX6 (PROXY6) — бюджетные DC/IPv6 для объёмных задач и тестов.
Proxymania — резервные пулы по странам.
ShopProxy — маркетплейс с фильтрами по протоколам и GEO.

Итоги

Прокси для Crawlee — это связка: статичный резидентский IPv4 для авторизаций и ротируемые пулы для каталога. Настройте ProxyConfiguration, сессии и лимиты, подберите верные страны — так краулеры работают стабильно и предсказуемо.