# Как я парсю цены конкурентов с 15 сайтов ежедневно ## История: три часа ада каждый день Помню, как сейчас, тот понедельник три года назад. Я проснулся с мыслью: «Надо проверить цены». Простая задача, казалось бы. Открыл Excel-таблицу, где у меня был список из 15 конкурентов. Начал методично кликать по ссылкам: первый сайт, второй, третий… На пятом меня выбило капчей. Потратил минуту, разгадал. На двенадцатом сайте оказалось, что цена изменилась — и мне нужно было пересчитать всю свою ценовую политику. В 11 утра я уже чувствовал себя выжатым лимоном. А ведь это был только первый раунд. Я владел небольшим интернет-магазином электроники. Ничего сверхъестественного — 200 SKU, 15 основных конкурентов, рынок дикий и цены менялись почти ежедневно. Моя рутина выглядела так: утром за чашкой кофе я открывал 15 вкладок в браузере и начинал мониторинг. Первый сайт загружался 8 секунд, потом ещё 5 секунд на поиск товара, 3 секунды на фиксацию цены. Умножаем на 200 товаров и 15 сайтов… В теории это должно было занимать час. На практике — минимум три. Три часа каждое утро. 15 часов в неделю. 60 часов в месяц. Полтора рабочих месяца в год я просто смотрел на чужие цены и вносил их в таблицу. И самое обидное? Я никогда не успевал реагировать вовремя. Пока я проверял последнего конкурента, первые уже меняли цены снова. Я был всегда на шаг позади. Особенно запомнился случай с наушниками Sony. Конкурент снизил цену на 15% в 9 утра. Я узнал об этом в 2 дня, когда у меня уже было 12 заказов по старой цене — и все они ушли к нему. Только возвраты обработать стоило мне $340 и нервный срыв. Что меня добило окончательно — день, когда я подсчитал стоимость своего времени. Три часа в день по моей часовой ставке в тот момент ($45) — это $135 ежедневно. $945 в неделю. $4 000 в месяц. Я платил себе четыре тысячи долларов за то, чтобы копировать цифры из браузера в Excel. Это был абсурд высшей степени. В тот вечер я открыл n8n и сказал себе: либо я автоматизирую это за неделю, либо закрываю магазин. Сил больше не было. ## Первая версия: наивный парсинг Начал я просто. HTTP Request node + Cheerio — что может быть легче? Написал workflow, который брал список URL из Google Sheets, проходил по каждому, извлекал цену с помощью CSS-селекторов и записывал результат обратно. Первая версия заработала за три часа. Я был в экстазе. Она обходила 5 сайтов из 15, и я уже видел, как экономлю время. Но радость длилась недолго. На второй день три сайта из пяти перестали отвечать. Просто 403 Forbidden. Я проверил вручную — сайты работали, но мои запросы блокировались. Оказалось, что эти сайты использовали базовую защиту от ботов: проверку User-Agent и частоту запросов. Окей, добавил заголовки User-Agent. Заработало ещё два дня. Потом ещё два сайта ввели капчу. Не Google reCAPTCHA, а простую картинку с цифрами. Но для моего скрипта это была стена. Третья неделя принесла Cloudflare. Три крупных конкурента перешли на их защиту, и мои HTTP-запросы стали получать 503 ошибку с JavaScript-челленджем. Мой n8n workflow просто не понимал, что от него хотят. Я понял: наивный парсинг работает только против наивных сайтов. Настоящий e-commerce защищается всерьёз. ## Эволюция: как я победил защиты ### Этап 1: Прокси и ротация Первое, что я сделал — добавил ротацию прокси. Купил пул из 50 резидентных прокси за $80 в месяц. Настроил в n8n циклическое переключение: каждый запрос шёл с нового IP. Это решило проблему с частотными ограничениями. Сайты перестали меня блокировать по IP — я выглядел как разные пользователи из разных городов. Но Cloudflare всё ещё останавливал меня. ### Этап 2: Puppeteer и полноценный браузер Cloudflare требовал выполнения JavaScript. HTTP Request node тут бессилен — нужен настоящий браузер. Я поднял отдельный сервер с Puppeteer. Настроил n8n так, чтобы HTTP-запросы к защищённым сайтам перенаправлялись на мой Puppeteer-сервис. Workflow стал сложнее: 1. n8n берёт URL из очереди 2. Отправляет его в Puppeteer через HTTP Request 3. Puppeteer открывает страницу в headless Chrome, выполняет JavaScript, проходит Cloudflare challenge 4. Возвращает HTML обратно в n8n 5. n8n парсит цену через Cheerio 6. Записывает результат Задержка увеличилась с 2 секунд до 15-20, но я начал пробивать Cloudflare. Успех! ### Этап 3: Решение капч Два сайта использовали простые текстовые капчи. Я интегрировал сервис 2captcha — их API позволяет отправлять капчи на решение человеком за $0.5-1 за штуку. В workflow добавился шаг: если Cheerio не находит цену (страница выглядит как капча), отправляем скриншот в 2captcha, ждём 20-30 секунд, получаем ответ, вводим его в форму, продолжаем парсинг. Дорого? Не особо. У меня было 15 товаров на этих сайтах, проверялись они раз в день. 15 × $0.7 = $10.5 в месяц — в разы дешевле моего времени. ### Этап 4: Stealth-режим Некоторые сайты начали детектировать headless Chrome. Puppeteer оставлял следы: navigator.webdriver = true, отсутствие плагинов, идеальный viewport. Я добавил puppeteer-extra-plugin-stealth. Этот плагин маскирует headless Chrome под обычный: убирает webdriver-флаг, добавляет фейковые плагины, рандомизирует viewport, меняет user agent и webgl fingerprint. После этого ещё два сайта стали доступны. ## Архитектура финального решения Сейчас моя система мониторинга выглядит так: **Уровень 1: Очередь задач (Google Sheets)** — Список из 342 URL (15 конкурентов × 200+ товаров, но не все есть везде) — Приоритеты: топ-50 товаров проверяются каждые 2 часа, остальные — раз в день — Статусы: pending, processing, done, error **Уровень 2: n8n orchestrator** — Запускается по расписанию (каждые 2 часа для приоритетных, раз в день для остальных) — Берёт batch из 20 URL со статусом pending — Распределяет по типу защиты сайта: simple, cloudflare, captcha — Отправляет в соответствующие workers — Собирает результаты **Уровень 3: Workers** — **Simple worker**: обычный HTTP Request + Cheerio, самый быстрый (2-3 сек на URL) — **Cloudflare worker**: Puppeteer с stealth-режимом (15-25 сек) — **Captcha worker**: Puppeteer + 2captcha интеграция (30-60 сек) **Уровень 4: Обработка результатов** — Сравнение с предыдущей ценой — Расчёт изменений в процентах — Определение позиции в рынке (самая низкая, средняя, высокая) — Запись в базу данных (Supabase) **Уровень 5: Уведомления** — Telegram-бот для критических изменений (>5% или выход из топ-3 по цене) — Email-дайджест раз в день с полной сводкой — Интеграция с Google Sheets для аналитики ## Автоматические уведомления: никаких сюрпризов Самое ценное в этой системе — не сам парсинг, а реакция на изменения. У меня настроены три уровня алертов: **Критический (мгновенный в Telegram)** — Цена конкурента упала более чем на 5% — Новый конкурент появился с ценой ниже моей — Мой товар выпал из топ-3 по цене **Важный (email в течение часа)** — Цена изменилась на 2-5% — Конкурент сделал акцию или добавил бонусы — Изменилось наличие товара у основных игроков **Информационный (дайджест раз в день)** — Все изменения за день — Средняя цена по рынку — Моя позиция по каждому товару Критические алерты приходят в Telegram за 30-60 секунд с момента изменения цены. Это позволяет реагировать мгновенно — например, запустить контр-акцию или скорректировать рекламную кампанию. Вот реальный пример: в прошлом месяце конкурент снизил цену на iPhone 15 Pro на $80 в 14:32. Мой бот заметил это в 14:33. В 14:35 я уже пересчитал свою маржу, в 14:40 скорректировал цену на $75 (оставив минимальную маржу 3%), в 14:45 изменил рекламные объявления с новой ценой. В 15:00 конкурент уже не был самым дешёвым — я был. В тот день я продал 12 iPhone по новой цене вместо нуля у конкурента. ## Сравнительный анализ без таблиц Вместо таблиц я использую структурированные списки — так даже удобнее читать на мобильных устройствах. **Мой подход к анализу цен:** Для каждого товара я собираю следующие данные: — Моя текущая цена — Минимальная цена на рынке — Максимальная цена на рынке — Средняя цена по всем конкурентам — Медианная цена (исключает выбросы) — Количество конкурентов с этим товаром в наличии На основе этих данных принимаю решения: **Если моя цена выше средней на 10%+:** — Проверяю, не упустил ли я акцию или скидку — Анализирую, теряю ли я продажи (по конверсии из рекламы) — Решаю: снижать цену или усиливать ценность (бонусы, доставка) **Если моя цена ниже средней на 15%+:** — Проверяю маржу — возможно, я продаю слишком дёшево — Тестирую повышение цены на 5-10% — Мониторю конверсию — если держится, оставляю новую цену **Если цены колеблются активно (3+ изменения за неделю):** — Это сигнал ценовой войны — Перехожу в режим «follow the leader» — копирую цены лидера с минимальной разницей — Увеличиваю бюджет на рекламу для компенсации низкой маржи ## Технические детали workflow Вот ключевые части моего n8n workflow: **Парсинг простых сайтов:** — HTTP Request node с кастомными headers (User-Agent, Accept-Language, Referer) — Прокси-ротация через HTTP Request options — Cheerio node для извлечения: цена, название, наличие, бонусы — Error handling: 3 retries с экспоненциальной задержкой **Парсинг через Puppeteer:** — Отдельный microservice на Node.js + Puppeteer — API endpoint принимает URL и тип защиты — Stealth-режим + куки-пersistence (сохраняю сессии чтобы не проходить Cloudflare каждый раз) — Возвращает полный HTML или JSON с извлечёнными данными **Обработка ошибок:** — 5 попыток для каждого URL — Если все попытки неудачны — URL помечается как error и уходит в ручную очередь — Раз в неделю я разбираю error-очередь и обновляю селекторы или логику **Оптимизации скорости:** — Параллельная обработка: 5 URL одновременно для simple, 2 для cloudflare, 1 для captcha — Кэширование сессий Puppeteer — Batch-обработка записей в Supabase (не по одной, а по 50) ## Цифры и ROI Давайте к цифрам: **Затраты на систему:** — Прокси: $80/мес — 2captcha: $15/мес в среднем — Puppeteer-сервер (VPS): $25/мес — Supabase (база данных): $0 (в пределах бесплатного лимита) — n8n (self-hosted): $0 (свой сервер) — **Итого: $120/мес** **Экономия:** — Было: 3 часа/день × $45/час = $135/день = $4 050/мес — Стало: 30 минут/день на анализ результатов = $675/мес — **Экономия: $3 375/мес** **Дополнительная выручка от быстрой реакции:** — Примерно 15-20 ценовых изменений в месяц требуют реакции — Быстрая реакция даёт +15-30% продаж на эти товары — В деньгах: примерно +$2 000/мес дополнительной выручки **Итоговый ROI: $5 375 экономии и допдохода / $120 затрат = 4 480% годовых** Это я ещё не считаю нервы, которые сэкономил. Три часа рутинной работы каждый день — это демотиватор невероятной силы. ## Проблемы, с которыми столкнулся **Сломавшиеся селекторы** Конкуренты обновляют сайты, CSS-классы меняются. Раз в 2-3 недели что-то ломается. Решение: мониторинг ошибок + быстрое обновление селекторов. У меня есть Telegram-бот, который присылает скриншот страницы, если парсинг не удался — я вижу, что изменилось. **Блокировки по поведению** Некоторые сайты стали детектировать паттерны. Если запросы идут строго каждые 2 часа — это подозрительно. Добавил рандомизацию: ±15 минут к каждому запуску. **Юридические вопросы** Юрист сказал, что парсинг публичных цен — в серой зоне. Решение: я парслю только цены, никаких описаний, фото, отзывов. Только цифра. И храню данные только для аналитики, не публикую нигде. **Этические моменты** Был момент, когда я подумал: а не зло ли это — так отслеживать конкурентов? Но потом вспомнил, что крупные ритейлеры (Ozon, Wildberries, Яндекс.Маркет) делают точно так же, только у них команды по 50 человек. Я просто выровнял условия игры. ## Инструменты и сервисы **Прокси:** — Oxylabs Residential Proxies — дорого, но надёжно — PacketStream — дешевле, но иногда нестабильно — Сейчас использую микс: 70% Oxylabs, 30% PacketStream для экономии **Капчи:** — 2captcha — основной — Anti-Captcha — запасной — Иногда использую сервисы с AI-распознаванием для простых капч **Инфраструктура:** — n8n на Hetzner CX21 ($12/мес) — Puppeteer на отдельном CX31 ($25/мес) — Supabase для хранения данных — Telegram Bot API для уведомлений **Мониторинг самой системы:** — UptimeRobot на Puppeteer-сервер — n8n workflow проверяет сам себя: если 3 часа нет новых данных — шлёт алерт — Раз в день отчёт: сколько URL обработано, сколько ошибок, среднее время ## Выводы и рекомендации Если вы думаете о парсинге цен конкурентов, вот мой чек-лист: **Стоит ли автоматизировать?** — У вас более 50 товаров? Да — Более 5 конкурентов? Да — Цены меняются чаще раза в неделю? Да — Вы тратите более 30 минут в день на ручной мониторинг? Однозначно да **С чего начать?** 1. Начните с простых сайтов (HTTP Request + Cheerio) 2. Не пытайтесь охватить всех сразу — возьмите топ-3 конкурента 3. Настройте уведомления раньше, чем парсинг — даже ручной ввод цен с алертами уже выигрыш 4. Используйте прокси сразу — иначе быстро заблокируют **Чего избегать?** — Не парсите слишком агрессивно — вы можете сломать чужой сайт (и попасть под суд) — Не храните персональные данные — только цены — Не публикуйте собранные данные — это точно нарушение — Не игнорируйте ошибки — если парсинг не работает 3 дня, вы не узнаете о важных изменениях **Когда остановиться?** — Если затраты на инфраструктуру превысят экономию времени — Если юридические риски кажутся слишком высокими — Если вы начинаете параноически следить за каждым центом — иногда лучше сфокусироваться на своём продукте ## FAQ **Вопрос: Это легально?** Ответ: Парсинг публично доступных данных (цен) обычно считается легальным в большинстве юрисдикций, но есть нюансы. В США это разрешено (hiQ Labs v. LinkedIn). В ЕС — в серой зоне. В РФ — не регламентировано прямо. Главное: не нарушать Terms of Service сайта (хотя это тоже спорно), не создавать нагрузку на сервер, не использовать данные во вред. Консультируйтесь с юристом для вашей ситуации. **Вопрос: Как часто можно парсить?** Ответ: Зависит от сайта. Я рекомендую: для крупных маркетплейсов — не чаще раза в 2-4 часа, для небольших магазинов — раз в сутки. Всегда проверяйте robots.txt и не превышайте разумную частоту. **Вопрос: Что делать, если меня заблокировали?** Ответ: Смените прокси, замедлите частоту, добавьте stealth-режим. Если блокировка по IP — смена прокси поможет. Если по fingerprint — нужен stealth. Если по поведению — рандомизируйте задержки. **Вопрос: Нужен ли программист для настройки?** Ответ: Для базового HTTP-парсинга — нет, n8n достаточно прост. Для Cloudflare и капч — да, нужны базовые знания Node.js для Puppeteer-сервера. Но можно найти готовые решения на GitHub. **Вопрос: Сколько времени занимает настройка?** Ответ: Первая версия (5 сайтов) — 1 день. Полноценная система (15 сайтов со всеми защитами) — 1-2 недели. Оптимизация и доведение до идеала — ещё месяц. **Вопрос: Можно ли использовать n8n Cloud?** Ответ: Для простых сайтов — да. Но для Cloudflare и Puppeteer лучше self-hosted, т.к. нужен доступ к файловой системе и возможность поднять дополнительные сервисы. **Вопрос: Что если конкуренты подадут в суд?** Ответ: Теоретически возможно, но маловероятно для малого бизнеса. Риски снижаются если: вы не DDoS-ите сайт, не крадёте контент, не публикуете данные, используете данные только для внутреннего анализа. Но я не юрист, это не юридическая консультация. **Вопрос: Есть ли готовые сервисы для мониторинга цен?** Ответ: Да, масса: Priceva, Competera, 42 Coffee Cups и другие. Цены от $50 до $500+/мес. Моё решение вышло дешевле и гибче, но если нет времени/навыков — готовые сервисы тоже вариант. — Три года назад я тратил три часа в день на ручной мониторинг. Сейчас моя система работает сама, а я трачу 30 минут на анализ стратегических решений. Это не просто экономия времени — это изменение качества работы. Я перестал быть «смотрителем цен» и снова стал предпринимателем. Если вы всё ещё обновляете цены вручную — остановитесь. Автоматизируйте. Жизнь слишком коротка для copy-paste в Excel.
