Ежедневный сбор цен конкурентов на 12 000–30 000 товаров

Короткий ответ

Собирать цены по 30 000 товаров каждый день — реализуемо. Но ключевая правда, которую важно
принять на входе: «простых» источников недостаточно. Большинство ценных конкурентов (DNS,
М.Видео, ВсеИнструменты, Ситилинк, Эльдорадо, Яндекс.Маркет) закрыты антибот-защитой — бесплатного
парсинга «в лоб» у них нет. Это проверено на живых данных, а не предположение.

Рекомендуемый путь — гибрид:

1. наш движок на базе iiminion_agent собирает простые сайты (дёшево, своя инфраструктура);
2. защищённые площадки закрываются интеграцией готового сервиса-разблокировщика;
3. качество контролируется автоматически + ручной разбор спорных случаев (human-in-the-loop).

Как двигаемся: сначала пилот на 50 товарах — 12 позиций недостаточно, чтобы честно увидеть
разброс по конкурентам, защищённым площадкам и ошибкам сопоставления. На 50 товарах уже видно
фактическое качество и можно считать стоимость масштабирования. По результатам пилота фиксируем
тариф на полные 12 000–30 000.

Ситуация → Сложность → Вопрос

• Ситуация. Нужен ежедневный срез цен по 12 000–30 000 товарам для ценового анализа и переоценки.
• Сложность. ~70% релевантных конкурентов — защищённые площадки. Их нельзя собрать обычным
  парсером; главный риск проекта — не «достать данные вообще», а достать их качественно и стабильно.
• Вопрос. Каким способом собрать, сколько это стоит, и как убедиться в качестве до того, как
  платить за полный объём.

Что вы на самом деле покупаете (Jobs to be Done)

Решение — это не «парсер», а закрытие шести связанных задач:

Стоимость и сложность сосредоточены в задачах 3 и 5 — именно за них идёт основная плата.

Почему «простых вариантов нет» — на цифрах

Замер на реальном каталоге:

• на товар приходится ~16 конкурентов, но обычным парсингом берётся только ~28%;
• площадки с самым широким покрытием все защищены:

Вывод: без отдельного инструмента под защищённые площадки картина цен будет неполной именно по
самым важным конкурентам.

Три сценария решения (с расчётом)

Как проверим качество до масштабирования (ради чего пилот)

Пилот на 50 товарах с измеримыми критериями приёмки:

• Покрытие: доля товаров, по которым собрана ≥1 цена конкурента — целевое ≥ 80%.
• Точность: ручная сверка всех 50 позиций и спорных совпадений. Ориентир: 95% как
  оптимистичная оценка качества; пессимистичный порог — 90%. Всё ниже 90% означает, что
  источник, сервис или логика сопоставления не готовы к масштабированию.
• Стабильность: ежедневный прогон без срывов в течение 2 недель.
• Контроль выбросов (human-in-the-loop): аномалии (подозрительная цена, страница-каталог вместо
  карточки, смена вёрстки) уходят на ручную проверку и не попадают в отчёт как факт — это
  напрямую защищает качество.

По итогам — отчёт о качестве и точная стоимость полного объёма 12 000–30 000.

Рекомендация и следующий шаг

1. Рекомендуем Сценарий 2 (гибрид). Он даёт полное покрытие, включая топовые защищённые площадки,
   без инфраструктурной нагрузки на вас, и запускается за 3–4 недели.
2. Следующий шаг — пилот на 50 товарах. 12 позиций слишком мало для честной проверки: можно
   случайно попасть в простые сайты и не увидеть реальную долю антибота, ошибок сопоставления и
   выбросов. 50 товаров дают достаточно разнообразия, чтобы ответить на главный вопрос клиента:
   «какое качество?» — фактами, а не обещанием.
3. Отдельно по Яндекс.Маркету: если вы продавец на Маркете, часть задачи закрывается бесплатным
   официальным API (свой ценовой индекс «дороже/дешевле рынка») — учтём это, чтобы не платить за то,
   что уже доступно.

Для старта: согласовать список из 50 товаров, запустить пилот и по его итогам зафиксировать качество,
покрытие и предметный тариф под 12 000–30 000.