how-to · парсер цен
Парсер для бизнеса: открытые страницы, не взлом
Парсер для бизнеса в Night Sniper — это сбор данных с открытых страниц по правилам площадки, а не «взлом кабинета конкурента». Типичные задачи: цены и наличие на витрине, карточки с карт, дедуп телефонов, выгрузка для менеджера. Живой внутренний контур — Лиды с карт: публичные карточки 2GIS, нормализация, дедуп, подготовка рассылок. Это не скрытый парсинг личного кабинета.
Я Дима. Парсер пишу под задачу. Сроки и смета — после того, как понятно, какие поля и какой объём. Цену «парсер от 15 000» не рисую.
Как это выглядит в интерфейсе
Кадр с витрины — pipeline, не «скрипт в терминале на ноутбуке».
На главной в доказательствах у этого контура три факта. Те же строки. Публичного входа нет.
564 — масштаб того прогона после нормализации. Не обещание «в вашем городе будет столько же». Город, ниша и качество карточек карт разные. Дедуп режет дубли: один телефон не должен плодить три компании.
A/B канала — какой мессенджер или способ связи проверяли в кампании, не «нейросеть сама написала продающий текст». Контроль кампаний — чтобы рассылка не уехала дважды по одному списку.
Что можно собирать легально
- Цены и остатки, которые сайт сам показывает без логина.
- Карточки организаций из открытых карт.
- Событийную афишу, если страница публичная — как у живого wow-event.ru, если заказчику нужен мониторинг чужих площадок, а не «взлом билетки».
Что не делаю: обход капчи «как бот-ферма», логины в чужой CRM, скрейп за paywall, спам по списку без согласия.
robots.txt и правила площадки читаю до кода. Если площадка запрещает автоматический обход — говорю об этом на брифе, а не «потом разберёмся».
Как это выглядит в работе
- Список источников и полей.
- Частота обновления и куда класть результат: таблица, CRM, отчёт.
- Дедуп: телефон и имя не плодят три карточки.
- Хостинг 24/7, не скрипт на ноутбуке.
Без пункта 2 вы получите CSV в чат раз в месяц и потеряете его. Без пункта 3 менеджер обзвонит одну кофейню трижды. Без пункта 4 «вчера вечером парсер жил».
Инфра, на которой крутятся воркеры, без IP: свой сервер. Сайт под данные — сайт под ключ.
Цены с витрины vs лиды с карт
Это разные брифы. Цены: URL, селекторы или JSON, который страница и так отдаёт, частота, валюта, наличие. Карты: имя, телефон, адрес, рубрика, дедуп. Не смешивайте в одну смету «выгрузите конкурентов и ещё базу города».
Не обещаю обход «закрытых цен после логина». Если цена видна только в кабинете — это не парсер витрины.
Куда класть результат
В CRM, если менеджер должен звонить. В таблицу, если это аналитика. В кампанию, если следующий шаг — сообщение. На витрине maps-leads как раз про нормализацию и контроль, не про «слить базу в Telegram».
Связка бот + CRM, если дальше пишете в мессенджер: бот + CRM. Это другой контур: вы уже имеете право писать человеку. Парсер сам по себе права писать не даёт.
Событийный сайт как пример публичной страницы:
Мониторинг чужой афиши — только если страница открыта и правила позволяют. Свой сайт событий я собираю иначе: как лендинг, лендинг под ключ.
Для кого
Магазин, агентство, события — кому нужна таблица «вчера / сегодня», а не скриншоты руками. Не для тех, кто хочет «выгрузить базу конкурента с паролями».
NDA на главной: без разрешения ничего не публикую. Этот внутренний контур на витрине согласован как продукт студии, не как чужой кабинет.
Что не является парсером
Сбор из Excel, который прислал клиент — это импорт. Обзвон по купленной базе — это не этот продукт. Выгрузка после логина в чужой кабинет — отказ.
Мониторинг своего же сайта «не отвалился ли прайс» — чаще проще решить проверкой в OKKO, чем отдельным парсером. Хелсчеки ресурсов у студии живут отдельно от этого брифа.
Частота и вежливость
Раз в сутки и раз в минуту — разные риски для вас и для площадки. Ставлю паузы, читаю Retry-After, не долблю 429. Если площадка отдаёт JSON для своей витрины — лучше его, чем HTML-селекторы, которые сломаются на редизайне.
Селекторы живут в конфиге, не зашиты в десять мест. Когда верстка поедет, чинить один файл, не «весь проект».
Пилот vs прод
Пилот карт: нормализация, дедуп, 564 контакта. Прод: расписание, алерты, если источник молчит, место в CRM. Пилот не обещает прод «по той же цене». После пилота видно, есть ли в данных смысл звонить.
Заказать контур: квиз. Карточка: Лиды с карт. Доказательства: /#reviews.
Вопросы
- Это взлом сайтов?
- Нет. Только то, что страница отдаёт без логина. Кабинеты и paywall не трогаю.
- Что с robots.txt?
- Читаю до кода. Если площадка запрещает обход — говорю на брифе.
- Лиды с карт — это цены?
- Это публичные карточки 2GIS, нормализация и дедуп. Пример легального сбора, не прайс магазина.
- Сколько контактов обещаете?
- Пилот карт — 564 после нормализации. Это тот прогон, не гарантия на ваш город.
- Срок?
- После списка источников, полей и куда класть результат. Вилки «от 15 000» нет.
- 564 контакта — это гарантия?
- Нет. Это пилот того прогона после нормализации, как на главной.
- Можно открыть pipeline?
- Публичного входа нет. На главной кадр и три функции, в статье тот же кадр.
Нужен сбор открытых данных — опишите источники и поля. Квиз