Парсер, который собирает досье на компанию

Сделали пилот парсера: он сам находит источники о компании, достаёт сведения с цитатами и собирает карточку для проверки.

  • Источники находятся сами
  • Источники и цитаты для проверки фактов
  • Официальному сайту веры больше, чем посредникам
Факты из разных сайтов собираются в одну карточку компании

Задача

Информация о компании разбросана по официальному сайту и агрегаторам, и она часто противоречит сама себе. Посредники выдают себя за официальный сайт и публикуют свои телефоны.

Нужно было автоматически собрать достоверную карточку: отличить официальный источник от посредника, сохранять источники и цитаты для проверки сведений и показать, где источники расходятся.

Что мы сделали

Поиск источников

Парсер находит сайты в поиске и сам определяет официальный. Спорные случаи помечает для проверки человеком.

Скачивание

Официальный сайт скачивается целиком, агрегаторы — точечно, только нужные страницы.

Факты с цитатами

Из источников извлекаются сведения и цитаты для последующей проверки.

Склейка и конфликты

Факты сводятся в одну карточку. Официальному источнику веры больше, расхождения видны отдельно.

Защита от самозванцев

Сайт посредника не считается официальным, даже если так себя называет. Телефон берётся только с официального сайта.

Витрина

Итог — база данных и удобная страница для телефона.

Технологии

Сбор

PythonXMLRiverFirecrawl

Извлечение

ClaudePydantic

Хранение и витрина

SQLiteHTML
Карточка компании с отметками проверенных фактов

Результат

Пилот собирает сведения из источников в карточку. Цитаты и расхождения сохраняются для проверки; достоверность сведений требует отдельной оценки.

  • Сведения проверяются по источникам и контексту цитат
  • Посредники не выдаются за официальный источник
  • Расхождения между источниками видны отдельно
  • Подход переносится на другие отрасли

Обсудим ваш проект

Заявку читает руководитель проекта, а не колл-центр и не автоответчик.

Что будет после заявки

  1. Укажите удобный способ связи для обсуждения задачи.
  2. Созвонимся, чтобы понять задачу, цифры и ограничения.
  3. Предложим план: что сделать, в каком порядке, кто из команды подключится и сколько это стоит.

Заявка ни к чему не обязывает. Если задача окажется не нашей, скажем прямо и подскажем, куда обратиться.

Расскажите о задаче

Имени и телефона достаточно. Подробности можно добавить сразу или обсудить при звонке.

Добавить подробности