Очистка данных и сопоставление товаров

Очистка данных — когда в CRM дубли клиентов, в каталоге один товар записан пятью способами, а прайсы поставщиков не сводятся с вашей номенклатурой. Чистим, приводим к одному формату и сопоставляем товары с помощью ИИ и ручной проверки спорных мест.

Пилот на части данныхОтчёт о качествеИИ и ручная проверка
Три по-разному записанных названия одного товара сводятся в одну аккуратную карточку

Что такое очистка данных и зачем она бизнесу

Очистка данных — поиск и исправление дублей, ошибок, пропусков и разных форматов в таблицах, каталогах, CRM и 1С. Отчёты и дашборды на грязных данных показывают неправду, поэтому очистка — первый шаг любой аналитики.

Проблема

В CRM дубли клиентов — менеджеры звонят одному человеку дважды, сделки теряются

Решение

Находим и объединяем дубли, сохраняя историю, и настраиваем правила, чтобы новые не появлялись.

Проблема

Каталог собран из трёх поставщиков — у одного товара три карточки

Решение

Сопоставляем товары и оставляем одну карточку с самыми полными данными.

Проблема

Мониторинг цен показывает ерунду — сравниваются разные товары

Решение

Точно сопоставляем ваши позиции с позициями конкурентов.

Проблема

Маркетплейс отклоняет карточки из-за ошибок в характеристиках

Решение

Приводим характеристики и единицы к одному виду до выгрузки.

Что такое матчинг товаров

Матчинг — сопоставление товаров из разных источников: «Смеситель однорычажный хром, арт. 332-81» у поставщика и «Смеситель для раковины, хромированный, модель 332» у конкурента — один и тот же товар.

Автоматический

Как работает
артикулы, штрихкоды, нечёткое сравнение названий, нейросеть
Скорость
высокая
Точность
зависит от данных
Когда подходит
есть артикулы и штрихкоды

Ручной

Как работает
человек сравнивает карточки
Скорость
низкая
Точность
высокая
Когда подходит
позиций немного
Наш выбор

Гибридный

Как работает
автоматика находит пары, человек проверяет спорные
Скорость
высокая
Точность
высокая
Когда подходит
тысячи позиций без единых артикулов

Для большинства задач нужен гибридный матчинг: автоматика делает основную работу, человек проверяет только спорные пары. Так сопоставляют товары для мониторинга цен конкурентов, выгрузки на маркетплейсы и объединения каталогов поставщиков.

Таблица соответствий: номенклатура поставщика слева, ваша справа, связи между строками

Сопоставление номенклатуры в 1С и каталоге

Частая задача: у поставщика своя номенклатура, у вас своя, и каждая поставка превращается в ручную сверку. Сопоставляем номенклатуру поставщика с вашей один раз, сохраняем таблицу соответствий и загружаем её в 1С — дальше документы поставщика разносятся по вашим позициям автоматически. Загрузку соответствий делаем через интеграцию с 1С.

Новые позиции поставщика, которых ещё нет в таблице соответствий, не пропадают: система предлагает похожие варианты из вашего справочника, а менеджер подтверждает пару одним нажатием. Со временем доля ручной работы падает — таблица растёт вместе с ассортиментом. Очистка часто идёт в паре с другими задачами раздела сбор, очистка и выгрузка данных.

Так же сводим каталоги нескольких поставщиков в один — это часто нужно при наполнении каталога и при выгрузке на маркетплейсы. А чистые данные — основа для дашбордов на чистых данных.

  • Таблица соответствий один раз
  • Загрузка в 1С
  • Новые позиции — на проверку

Как мы чистим и сопоставляем данные

Метрики качества считаем на каждом проекте — вы видите не «99% точности» из рекламы, а цифры на своих данных.

  1. 01

    Пилот

    Берём часть ваших данных и показываем результат и отчёт о качестве.

  2. 02

    Нормализация

    Единые единицы, форматы телефонов и адресов, названия характеристик, бренды.

  3. 03

    Дедупликация

    Находим дубли по точным и нечётким признакам.

  4. 04

    Сопоставление

    Автоматическое сопоставление с нейросетью и нечётким сравнением, спорные пары — человеку.

  5. 05

    Отчёт и загрузка

    Сколько нашли совпадений, какая точность на проверочной выборке, сколько ушло на ручную проверку. Загрузка в вашу систему.

Сколько стоит очистка данных

Пилот

часть данных, отчёт о качестве, оценка всего объёма

по смете

Разовая очистка

нормализация, дедупликация, сопоставление, загрузка

по запросу

Регулярный матчинг

сопоставление новых позиций по расписанию

по смете

Цена зависит от объёма, качества исходных данных, числа источников и доли ручной проверки. Точную смету называем после пилота.

Вопросы об очистке данных

Что такое очистка данных?
Поиск и исправление ошибок в данных: дублей, опечаток, пропусков, разных форматов записи. Цель — чтобы отчёты, выгрузки и поиск работали правильно.
Что такое матчинг товаров?
Сопоставление одинаковых товаров из разных источников — поставщиков, конкурентов, маркетплейсов — даже если они названы по-разному.
Как в 1С сопоставить номенклатуру поставщика с нашей?
Составить таблицу соответствий: позиция поставщика — ваша позиция. Мы делаем это автоматически с ручной проверкой спорных пар и загружаем в 1С, чтобы документы поставщика разносились сами.
Какие есть примеры взаимозаменяемых товаров и умеете ли вы сопоставлять аналоги?
Аналоги — товары разных брендов с одинаковыми характеристиками: например, фильтры или крепёж одного типоразмера. Сопоставляем и точные совпадения, и аналоги — по правилам, которые согласуем с вами.
Как часто нужно чистить данные?
Разовую очистку делают при переезде или перед большим проектом, а дальше — правила, которые не дают появляться новым дублям, и регулярная проверка.
Какая точность у автоматического сопоставления?
Зависит от данных: с артикулами и штрихкодами — высокая, по одним названиям — ниже. Поэтому считаем точность на проверочной выборке ваших данных и отправляем спорные пары человеку.
Можно ли почистить базу в CRM без остановки работы?
Да: чистим копию, согласуем результат и применяем изменения в тихие часы. Менеджеры продолжают работать.

Чаще всего сопоставление нужно для мониторинга цен конкурентов: без него отчёт сравнивает разные товары. Чистку базы клиентов удобно совместить с переносом данных в новую CRM.

Обсудим ваш проект

Заявку читает руководитель проекта, а не колл-центр и не автоответчик.

Что будет после заявки

  1. Укажите удобный способ связи для обсуждения задачи.
  2. Созвонимся, чтобы понять задачу, цифры и ограничения.
  3. Предложим план: что сделать, в каком порядке, кто из команды подключится и сколько это стоит.

Заявка ни к чему не обязывает. Если задача окажется не нашей, скажем прямо и подскажем, куда обратиться.

Расскажите о задаче

Имени и телефона достаточно. Подробности можно добавить сразу или обсудить при звонке.

Добавить подробности