Страница 1 из 1

Проверка на дубли записей при импорте

Добавлено: 18 окт 2016, 00:19
alcompstudio
Добрый день!

Столкнулся с проблемой дублирования "одноименных" записей при импорте. Т.е. когда импортируются строки из экселя и в приложении, например, уже есть какое-то одинаковое значение (код, или артикул в моем примере), то запись добавляется в любом случае, несмотря на то, что приложением это поле определено как уникальное. При этом если добавить вручную запись и в уникальном поле будет ранее введенное в другой записи значение, то система не пропустит такую запись, все как нужно тут.

Изображение

Такая же проблема и при обновлении (пакетном) записей. Т.е. система пропускает обновление записей с задублированными значениями в уникальных полях. Это не очень хорошо, т.к. перед импортом приходится проверять на дубли (ранее введенные записи с таким же уникальным полем) много записей в таблице, а это отнимает время...

Можно ли реализовать функцию, например при импорте - проверка на уникальность записи по какому-то уникальному полю? И в случае обнаружения таких "одинаковых" записей система может предложить 2 варианта: или заменить существующие записи (обновить информацию по отмеченным полям для импорта), или не импортировать такие записи.

Это очень облегчит работу с повторами в записях.

Re: Проверка на дубли записей при импорте

Добавлено: 18 окт 2016, 07:32
support
да, импорт данных будет дорабатываться

Re: Проверка на дубли записей при импорте

Добавлено: 31 окт 2016, 12:37
nikorn
На мой взгляд, функции импорта и экспорта должны работать "as is", то есть переносить данные "один к одному", ничего не изменяя. Все проверки должны осуществляться владельцем данных до начала операций переноса.

В противном случае придется постепенно перенести в модули экспорта-импорта весь функционал системы: сначала потребуется проверять данные на уникальность, потом, например, права доступа к отдельным полям, потом корректность синтаксиса формул и т.п.

Стоит внести в импорт-экспорт хотя бы одну проверку, как вам придется для каждого случая прописать возможные решения: игнорировать/изменить/удалить запись, одну запись или все записи, по одному правилу проверки или по всем правилам... При этом нужно будет вести подробные логи импорта-экспорта, по которым придется разбираться, все ли прошло, как нужно... Мне кажется, это в корне неправильный подход.

Re: Проверка на дубли записей при импорте

Добавлено: 31 окт 2016, 14:49
support
уже раз 5 попросили добавить возможность сравнивать по уникальному полю и пропускать дубли или обновлять существующую запись, так что нужно что то делать.

Re: Проверка на дубли записей при импорте

Добавлено: 31 окт 2016, 15:17
nikorn
Это совсем другой разговор. У импорта действительно есть два режима - добавление и обновление.

Например, вы делаете экспорт записей из Руководителя (все поля, включая уникальное ключевое поле ID), вносите изменения в нужные записи и производите обратный импорт, при котором записи с уже существующими ID не добавляются, а обновляются.
Screen.jpg
Однако выше речь шла не об импорте в режиме обновления существующих записей, а о том, чтобы при импорте проверять корректность импортируемых данных, например, проверять значения уникальных полей (не обязательно ключевых) на предмет дублирования. Таких полей в таблице может быть множество (номер договора, ИНН контрагента, код, артикул и т.п.). Причем у записей с дублирующимися значениями уникальных полей, скорее всего, будут разные ID.

Мне кажется, решение последней проблемы лежит за пределами функций стандартного импорта

Re: Проверка на дубли записей при импорте

Добавлено: 07 янв 2018, 12:35
support
Обновил импорт для версии 2.0. Теперь есть три режима:
1) Импортировать данные
2) Обновить данные
3) Обновить и импортировать новые
screenshot-localhost-2018-01-07-12-32-31-725.png
Если выбрано действие "Обновить", то на странице предпросмотра необходимо указать по какому полю обновлять данные и какую колонку данных использовать для обновления
screenshot-localhost-2018-01-07-12-33-46-748.png

Re: Проверка на дубли записей при импорте

Добавлено: 07 янв 2018, 15:37
aik
Супер! А многоуровневый импорт планируется?

Re: Проверка на дубли записей при импорте

Добавлено: 07 янв 2018, 15:41
support
aik писал(а): 07 янв 2018, 15:37 Супер! А многоуровневый импорт планируется?
Пока нет