Проверка на дубли записей при импорте

Все вопросы/проблемы по установке и использовании.
Ответить
Аватара пользователя
alcompstudio
Спонсор
Спонсор
Сообщения: 1519
Зарегистрирован: 03 янв 2016, 20:42
Имя: Александр
Откуда: Мир

Проверка на дубли записей при импорте

Сообщение alcompstudio »

Добрый день!

Столкнулся с проблемой дублирования "одноименных" записей при импорте. Т.е. когда импортируются строки из экселя и в приложении, например, уже есть какое-то одинаковое значение (код, или артикул в моем примере), то запись добавляется в любом случае, несмотря на то, что приложением это поле определено как уникальное. При этом если добавить вручную запись и в уникальном поле будет ранее введенное в другой записи значение, то система не пропустит такую запись, все как нужно тут.

Изображение

Такая же проблема и при обновлении (пакетном) записей. Т.е. система пропускает обновление записей с задублированными значениями в уникальных полях. Это не очень хорошо, т.к. перед импортом приходится проверять на дубли (ранее введенные записи с таким же уникальным полем) много записей в таблице, а это отнимает время...

Можно ли реализовать функцию, например при импорте - проверка на уникальность записи по какому-то уникальному полю? И в случае обнаружения таких "одинаковых" записей система может предложить 2 варианта: или заменить существующие записи (обновить информацию по отмеченным полям для импорта), или не импортировать такие записи.

Это очень облегчит работу с повторами в записях.
Аватара пользователя
support
Техническая поддержка
Сообщения: 7661
Зарегистрирован: 19 окт 2014, 18:22
Имя: Харчишин Сергей
Откуда: Крым, Евпатория

Re: Проверка на дубли записей при импорте

Сообщение support »

да, импорт данных будет дорабатываться
Аватара пользователя
nikorn
Сообщения: 252
Зарегистрирован: 02 апр 2016, 22:26
Имя: Корняков Никита
Откуда: РФ, Ярославль
Организация: Тяжмаштрейд
Контактная информация:

Re: Проверка на дубли записей при импорте

Сообщение nikorn »

На мой взгляд, функции импорта и экспорта должны работать "as is", то есть переносить данные "один к одному", ничего не изменяя. Все проверки должны осуществляться владельцем данных до начала операций переноса.

В противном случае придется постепенно перенести в модули экспорта-импорта весь функционал системы: сначала потребуется проверять данные на уникальность, потом, например, права доступа к отдельным полям, потом корректность синтаксиса формул и т.п.

Стоит внести в импорт-экспорт хотя бы одну проверку, как вам придется для каждого случая прописать возможные решения: игнорировать/изменить/удалить запись, одну запись или все записи, по одному правилу проверки или по всем правилам... При этом нужно будет вести подробные логи импорта-экспорта, по которым придется разбираться, все ли прошло, как нужно... Мне кажется, это в корне неправильный подход.
Аватара пользователя
support
Техническая поддержка
Сообщения: 7661
Зарегистрирован: 19 окт 2014, 18:22
Имя: Харчишин Сергей
Откуда: Крым, Евпатория

Re: Проверка на дубли записей при импорте

Сообщение support »

уже раз 5 попросили добавить возможность сравнивать по уникальному полю и пропускать дубли или обновлять существующую запись, так что нужно что то делать.
Аватара пользователя
nikorn
Сообщения: 252
Зарегистрирован: 02 апр 2016, 22:26
Имя: Корняков Никита
Откуда: РФ, Ярославль
Организация: Тяжмаштрейд
Контактная информация:

Re: Проверка на дубли записей при импорте

Сообщение nikorn »

Это совсем другой разговор. У импорта действительно есть два режима - добавление и обновление.

Например, вы делаете экспорт записей из Руководителя (все поля, включая уникальное ключевое поле ID), вносите изменения в нужные записи и производите обратный импорт, при котором записи с уже существующими ID не добавляются, а обновляются.
Screen.jpg
Однако выше речь шла не об импорте в режиме обновления существующих записей, а о том, чтобы при импорте проверять корректность импортируемых данных, например, проверять значения уникальных полей (не обязательно ключевых) на предмет дублирования. Таких полей в таблице может быть множество (номер договора, ИНН контрагента, код, артикул и т.п.). Причем у записей с дублирующимися значениями уникальных полей, скорее всего, будут разные ID.

Мне кажется, решение последней проблемы лежит за пределами функций стандартного импорта
Аватара пользователя
support
Техническая поддержка
Сообщения: 7661
Зарегистрирован: 19 окт 2014, 18:22
Имя: Харчишин Сергей
Откуда: Крым, Евпатория

Re: Проверка на дубли записей при импорте

Сообщение support »

Обновил импорт для версии 2.0. Теперь есть три режима:
1) Импортировать данные
2) Обновить данные
3) Обновить и импортировать новые
screenshot-localhost-2018-01-07-12-32-31-725.png
Если выбрано действие "Обновить", то на странице предпросмотра необходимо указать по какому полю обновлять данные и какую колонку данных использовать для обновления
screenshot-localhost-2018-01-07-12-33-46-748.png
aik
Сообщения: 480
Зарегистрирован: 12 апр 2017, 10:09
Имя: Антон
Откуда: земля

Re: Проверка на дубли записей при импорте

Сообщение aik »

Супер! А многоуровневый импорт планируется?
Аватара пользователя
support
Техническая поддержка
Сообщения: 7661
Зарегистрирован: 19 окт 2014, 18:22
Имя: Харчишин Сергей
Откуда: Крым, Евпатория

Re: Проверка на дубли записей при импорте

Сообщение support »

aik писал(а): 07 янв 2018, 15:37 Супер! А многоуровневый импорт планируется?
Пока нет
Ответить