Импорт 20000 и + строк их Excel

[Morfei]

Здравствуйте. Столкнулся с такой проблемой. Руководитель 3.3.1.
Решил импортировать таблицу в которой более 26000 строк. В итоге импортировалось только около 18000. При это появилось как положено сообщение на зеленом фоне, что импорт удачно завершен. По факту куска не хватает. Повторяю импорт того же файла но уже выбираю "Обновить и добавить новые" Появляется так же сообщение, что импорт прошел успешно обновлено 18000 и добавлено еще 4500. Почему не может загрузить целиком таблицу? Сессии в server.php выставил как

Код: Выделить всё

define('STORE_SESSIONS', '');

Не помогло. Может кто сталкивался с таким уже?

[believe]

Была похожая ситуация, хостинг не "переваривал". Грузил поэтапно.

[nruslan2]

аналогично, грузил частями по 8000 записей.

[Morfei]

Ну как бы с сервером порядок. 62Гб оперативы и 48 "ведер" LA = 0,01 Думаю тут чего то в другом дело. Он же сообщает что импорт успешен, но не понятно почему файл не весь? Ежели бы он ошибку выдавал, тут да, а так вообще не ясно что происходит. Это чего то с парсером возможно, но это не точно. Ну и опять же ежели мне нужно автоматизировать как тогда по частям? Просто получится что не все будет отрабатывать. А в планах есть сделать автоматизацию обновления по URL.

[support]

Дело не только в железе. Размер переменной в пхп время выполнения скрипта так же имеют свои ограничения. Похожие ограничения есть в mysql, там всякие буферы и т.д.
Так даже сложно предположить где проблема, так как ошибки нет.
Может что в логах пхп есть на сервер?
Может поддержка хостинга как то поможет?

[Fait]

Я такое решал вот так:
Создаю отдельную сущность, в которой есть поле для загрузки файла (лучше csv).
И затем создаю кнопку автоматизации, которая выполняет код.
А этот код действует по следующему алгоритму:
1) Открывает файл
2) Пропускает заголовки
3) Считывает строку и формирует массив данных
4) С помощью items::insert создаёт новую запись в нужной сущности. Также можно написать условие, чтобы старая запись обновлялась, но это уже другая история

Да, может это костыль, но работает безупречно.

Я так реализовал загрузку банковских выписок в систему, чтобы создавались оплаты у клиентов, и при этом ещё распределялись по ним, и создавались все необходимые связи с клиентом и заказом.

То есть человек формирует файл с выпиской в банке, потом загружает его в систему, и нажимает кнопку "Обработать выписку".
Сразу попутно идёт поиск дубликатов, создаются контрагенты, счета и т.д., если в системе их нет.

При этом у меня ещё визуально отображается, что именно будет импортироваться.

[Morfei]

Дело не только в железе. Размер переменной в пхп время выполнения скрипта так же имеют свои ограничения. Похожие ограничения есть в mysql, там всякие буферы и т.д.
Так даже сложно предположить где проблема, так как ошибки нет.
Может что в логах пхп есть на сервер?
Может поддержка хостинга как то поможет?

Время выполнения менял, ничего не поменялось. MySQL если бы ошибки были тоже бы выдал. Посмотрю еще php, думаю может чего то с сессиями. Потому как когда сессии сохранялись в mysql, тоже были проблемы с загрузкой больших Excel. Переключил на сессии php до 22000 начал грузить нормально. Но теперь тоже проблемы.

PS. Перепроверил все логи php тишина. Просто ошибок 0. И интересен еще тот факт что удаляет из базы потом все эти 25000 записей дольше раза в три чем загружает в базу. Удаляет уже примерно 30 минут и еще осталось 6000 записей. Чейто как то должен вроде шустрее очищать базу. Не?

[Morfei]

Дело все таки в парсере xlsx. По каким то причинам просто пропускает строки. Я их нашел, но они ничем не отличаются от других. Оставляю только три строки, включая ту которую не импортирует. И импорт происходит только 2-х, а одну принципиально не импортирует.

[support]

Использую библиотеку https://phpspreadsheet.readthedocs.io/en/latest/
У них там новая версия вышла, для 3.4 обновлю.

[SalahievFR]

Я такое решал вот так:
Создаю отдельную сущность, в которой есть поле для загрузки файла (лучше csv).
И затем создаю кнопку автоматизации, которая выполняет код.
А этот код действует по следующему алгоритму:
1) Открывает файл
2) Пропускает заголовки
3) Считывает строку и формирует массив данных
4) С помощью items::insert создаёт новую запись в нужной сущности. Также можно написать условие, чтобы старая запись обновлялась, но это уже другая история

Да, может это костыль, но работает безупречно.

Я так реализовал загрузку банковских выписок в систему, чтобы создавались оплаты у клиентов, и при этом ещё распределялись по ним, и создавались все необходимые связи с клиентом и заказом.

То есть человек формирует файл с выпиской в банке, потом загружает его в систему, и нажимает кнопку "Обработать выписку".
Сразу попутно идёт поиск дубликатов, создаются контрагенты, счета и т.д., если в системе их нет.

При этом у меня ещё визуально отображается, что именно будет импортироваться.

Расскажите подробнее) с примером кода.