Modus ETL 1.6.14 — обновление, которое делает платформу стабильнее и предсказуемее: переработано распределение нагрузки при сборе данных, ускорена обработка крупных файлов, закрыто больше десятка ошибок в пресетах и сценариях.
Главное новшество релиза касается работы с «1С»-источниками в режиме разделения данных — «1С:Предприятие. Облачная подсистема Фреш» (1С:ФРЕШ). Это один из самых востребованных сценариев у пользователей Modus ETL. Теперь очередь сбора данных равномерно распределяется по областям между базами. Для крупных внедрений с множеством областей это означает конец перекосам нагрузки: система ведёт себя предсказуемо и легко управляется.
Оптимизирована и работа с большими JSON-файлами, которые часто встречаются при интеграции с внешними системами и API. Потребление памяти снижено, скорость обработки значительных объёмов выросла. Ещё одно улучшение для «1С»-источников: колонки с типом «Описание Типов» теперь автоматически преобразуются в строковый тип. Раньше это приходилось настраивать вручную на уровне сценария — теперь конфигурирование занимает меньше времени, а риск ошибок при загрузке падает.
Закрыт крупный блок ошибок в сценариях обработки данных. В шаге «Произвольная выборка» исправлены некорректное сохранение настроек соединения без оператора сравнения, самопроизвольное включение флажка «Показать типы полей», а также проблемы с установкой лимита и передачей типов. Вернулись к корректной работе FULL JOIN и шаг «Очистка таблицы», устранены ошибки определения типов Int в ClickHouse и обработки данных из XLSX и CSV.
В части пресетов закрыто десять ошибок, связанных с переносом сценариев между средами: неправильный перенос удалённых связей, сброс привязки к таблице, сбои в специфических шагах и плавающая ошибка «Не найден объект» при повторных загрузках. Проверка пресетов тоже ускорена — анализ идёт по манифесту без полной распаковки файла, что снижает пиковую нагрузку на память.
«ETL — это фундамент, на котором строится вся аналитика. Когда данные собираются с задержками, распределяются неравномерно или сценарии переносятся с ошибками, это напрямую сказывается на качестве отчетов и доверии к данным в целом. В версии 1.6.14 мы сфокусировались именно на этом фундаменте. Равномерная балансировка очереди для 1С:ФРЕШ — это решение, которое давно ждали компании с распределенными „1С»-инфраструктурами. Масштабная доработка пресетов и сценариев закрывает класс проблем, с которыми сталкивались команды при тиражировании настроек между средами и построении сложных цепочек обработки. Стабильная платформа — это необходимое условие для того, чтобы аналитика работала как инструмент принятия решений, а не источник дополнительных вопросов», — отметил Александр Чебанов, технический директор Modus.
Новая версия Modus ETL 1.6.14 уже доступна для развертывания и обновления.
Загрузка...
