ETL или ELT? Разбираемся, почему все чаще встречается EtLT
Привычное и лаконичное ETL уже давно стало нарицательным для любых процессов переноса данных. Однако в последнее время в лексиконе специалистов все чаще проскальзывают новые аббревиатуры: ELT, ETLT и даже загадочный EtLT. Пора внести ясность и понять, что за этим стоит.
Классическая схема ETL предполагает жесткую последовательность: сначала данные извлекаются из источника, затем к ним применяется необходимая бизнес-логика и только потом они укладываются в хранилище. По сути, это принцип «сначала обработай, потом сохрани». Противоположный подход — ELT — предлагает иную философию: сырые данные первым делом попадают в хранилище, а уж затем там происходит их трансформация. Такой метод снижает нагрузку на систему-источник и даёт возможность многократно и итеративно менять логику расчетов уже внутри целевой платформы.
На бумаге оба этих метода кажутся взаимоисключающими, но на реальных проектах они преспокойно уживаются, причем часто не просто в одном конвейере, а даже в едином потоке. На практике это выглядит так: информация выгружается из базы, прямо во время выборки выполняются некие легковесные доработки, например, обрезаются лишние миллисекунды в метке времени. Затем данные загружаются — это и есть «классический» ETL. А уже следующим этапом внутри хранилища запускаются более тяжеловесные бизнес-преобразования. Так на выходе и получается полный цикл ETLT.
Так что если вы считаете, что на проекте используется «чистый» ETL, скорее всего, вы глубоко заблуждаетесь. В подавляющем большинстве случаев реальностью оказывается гибридный процесс ETLT, просто исторически сложилось так, что всю эту кухню принято обозначать привычной аббревиатурой из трех букв.
Обратите внимание на написание варианта EtLT, где первая буква «t» стоит в нижнем регистре. Это не художественное оформление, а смысловая нагрузка. На первом шаге выполняются лишь минимальные, «черновые» преобразования: элементарная очистка, приведение типов, базовые фильтрации. А вот вторая, заглавная «T», означает уже полноценную трансформацию — с обогащением, расчетами и сложной бизнес-логикой. Иногда можно встретить и вариант с индексами (ET1LT2), что делает разграничение этапов ещё более явным. Существует и термин ETL++, однако это уже тема для отдельного рассказа.
Загрузка...
