ETL और ELT में क्या फर्क है, और इंडस्ट्री ELT की तरफ क्यों खिसकी?

ETL डेटा को load करने से पहले transform करता है, आम तौर पर अलग compute cluster पर। ELT पहले raw डेटा warehouse में load करता है, फिर वहीं SQL से उसे transform करता है। यह बदलाव इसलिए आया क्योंकि cloud warehouses ने storage सस्ता और compute elastic बना दिया, इसलिए raw डेटा रखकर उसी जगह transform करना iterate करने में तेज है, audit करने में आसान है, और source systems से दोबारा extract किए बिना पूरा इतिहास फिर से process करने देता है।

फर्क सिर्फ इतना है कि transform कहां होता है। ETL रास्ते में transform करता है, इसलिए warehouse में जो उतरता है वह पहले से modeled होता है। ELT raw उतारता है और warehouse के अंदर SQL से model करता है। ELT के हावी होने की वजह यह है कि storage सस्ता हो गया और warehouse compute elastic, इसलिए raw payload फेंक देने की अब कोई अच्छी वजह नहीं बची। यह बात लोगों की उम्मीद से ज्यादा मायने रखती है। जब हमें अपने revenue logic में बग मिला, तो हमने अठारह महीने के marts raw से करीब चालीस मिनट में दोबारा बना लिए, बिना source APIs पर लौटे, जिनमें से कुछ सिर्फ नब्बे दिन का डेटा रखते हैं। इससे transformation logic किसी proprietary टूल की जगह SQL के रूप में version control में भी रहता है। फिर भी, बड़ी binary files decode करने जैसे कामों के लिए, या जब मुझे personal data को warehouse छूने से पहले ही drop या tokenize करना हो, तब मैं load से पहले ही transform करूंगा, क्योंकि sensitive डेटा एक बार अंदर आ गया तो उसे un load नहीं किया जा सकता।