आप Parquet कब इस्तेमाल करेंगे और Avro कब, और क्यों?

Parquet columnar है, इसलिए वह अच्छा compress होता है और query को सिर्फ वही columns पढ़ने देता है जिनकी जरूरत है, जो उसे analytical reads के लिए सही बनाता है। Avro row oriented है, उसकी binary encoding compact है और schema evolution का साथ मजबूत है, जो उसे write heavy रास्तों और उन message payloads के लिए सही बनाता है जहां आप पूरे records पढ़ते हैं। छोटे में, transport और landing के लिए Avro, और जिन analytical tables पर आप query करते हैं उनके लिए Parquet।

फर्क physical layout का है। Parquet values को column दर column रखता है, इसलिए सारे timestamps साथ बैठते हैं और जमकर compress होते हैं, और चालीस में से तीन columns चुनने वाली query सचमुच तीन columns जितने bytes ही पढ़ती है। वह हर row group के लिए min और max statistics भी रखता है, इसलिए predicate pushdown पूरे हिस्से छोड़ सकता है। Avro row oriented है, इसलिए एक record एक जगह लगातार रहता है, और जब आप events append कर रहे हों या किसी topic से पूरे messages पढ़ रहे हों तो यही चाहिए। मैंने आखिरी जो पाइपलाइन बनाई, उसमें Kafka payloads schema registry के साथ Avro थे, हमने उन्हें raw zone में Avro के रूप में उतारा, फिर curated layer में Parquet में compact किया। इससे किनारे पर सस्ते writes मिले और आगे सस्ते analytical reads। schema evolution दोनों संभालते हैं, लेकिन default के साथ field जोड़ने पर Avro के नियम उन producers और consumers के लिए ज्यादा उदार हैं जो अलग अलग वक्त पर deploy होते हैं, और इसीलिए transport की तरफ वही जीतता है।