Quando você usaria Parquet em vez de Avro, e por quê?

Parquet é colunar, então comprime bem e permite que uma consulta leia só as colunas necessárias, o que o torna certo para leituras analíticas. Avro é orientado a linha, com codificação binária compacta e suporte forte a evolução de schema, o que o torna certo para caminhos com muita escrita e para payloads de mensagens em que você consome registros inteiros. Em resumo, Avro para transporte e aterrissagem, Parquet para as tabelas analíticas que você consulta.

A diferença é o layout físico. O Parquet guarda os valores coluna a coluna, então todos os timestamps ficam juntos e comprimem muito, e uma consulta que seleciona três de quarenta colunas realmente lê o equivalente a três colunas em bytes. Ele também mantém estatísticas de mínimo e máximo por row group, então o predicate pushdown consegue pular pedaços inteiros. O Avro é orientado a linha, então um registro é contíguo, que é o que você quer quando está fazendo append de eventos ou lendo mensagens inteiras de um tópico. No último pipeline que eu construí, os payloads do Kafka eram Avro com um schema registry, aterrissávamos como Avro na zona raw e depois compactávamos em Parquet na camada curada. Isso nos dava escritas baratas na borda e leituras analíticas baratas mais adiante. Os dois lidam com evolução de schema, mas as regras do Avro para adicionar um campo com valor padrão são mais tolerantes para producers e consumers que fazem deploy em momentos diferentes, e é por isso que ele tende a vencer no lado do transporte.