¿Cuándo usarías Parquet frente a Avro, y por qué?

Parquet es columnar, así que comprime bien y permite que una consulta lea solo las columnas que necesita, lo que lo hace adecuado para lecturas analíticas. Avro es orientado a filas, con una codificación binaria compacta y buen soporte de evolución de esquema, lo que lo hace adecuado para rutas con mucha escritura y para payloads de mensajes donde consumes registros completos. En resumen, Avro para transporte y aterrizaje, Parquet para las tablas analíticas que consultas.

La diferencia es la disposición física. Parquet guarda los valores columna a columna, así que todos los timestamps quedan juntos y comprimen muchísimo, y una consulta que selecciona tres de cuarenta columnas lee de verdad los bytes de tres columnas. Además guarda estadísticas de mínimo y máximo por row group, así que el predicate pushdown puede saltarse trozos enteros. Avro es orientado a filas, así que un registro es contiguo, que es lo que quieres cuando estás añadiendo eventos o leyendo mensajes completos de un topic. En el último pipeline que construí, los payloads de Kafka eran Avro con un schema registry, los aterrizábamos como Avro en la zona raw y luego los compactábamos a Parquet en la capa curada. Eso nos daba escrituras baratas en el borde y lecturas analíticas baratas aguas abajo. Los dos manejan evolución de esquema, pero las reglas de Avro para añadir un campo con valor por defecto son más indulgentes con productores y consumidores que despliegan en momentos distintos, que es la razón por la que suele ganar en el lado del transporte.