Продвинутый
Что такое форматы Apache Parquet и Avro?
Это форматы хранения данных, популярные в Big Data и Data Lake:
Apache Parquet:
- Колоночный бинарный формат.
- Идеален для аналитики (OLAP), так как позволяет читать только нужные колонки, пропуская остальные.
- Отлично сжимает данные (одинаковые типы данных в колонке сжимаются лучше).
Apache Avro:
- Строковый бинарный формат.
- Хранит схему данных (в JSON) прямо внутри файла.
- Идеален для потоковой передачи данных (часто используется вместе с Kafka).