Релиз 428 (4 окт 2023)#

Общее#

  • Снижено использование памяти для запросов с предложениями GROUP BY. (#19187)

  • Упрощена конфигурация числа writer. Добавлены новые свойства конфигурации task.min-writer-count и task.max-writer-count, а также свойства сеанса task_min_writer_count и task_max_writer_count, которые управляют числом writer в зависимости от сценария. Свойства конфигурации task.writer-count, task.scale-writers.max-writer-count и task.partitioned-writer-count объявлены устаревшими и будут удалены в будущем. Свойства сеанса task_writer_count, task_partitioned_writer_count и task_scale_writers_max_writer_count удалены. (#19135)

  • Удалена поддержка устаревшего свойства конфигурации parse-decimal-literals-as-double. (#19166)

  • Исправлена ошибка нехватки памяти при выполнении запросов с предложениями GROUP BY. (#19119)

Коннектор Delta Lake#

  • Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации parquet.small-file-threshold и свойство сеанса parquet_small_file_threshold для изменения размера по умолчанию 3MB, ниже которого файлы читаются целиком. Установка этого параметра в 0B отключает возможность. (#19127)

  • Исправлено потенциальное дублирование данных, когда выполнение OPTIMIZE совпадает с обновлениями таблицы. (#19128)

  • Исправлена ошибка при удалении строк в таблицах с секциями, имена которых содержат некоторые неалфавитно-цифровые символы. (#18922)

Коннектор Hive#

  • Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации parquet.small-file-threshold и свойство сеанса parquet_small_file_threshold для изменения размера по умолчанию 3MB, ниже которого файлы читаются целиком. Установка этого параметра в 0B отключает возможность. (#19127)

Коннектор Hudi#

  • Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации parquet.small-file-threshold и свойство сеанса parquet_small_file_threshold для изменения размера по умолчанию 3MB, ниже которого файлы читаются целиком. Установка этого параметра в 0B отключает возможность. (#19127)

Коннектор Iceberg#

  • Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации parquet.small-file-threshold и свойство сеанса parquet_small_file_threshold для изменения размера по умолчанию 3MB, ниже которого файлы читаются целиком. Установка этого параметра в 0B отключает возможность. (#19127)

  • Исправлена некорректная статистика столбцов для формата файлов Parquet в файлах манифеста. (#19052)

Коннектор Pinot#

  • Добавлена поддержка query options в динамических таблицах. (#19078)