Релиз 428 (4 окт 2023)#
Общее#
Снижено использование памяти для запросов с предложениями
GROUP BY. (#19187)Упрощена конфигурация числа writer. Добавлены новые свойства конфигурации
task.min-writer-countиtask.max-writer-count, а также свойства сеансаtask_min_writer_countиtask_max_writer_count, которые управляют числом writer в зависимости от сценария. Свойства конфигурацииtask.writer-count,task.scale-writers.max-writer-countиtask.partitioned-writer-countобъявлены устаревшими и будут удалены в будущем. Свойства сеансаtask_writer_count,task_partitioned_writer_countиtask_scale_writers_max_writer_countудалены. (#19135)Удалена поддержка устаревшего свойства конфигурации
parse-decimal-literals-as-double. (#19166)Исправлена ошибка нехватки памяти при выполнении запросов с предложениями
GROUP BY. (#19119)
Коннектор Delta Lake#
Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации
parquet.small-file-thresholdи свойство сеансаparquet_small_file_thresholdдля изменения размера по умолчанию3MB, ниже которого файлы читаются целиком. Установка этого параметра в0Bотключает возможность. (#19127)Исправлено потенциальное дублирование данных, когда выполнение
OPTIMIZEсовпадает с обновлениями таблицы. (#19128)Исправлена ошибка при удалении строк в таблицах с секциями, имена которых содержат некоторые неалфавитно-цифровые символы. (#18922)
Коннектор Hive#
Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации
parquet.small-file-thresholdи свойство сеансаparquet_small_file_thresholdдля изменения размера по умолчанию3MB, ниже которого файлы читаются целиком. Установка этого параметра в0Bотключает возможность. (#19127)
Коннектор Hudi#
Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации
parquet.small-file-thresholdи свойство сеансаparquet_small_file_thresholdдля изменения размера по умолчанию3MB, ниже которого файлы читаются целиком. Установка этого параметра в0Bотключает возможность. (#19127)
Коннектор Iceberg#
Снижено число запросов чтения при сканировании маленьких файлов Parquet. Добавлены свойство конфигурации
parquet.small-file-thresholdи свойство сеансаparquet_small_file_thresholdдля изменения размера по умолчанию3MB, ниже которого файлы читаются целиком. Установка этого параметра в0Bотключает возможность. (#19127)Исправлена некорректная статистика столбцов для формата файлов Parquet в файлах манифеста. (#19052)
Коннектор Pinot#
Добавлена поддержка query options в динамических таблицах. (#19078)