Релиз 468 (17 декабря 2024)#

Общее#

  • Добавлена поддержка Python user-defined functions. (#24378)

  • В Preview Web UI добавлен обзор кластера. (#23600)

  • Добавлены новые состояния узлов DRAINING и DRAINED, позволяющие повторно активировать выводимый из эксплуатации рабочий узел. (#24444)

Коннектор BigQuery#

  • Повышена производительность при чтении внешних таблиц BigLake. (#21016)

Коннектор Delta Lake#

  • ⚠️ Breaking change: Уменьшено использование памяти координатора для кэша метаданных таблиц Delta и добавлена конфигурация delta.metadata.cache-max-retained-size для управления использованием памяти. Удалено свойство конфигурации delta.metadata.cache-size, а значение по умолчанию для delta.metadata.cache-ttl увеличено до 30m. (#24432)

Коннектор Hive#

  • Оптимизация выполнения с несовпадающим числом бакетов включена по умолчанию. Ее можно отключить с помощью свойства конфигурации hive.optimize-mismatched-bucket-count и свойства сеанса optimize_mismatched_bucket_count. (#23432)

  • Производительность повышена за счет отключения выполнения с бакетами, когда оно не полезно для обработки запроса. (#23432)

Коннектор Iceberg#

  • Повышена производительность при выполнении соединения или агрегации по бакетированной таблице с выполнением с бакетами. Это можно отключить с помощью свойства конфигурации iceberg.bucket-execution и свойства сеанса bucket_execution_enabled. (#23432)

  • Свойство конфигурации iceberg.materialized-views.storage-schema объявлено устаревшим. (#24398)

  • ⚠️ Breaking change: Столбец partitions в metadata-таблице $manifests переименован в partition_summaries. (#24103)

  • Устранено чрезмерное использование ресурсов координатора при чтении системных таблиц Iceberg. (#24396)

Коннектор PostgreSQL#

SPI#

  • Добавлено проталкивание секционирования, которое коннектор может использовать для включения необязательного секционирования или выбора между несколькими стратегиями секционирования. (#23432)