Релиз 449 (31 мая 2024)#

Общее#

  • Добавлен обработчик событий OpenLineage. (#21265)

  • Исправлена редкая ошибка запроса или некорректные результаты для типов array, когда данные закодированы словарем. (#21911)

  • Исправлен экспорт метрик JMX для групп ресурсов. (#21343)

Коннектор BigQuery#

  • Повышена производительность при перечислении схем, когда включено свойство конфигурации bigquery.case-insensitive-name-matching. (#22033)

Коннектор ClickHouse#

  • Добавлена поддержка проталкивания выполнения функций count(distinct), corr, covar_samp и covar_pop в базу данных. (#7100)

  • Повышена производительность при проталкивании предикатов равенства для текстовых типов. (#7100)

Коннектор Delta Lake#

  • Добавлена поддержка системной таблицы $partitions. (#18590)

  • Добавлена поддержка чтения из таблиц и записи в таблицы с VACUUM Protocol Check. (#21398)

  • Добавлена поддержка настройки политики повторных попыток запросов в нативной файловой системе S3 с помощью свойств конфигурации s3.retry-mode и s3.max-error-retries. (#21900)

  • При создании таблиц в типах struct теперь автоматически используется timestamp(6), когда указан timestamp. (#21511)

  • Повышена производительность записи файлов данных. (#22089)

  • Исправлена ошибка запроса, когда задано свойство конфигурации hive.metastore.glue.catalogid. (#22048)

Коннектор Hive#

  • Добавлена поддержка указания имени каталога в метахранилище Thrift с помощью свойства конфигурации hive.metastore.thrift.catalog-name. (#10287)

  • Добавлена поддержка настройки политики повторных попыток запросов в нативной файловой системе S3 с помощью свойств конфигурации s3.retry-mode и s3.max-error-retries. (#21900)

  • Повышена производительность записи в файлы Parquet. (#22089)

  • Разрешено использовать кэширование файловой системы на координаторе Trino, когда включено node-scheduler.include-coordinator. (#21987)

  • Исправлена ошибка при перечислении таблиц Hive с неподдерживаемым синтаксисом. (#21981)

  • Исправлена ошибка запроса, когда задано свойство конфигурации hive.metastore.glue.catalogid. (#22048)

  • Исправлена ошибка при запуске табличной процедуры flush_metadata_cache с метахранилищем Glue v2. (#22075)

Коннектор Hudi#

  • Добавлена поддержка настройки политики повторных попыток запросов в нативной файловой системе S3 с помощью свойств конфигурации s3.retry-mode и s3.max-error-retries. (#21900)

Коннектор Iceberg#

  • Добавлена поддержка представлений при использовании каталога Iceberg REST. (#19818)

  • Добавлена поддержка настройки политики повторных попыток запросов в нативной файловой системе S3 с помощью свойств конфигурации s3.retry-mode и s3.max-error-retries. (#21900)

  • При создании таблиц в типах struct теперь автоматически используется varchar, когда указан char. (#21511)

  • При создании таблиц для временных типов в типах struct теперь автоматически используется микросекундная точность. (#21511)

  • Улучшены производительность и использование памяти при использовании файлов удаления по равенству. (#18396)

  • Повышена производительность записи в файлы Parquet. (#22089)

  • Исправлена ошибка при записи в таблицы со значениями Iceberg VARBINARY. (#22072)

Коннектор Pinot#

  • ⚠️ Breaking change: Удалена поддержка клиентов без gRPC, а также свойства конфигурации pinot.grpc.enabled и pinot.estimated-size-in-bytes-for-non-numeric-column. (#22213)

Коннектор Snowflake#

  • Исправлено некорректное сопоставление типов для числовых значений. (#20977)