Объектное хранилище#

Системы объектного хранения широко используются для создания data lake или lakehouse. Эти системы предоставляют способы хранения объектов в структурированном виде и средства доступа к ним, например через API по HTTP. Объекты представляют собой файлы в различных форматах, включая ORC, Parquet и другие. Системы объектного хранения доступны как сервисы от облачных провайдеров и других вендоров, либо могут быть развернуты самостоятельно с использованием коммерческих или open-source решений.

Коннекторы объектного хранилища#

Trino получает доступ к файлам напрямую в объектных хранилищах и удалённых файловых системах. Следующие коннекторы используют этот прямой подход для чтения и записи файлов данных.

Коннекторы поддерживают различные протоколы и форматы, используемые в этих системах объектного хранения, и имеют отдельные требования к доступности метаданных.

Конфигурация#

По умолчанию поддержка файловых систем для каталога не активирована. Необходимо выбрать и настроить одно из следующих свойств, чтобы определить поддержку файловых систем в каталоге. Каждый каталог может использовать только один тип поддержки файловой системы.

File system support properties#

Свойство

Описание

fs.native-azure.enabled

Включает нативную реализацию поддержки Azure Storage. По умолчанию false.

fs.native-gcs.enabled

Включает нативную реализацию поддержки Google Cloud Storage. По умолчанию false.

fs.native-s3.enabled

Включает нативную реализацию поддержки S3. По умолчанию false.

fs.hadoop.enabled

Включает поддержку HDFS и устаревшую поддержку других файловых систем с использованием библиотек HDFS. По умолчанию false.

Нативная поддержка файловых систем#

Trino включает оптимизированные реализации для доступа к следующим системам и их совместимым аналогам:

Нативная поддержка доступна во всех четырёх коннекторах и должна быть явно включена.

Legacy file system support#

По умолчанию используются устаревшие библиотеки из экосистемы Hadoop. Их следует использовать только для доступа к Hadoop Distributed File System (HDFS):

Все четыре коннектора могут использовать устаревшие свойства hive.* для доступа к другим объектным хранилищам. Эти свойства будут удалены в будущих версиях. Дополнительная документация доступна в разделе коннектора Hive и руководствах по миграции:Все четыре коннектора могут использовать устаревшие свойства hive.* для доступа к другим объектным хранилищам. Эти свойства будут удалены в будущих версиях. Дополнительная документация доступна в разделе коннектора Hive и руководствах по миграции:

Дополнительная поддержка объектного хранения#

Trino также предоставляет следующие дополнительные возможности и функции для работы с объектным хранилищем: