Oracle connector#

The Oracle connector allows querying and creating tables in an external Oracle database. Connectors let Trino join data provided by different databases, like Oracle and Hive, or different Oracle database instances.
Requirements#
To connect to Oracle, you need:
Oracle 23 or higher.
Network access from the Trino coordinator and workers to Oracle. Port 1521 is the default port.
Configuration#
To configure the Oracle connector as the example catalog, create a file
named example.properties in etc/catalog. Include the following
connection properties in the file:
connector.name=oracle
# The correct syntax of the connection-url varies by Oracle version and
# configuration. The following example URL connects to an Oracle SID named
# "orcl".
connection-url=jdbc:oracle:thin:@example.net:1521:orcl
connection-user=root
connection-password=secret
The connection-url defines the connection information and parameters to pass
to the JDBC driver. The Oracle connector uses the Oracle JDBC Thin driver,
and the syntax of the URL may be different depending on your Oracle
configuration. For example, the connection URL is different if you are
connecting to an Oracle SID or an Oracle service name. See the Oracle
Database JDBC driver documentation
for more information.
The connection-user and connection-password are typically required and
determine the user credentials for the connection, often a service user. You can
use secrets to avoid actual values in the catalog
properties files.
Note
Oracle does not expose metadata comment via REMARKS column by default
in JDBC driver. You can enable it using oracle.remarks-reporting.enabled
config option. See Additional Oracle Performance Extensions
for more details.
By default, the Oracle connector uses connection pooling for performance improvement. The below configuration shows the typical default values. To update them, change the properties in the catalog configuration file:
oracle.connection-pool.max-size=30
oracle.connection-pool.min-size=1
oracle.connection-pool.inactive-timeout=20m
oracle.connection-pool.wait-duration=3s
To disable connection pooling, update properties to include the following:
oracle.connection-pool.enabled=false
Аутентификация источника данных#
Коннектор может передавать учетные данные для подключения к источнику данных несколькими способами:
непосредственно в файле конфигурации коннектора;
в отдельном файле свойств;
в файле хранилища ключей;
как дополнительные учетные данные, заданные при подключении к Trino.
Можно использовать секреты, чтобы не хранить конфиденциальные значения в файлах свойств каталога.
В следующей таблице описаны свойства конфигурации для учетных данных подключения:
Имя свойства |
Описание |
|---|---|
|
Тип поставщика учетных данных. Должен быть одним из |
|
Имя пользователя подключения. |
|
Пароль подключения. |
|
Имя свойства дополнительных учетных данных, значение которого используется
как имя пользователя. См. |
|
Имя свойства дополнительных учетных данных, значение которого используется как пароль. |
|
Расположение файла свойств, в котором находятся учетные данные. Он должен
содержать свойства |
|
Расположение файла Java Keystore, из которого считываются учетные данные. |
|
Формат файла хранилища ключей, например |
|
Пароль для хранилища ключей. |
|
Имя сущности хранилища ключей, используемой как имя пользователя. |
|
Пароль для сущности хранилища ключей с именем пользователя. |
|
Имя сущности хранилища ключей, используемой как пароль. |
|
Пароль для сущности хранилища ключей с паролем. |
Multiple Oracle servers#
If you want to connect to multiple Oracle servers, configure another instance of the Oracle connector as a separate catalog.
To add another Oracle catalog, create a new properties file. For example, if
you name the property file sales.properties, Trino creates a catalog named
sales.
Общие свойства конфигурации#
В следующей таблице описаны общие свойства конфигурации каталога для коннектора:
Имя свойства |
Описание |
|---|---|
|
Поддержка имен схем и таблиц без учета регистра. По умолчанию — |
|
Длительность, в течение которой кэшируются имена схем
и таблиц при сопоставлении без учета регистра. По умолчанию — |
|
Путь к конфигурационному файлу сопоставления имен в формате JSON, который
позволяет Trino различать схемы и таблицы с похожими именами в разных
регистрах. По умолчанию — |
|
Частота, с которой Trino проверяет конфигурационный файл сопоставления имен
на изменения. Значение длительности по умолчанию —
|
|
Длительность, в течение которой кэшируются
метаданные, включая статистику таблиц и столбцов. По умолчанию — |
|
Кэшировать факт недоступности метаданных, включая статистику таблиц и
столбцов. По умолчанию — |
|
Длительность, в течение которой кэшируются метаданные
схем. По умолчанию равно значению |
|
Длительность, в течение которой кэшируются метаданные
таблиц. По умолчанию равно значению |
|
Длительность, в течение которой кэшируется статистика
таблиц. По умолчанию равно значению |
|
Максимальное число объектов, хранящихся в кэше метаданных. По умолчанию —
|
|
Максимальное число операторов в пакетном выполнении. Не меняйте это
значение относительно значения по умолчанию. Нестандартные значения могут
отрицательно повлиять на производительность. По умолчанию — |
|
Проталкивать динамические фильтры в JDBC-запросы. По умолчанию — |
|
Максимальная длительность, в течение которой Trino
ожидает сбора динамических фильтров со стороны построения соединения перед
запуском JDBC-запроса. Большой тайм-аут потенциально может дать более
подробные динамические фильтры, но также может увеличить задержку некоторых
запросов. По умолчанию — |
Добавление метаданных запроса#
Необязательный параметр query.comment-format позволяет настроить
SQL-комментарий, который отправляется источнику данных с каждым запросом.
Формат комментария может содержать любые символы и следующие метаданные:
$QUERY_ID: идентификатор запроса.$USER: имя пользователя, отправившего запрос в Trino.$SOURCE: идентификатор клиентского инструмента, использованного для отправки запроса, напримерtrino-cli.$TRACE_TOKEN: токен трассировки, настроенный в клиентском инструменте.
Комментарий может предоставить больше контекста о запросе. Эта дополнительная
информация доступна в журналах источника данных. Чтобы включить в комментарий
переменные окружения из кластера Trino, используйте синтаксис
${ENV:VARIABLE-NAME}.
Следующий пример задает простой комментарий, идентифицирующий каждый запрос, отправленный Trino:
query.comment-format=Query sent by Trino.
С такой конфигурацией запрос вроде SELECT * FROM example_table;
отправляется источнику данных с добавленным комментарием:
SELECT * FROM example_table; /*Query sent by Trino.*/
Следующий пример улучшает предыдущий, используя метаданные:
query.comment-format=Query $QUERY_ID sent by user $USER from Trino.
Если Jane отправила запрос с идентификатором
20230622_180528_00000_bkizg, источнику данных отправляется следующая строка
комментария:
SELECT * FROM example_table; /*Query 20230622_180528_00000_bkizg sent by user Jane from Trino.*/
Note
Некоторые настройки драйвера JDBC и конфигурации журналирования могут привести к удалению комментария.
Порог компактирования домена#
Проталкивание большого списка предикатов в источник данных может ухудшить
производительность. По умолчанию Trino компактирует большие предикаты в более
простой предикат диапазона, чтобы сохранить баланс между производительностью и
проталкиванием предикатов. При необходимости порог такого компактирования можно
увеличить, чтобы повысить производительность, когда источник данных способен
эффективно использовать большие предикаты. Увеличение этого порога может
улучшить проталкивание больших динамических фильтров. Свойство конфигурации каталога
domain-compaction-threshold или свойство сеанса каталога domain_compaction_threshold можно
использовать для изменения значения по умолчанию
256 для этого порога.
Сопоставление без учета регистра#
Когда case-insensitive-name-matching установлено в true, Trino может
запрашивать схемы и таблицы с именами не только в нижнем регистре, поддерживая
сопоставление имени в нижнем регистре с фактическим именем в удаленной системе.
Однако если две схемы и/или таблицы имеют имена, различающиеся только
регистром, например “customers” и “Customers”, Trino не сможет запрашивать их
из-за неоднозначности.
В таких случаях используйте свойство конфигурации каталога
case-insensitive-name-matching.config-file, чтобы указать конфигурационный
файл, сопоставляющий эти удаленные схемы и таблицы с соответствующими схемами и
таблицами Trino. Кроме того, JSON-файл должен включать оба свойства, schemas
и tables, даже если они заданы только как пустые массивы.
{
"schemas": [
{
"remoteSchema": "CaseSensitiveName",
"mapping": "case_insensitive_1"
},
{
"remoteSchema": "cASEsENSITIVEnAME",
"mapping": "case_insensitive_2"
}],
"tables": [
{
"remoteSchema": "CaseSensitiveName",
"remoteTable": "tablex",
"mapping": "table_1"
},
{
"remoteSchema": "CaseSensitiveName",
"remoteTable": "TABLEX",
"mapping": "table_2"
}]
}
Запросы к одной из таблиц или схем, заданных в атрибутах mapping,
выполняются к соответствующей удаленной сущности. Например, запрос к таблицам в
схеме case_insensitive_1 перенаправляется в схему CaseSensitiveName, а
запрос к case_insensitive_2 — в схему cASEsENSITIVEnAME.
На уровне сопоставления таблиц запрос к case_insensitive_1.table_1 в
приведенной выше конфигурации перенаправляется к
CaseSensitiveName.tablex, а запрос к case_insensitive_1.table_2 — к
CaseSensitiveName.TABLEX.
По умолчанию после изменения конфигурационного файла сопоставления Trino нужно
перезапустить, чтобы загрузить изменения. При необходимости можно задать
case-insensitive-name-matching.config-file.refresh-period, чтобы Trino
обновлял свойства без перезапуска:
case-insensitive-name-matching.config-file.refresh-period=30s
Fault-tolerant execution support#
The connector supports Fault-tolerant execution of query processing. Read and write operations are both supported with any retry policy.
Querying Oracle#
The Oracle connector provides a schema for every Oracle database.
Run SHOW SCHEMAS to see the available Oracle databases:
SHOW SCHEMAS FROM example;
If you used a different name for your catalog properties file, use that catalog
name instead of example.
Note
The Oracle user must have access to the table in order to access it from Trino. The user configuration, in the connection properties file, determines your privileges in these schemas.
Examples#
If you have an Oracle database named web, run SHOW TABLES to see the
tables it contains:
SHOW TABLES FROM example.web;
To see a list of the columns in the clicks table in the web
database, run either of the following:
DESCRIBE example.web.clicks;
SHOW COLUMNS FROM example.web.clicks;
To access the clicks table in the web database, run the following:
SELECT * FROM example.web.clicks;
Type mapping#
Because Trino and Oracle each support types that the other does not, this connector modifies some types when reading or writing data. Data types may not map the same way in both directions between Trino and the data source. Refer to the following sections for type mapping in each direction.
Oracle to Trino type mapping#
Trino supports selecting Oracle database types. This table shows the Oracle to Trino data type mapping:
Oracle database type |
Trino type |
Notes |
|---|---|---|
|
|
|
|
|
|
|
|
When |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
No other types are supported.
Trino to Oracle type mapping#
Trino supports creating tables with the following types in an Oracle database. The table shows the mappings from Trino to Oracle data types:
Note
For types not listed in the table below, Trino can’t perform the CREATE TABLE <table> AS SELECT operations. When data is inserted into existing
tables, Oracle to Trino type mapping is used.
Trino type |
Oracle database type |
Notes |
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
No other types are supported.
Mapping numeric types#
An Oracle NUMBER(p, s) maps to Trino’s DECIMAL(p, s) except in these
conditions:
No precision is specified for the column (example:
NUMBERorNUMBER(*)), unlessoracle.number.default-scaleis set.Scale (
s) is greater than precision.Precision (
p) is greater than 38.Scale is negative and the difference between
pandsis greater than 38, unlessoracle.number.rounding-modeis set to a different value thanUNNECESSARY.
If s is negative, NUMBER(p, s) maps to DECIMAL(p + s, 0).
For Oracle NUMBER (without precision and scale), you can change
oracle.number.default-scale=s and map the column to DECIMAL(38, s).
Mapping datetime types#
Writing a timestamp with fractional second precision (p) greater than 9
rounds the fractional seconds to nine digits.
Oracle DATE type stores hours, minutes, and seconds, so it is mapped
to Trino TIMESTAMP(0).
Warning
Due to date and time differences in the libraries used by Trino and the
Oracle JDBC driver, attempting to insert or select a datetime value earlier
than 1582-10-15 results in an incorrect date inserted.
Mapping character types#
Trino’s VARCHAR(n) maps to VARCHAR2(n CHAR) if n is no greater
than 4000. A larger or unbounded VARCHAR maps to NCLOB.
Trino’s CHAR(n) maps to CHAR(n CHAR) if n is no greater than 2000.
A larger CHAR maps to NCLOB.
Using CREATE TABLE AS to create an NCLOB column from a CHAR value
removes the trailing spaces from the initial values for the column. Inserting
CHAR values into existing NCLOB columns keeps the trailing spaces. For
example:
CREATE TABLE vals AS SELECT CAST('A' as CHAR(2001)) col;
INSERT INTO vals (col) VALUES (CAST('BB' as CHAR(2001)));
SELECT LENGTH(col) FROM vals;
_col0
-------
2001
1
(2 rows)
Attempting to write a CHAR that doesn’t fit in the column’s actual size
fails. This is also true for the equivalent VARCHAR types.
Свойства конфигурации сопоставления типов#
Следующие свойства можно использовать для настройки того, как типы данных из подключенного источника данных сопоставляются с типами данных Trino и как метаданные кэшируются в Trino.
Имя свойства |
Описание |
Значение по умолчанию |
|---|---|---|
|
Настраивает обработку неподдерживаемых типов данных столбцов:
Соответствующее свойство сеанса каталога — |
|
|
Позволяет принудительно сопоставлять списки типов данных, разделенные
запятыми, с неограниченным |
Number to decimal configuration properties#
Configuration property name |
Session property name |
Description |
Default |
|---|---|---|---|
|
|
Default Trino |
not set |
|
|
Rounding mode for the Oracle
|
|
SQL support#
The connector provides read access and write access to data and metadata in Oracle. In addition to the globally available and read operation statements, the connector supports the following features:
INSERT, see also Нетранзакционный INSERT
UPDATE, see also Ограничение UPDATE
DELETE, see also Ограничение DELETE
ALTER TABLE, see also ALTER TABLE RENAME TO limitation
Нетранзакционный INSERT#
Коннектор поддерживает добавление строк с помощью операторов INSERT. По умолчанию вставка данных выполняется путем записи данных во
временную таблицу. Этот шаг можно пропустить, чтобы повысить производительность
и писать напрямую в целевую таблицу. Установите свойство каталога
insert.non-transactional-insert.enabled или соответствующее свойство сеанса
каталога non_transactional_insert в true.
Обратите внимание: при включенном свойстве данные могут быть повреждены в редких случаях, когда во время операции вставки возникают исключения. При отключенных транзакциях откат выполнить невозможно.
Ограничение UPDATE#
Поддерживаются только операторы UPDATE с константными присваиваниями и
предикатами. Например, следующий оператор поддерживается, потому что
присваиваемые значения являются константами:
UPDATE table SET col1 = 1 WHERE col3 = 1
Арифметические выражения, вызовы функций и другие неконстантные операторы
UPDATE не поддерживаются. Например, следующий оператор не поддерживается,
поскольку арифметические выражения нельзя использовать с командой SET:
UPDATE table SET col1 = col2 + 2 WHERE col3 = 1
Все значения столбцов строки таблицы нельзя обновить одновременно. Для таблицы из трех столбцов следующий оператор не поддерживается:
UPDATE table SET col1 = 1, col2 = 2, col3 = 3 WHERE col3 = 1
Ограничение DELETE#
Если указано предложение WHERE, операция DELETE работает только в том
случае, если предикат в предложении может быть полностью протолкнут в источник
данных.
ALTER TABLE RENAME TO limitation#
The connector does not support renaming tables across multiple schemas. For example, the following statement is supported:
ALTER TABLE example.schema_one.table_one RENAME TO example.schema_one.table_two
The following statement attempts to rename a table across schemas, and therefore is not supported:
ALTER TABLE example.schema_one.table_one RENAME TO example.schema_two.table_two
Procedures#
system.flush_metadata_cache()#
Очищает кэши метаданных JDBC. Например, следующий системный вызов очищает кэши
метаданных для всех схем в каталоге example:
USE example.example_schema;
CALL system.flush_metadata_cache();
system.execute('query')#
Процедура execute позволяет выполнить запрос напрямую в базовом источнике
данных. Запрос должен использовать поддерживаемый синтаксис подключенного
источника данных. Используйте процедуру для доступа к возможностям, которые
недоступны в Trino, или для выполнения запросов, которые не возвращают набор
результатов и поэтому не могут использоваться с транзитной табличной функцией
query или raw_query. Типичные случаи применения — операторы, создающие или
изменяющие объекты и требующие нативных возможностей, таких как ограничения,
значения по умолчанию, автоматическое создание идентификаторов или индексы.
Запросы также могут вызывать операторы, которые вставляют, обновляют или
удаляют данные и не возвращают данных в результате.
Текст запроса не разбирается Trino, а только передается дальше, поэтому он подчиняется только правилам безопасности и контроля доступа базового источника данных.
В следующем примере текущая база данных устанавливается в example_schema
каталога example. Затем в этой схеме вызывается процедура, чтобы удалить
значение по умолчанию из your_column в таблице your_table с помощью
стандартного SQL-синтаксиса в значении параметра query:
USE example.example_schema;
CALL system.execute(query => 'ALTER TABLE your_table ALTER COLUMN your_column DROP DEFAULT');
Убедитесь, что конкретная база данных поддерживает этот синтаксис, и при необходимости адаптируйте его на основе документации конкретной подключенной базы данных и ее версии.
Table functions#
The connector provides specific table functions to access Oracle.
query(varchar) -> table#
The query function allows you to query the underlying database directly. It
requires syntax native to Oracle, because the full query is pushed down and
processed in Oracle. This can be useful for accessing native features which are
not available in Trino or for improving query performance in situations where
running a query natively may be faster.
Нативный запрос, переданный базовому источнику данных, должен возвращать таблицу как набор результатов. Проверку и контроль безопасности для таких запросов выполняет только источник данных, используя собственную конфигурацию. Trino не выполняет эти задачи. Используйте транзитные запросы только для чтения данных.
As a simple example, query the example catalog and select an entire table:
SELECT
*
FROM
TABLE(
example.system.query(
query => 'SELECT
*
FROM
tpch.nation'
)
);
As a practical example, you can use the MODEL clause from Oracle SQL:
SELECT
SUBSTR(country, 1, 20) country,
SUBSTR(product, 1, 15) product,
year,
sales
FROM
TABLE(
example.system.query(
query => 'SELECT
*
FROM
sales_view
MODEL
RETURN UPDATED ROWS
MAIN
simple_model
PARTITION BY
country
MEASURES
sales
RULES
(sales['Bounce', 2001] = 1000,
sales['Bounce', 2002] = sales['Bounce', 2001] + sales['Bounce', 2000],
sales['Y Box', 2002] = sales['Y Box', 2001])
ORDER BY
country'
)
);
Note
Движок запросов не сохраняет порядок результатов этой функции. Если переданный
запрос содержит предложение ORDER BY, результат функции может быть
упорядочен не так, как ожидается.
Performance#
The connector includes a number of performance improvements, detailed in the following sections.
Synonyms#
Based on performance reasons, Trino disables support for Oracle SYNONYM. To
include SYNONYM, add the following configuration property:
oracle.synonyms.enabled=true
Pushdown#
The connector supports pushdown for a number of operations:
In addition, the connector supports Проталкивание агрегаций for the following functions:
Pushdown is only supported for DOUBLE type columns with the
following functions:
Pushdown is only supported for REAL or DOUBLE type column
with the following functions:
Note
Коннектор выполняет проталкивание там, где это может повысить производительность, но ради сохранения корректности операция может не проталкиваться. Когда проталкивание операции может дать лучшую производительность, но создает риск для корректности, коннектор отдает приоритет корректности.
Проталкивание соединений#
Свойство конфигурации каталога join-pushdown.enabled или свойство сеанса каталога join_pushdown_enabled
управляет тем, проталкивает ли коннектор операции соединения. По умолчанию
свойство имеет значение false, а включение проталкивания соединений может
отрицательно повлиять на производительность некоторых запросов.
Predicate pushdown support#
The connector does not support pushdown of any predicates on columns that use
the CLOB, NCLOB, BLOB, or RAW(n) Oracle database types, or Trino
data types that map to these Oracle database types.
In the following example, the predicate is not pushed down for either query
since name is a column of type VARCHAR, which maps to NCLOB in
Oracle:
SHOW CREATE TABLE nation;
-- Create Table
----------------------------------------
-- CREATE TABLE oracle.trino_test.nation (
-- name VARCHAR
-- )
-- (1 row)
SELECT * FROM nation WHERE name > 'CANADA';
SELECT * FROM nation WHERE name = 'CANADA';
In the following example, the predicate is pushed down for both queries
since name is a column of type VARCHAR(25), which maps to
VARCHAR2(25) in Oracle:
SHOW CREATE TABLE nation;
-- Create Table
----------------------------------------
-- CREATE TABLE oracle.trino_test.nation (
-- name VARCHAR(25)
-- )
-- (1 row)
SELECT * FROM nation WHERE name > 'CANADA';
SELECT * FROM nation WHERE name = 'CANADA';