Databricks Runtime 16.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.2, работающем на основе Apache Spark 3.5.2.

Databricks выпустила эту версию в феврале 2025 года.

Изменения поведения

Анализ теперь пропускает колонки с неподдерживаемыми типами

ANALYZE TABLE больше не приводит к возникновению сообщения об ошибке при использовании для таблиц с неподдерживаемыми типами, такими как ARRAY или MAP. Неподдерживаемые столбцы теперь пропускаются автоматически. Пользователи, которые реализовали логику, ожидающую этих ошибок, должны обновить свой код.

В Delta Sharing история таблиц включена по умолчанию

Общие ресурсы, созданные с помощью команды SQL ALTER SHARE <share> ADD TABLE <table>, теперь имеют включенную по умолчанию историю общего доступа (WITH HISTORY). См. ALTER SHARE.

Инструкции CREDENTIAL SQL возвращают ошибку при несоответствии типа учетных данных

В этом выпуске, если тип учетных данных, указанный в инструкции SQL для управления учетными данными, не соответствует типу аргумента учетных данных, возвращается ошибка, и инструкция не выполняется. Например, для инструкции DROP STORAGE CREDENTIAL 'credential-name', если credential-name не является учетными данными хранения, инструкция завершается ошибкой.

Это изменение позволяет предотвратить ошибки пользователей. Ранее эти операции успешно выполнялись, даже если передавались учетные данные, не соответствующие указанному типу учетных данных. Например, следующая инструкция успешно удаляет storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Это изменение влияет на следующие утверждения:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT... НА ... УЧЕТНЫЕ ДАННЫЕ
• REVOKE... НА ... УЧЕТНЫЕ ДАННЫЕ
• SHOW GRANTS ON...УЧЕТНЫЕ ДАННЫЕ

Новые функции и улучшения

• Создавайте пользовательские stateful-приложения с помощью transformWithState
• аутентификация в облачном хранилище объектов с помощью учетных данных службы
• Управляемый каталогом Unity доступ к внешним облачным службам с использованием учетных данных службы теперь стал общедоступным
• Ноутбуки поддерживаются как файлы рабочего пространства
• Использование timestampdiff & timestampadd в созданных выражениях столбцов
• поддержка синтаксиса конвейера SQL
• выполните HTTP-запрос с помощью функции http_request
• обновление до DESCRIBE TABLE возвращает метаданные в виде структурированного JSON
• нечувствительная к завершающим пробелам сортировка
• Преобразование таблиц Apache Iceberg с разбиением на сегменты в неразделённые таблицы Delta
• стандартный режим доступа, ранее известный как общий режим доступа, теперь поддерживает методы Spark Scala foreach, foreachBatchи flatMapGroupsWithState

Создавайте настраиваемые состояние-приложения с помощью transformWithState

Теперь можно использовать transformWithState и связанные API для реализации пользовательских приложений с отслеживанием состояния в рамках структурированных запросов потоковой передачи. См. Создание пользовательского стейтфул приложения.

Проверка подлинности в облачном хранилище объектов с помощью учетных данных службы

Теперь можно использовать учетные данные службы Databricks для проверки подлинности в облачном хранилище объектов с помощью автозагрузчика. См. статью "Настройка потоков автозагрузчика" в режиме уведомлений о файлах.

Управляемый Unity Catalog доступ к внешним облачным службам с использованием учетных данных службы теперь является общедоступным

Учетные данные службы обеспечивают простую и безопасную проверку подлинности с помощью служб вашего облачного клиента из Azure Databricks. При использовании Databricks Runtime 16.2 учетные данные службы общедоступны и теперь поддерживают пакеты SDK Scala, а также пакет SDK для Python, поддерживаемый в общедоступной предварительной версии. См. статью "Создание учетных данных службы".

Блокноты поддерживаются в качестве файлов рабочей области

В Databricks Runtime 16.2 и более поздних версиях записные книжки поддерживаются как файлы рабочей области. Теперь вы можете программно взаимодействовать с записными книжками из любого места, где доступна файловая система рабочей области, включая запись, чтение и удаление записных книжек, как и любой другой файл. Дополнительные сведения см. в статье " Программное создание, обновление и удаление файлов и каталогов".

Использование timestampdiff & timestampadd в созданных выражениях столбцов

В Databricks Runtime 16.2 и более поздних версиях можно использовать функции timestampdiff и timestampadd в выражениях, созданных для столбцов Delta Lake. См. созданные столбцы Delta Lake .

Поддержка синтаксиса конвейера SQL

В Databricks Runtime 16.2 и более поздних версиях можно создавать конвейеры SQL. Конвейер SQL структурит стандартный запрос, например SELECT c2 FROM T WHERE c1 = 5, в пошаговую последовательность, как показано в следующем примере:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Дополнительные сведения о поддерживаемом синтаксисе конвейеров SQL см. в разделе Синтаксис конвейера SQL.

Общие сведения об этом межотраслевом расширении см. в статье SQL Has Problems. Их можно исправить: синтаксис канала в SQL (Google Research).

Создание HTTP-запроса с помощью функции http_request

В Databricks Runtime 16.2 и более поздних версиях вы можете устанавливать HTTP-соединения и через них выполнять HTTP-запросы, используя функцию http_request.

Обновление до DESCRIBE TABLE возвращает метаданные в виде структурированного JSON

В Databricks Runtime 16.2 и более поздних версиях можно использовать команду DESCRIBE TABLE AS JSON для возврата метаданных таблицы в виде документа JSON. Выходные данные JSON более структурированы, чем отчет, доступный для чтения по умолчанию, и можно использовать для программной интерпретации схемы таблицы. Дополнительные сведения см. в разделе DESCRIBE TABLE AS JSON.

Игнорирование конечных пробелов при сортировках

Databricks Runtime 16.2 добавляет поддержку сортировок, нечувствительных к задним пробелам, расширяя возможности сортировки, добавленные в Databricks Runtime 16.1. Например, эти сортировки обрабатывают 'Hello' и 'Hello ' как равные. Чтобы узнать больше, см. раздел сортировки RTRIM.

Преобразование таблиц Apache Iceberg с разбиением по корзинам в таблицы Delta без секционирования.

Теперь операторы CONVERT TO DELTA и CREATE TABLE CLONE поддерживают преобразование таблицы Apache Iceberg с секционированием по сегментам в несекционированную таблицу Delta.

Стандартный режим доступа для вычислений (ранее общий режим доступа) теперь поддерживает методы Spark Scala foreach, foreachBatchи flatMapGroupsWithState.

В Databricks Runtime 16.2 и более поздних версиях вычисление стандартного режима доступа теперь поддерживает методы Scala DataStreamWriter.foreachBatch и KeyValueGroupedDataset.flatMapGroupsWithState. В Databricks Runtime 16.1 и более поздних версий вычисление стандартного режима доступа теперь поддерживает метод Scala DataStreamWriter.foreach.

Исправления ошибок

Улучшенная инкрементная обработка клона

Этот выпуск содержит исправление для граничного случая, когда инкрементный процесс CLONE может повторно копировать файлы, уже скопированные из исходной таблицы в целевую таблицу. См. Клонирование таблицы в Azure Databricks.

Обновления библиотеки

• Обновленные библиотеки Python:
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • org.json4s.json4s-ast_2.12 с 3.7.0-M11 до 4.0.7
  • org.json4s.json4s-core_2.12 с 3.7.0-M11 до 4.0.7
  • org.json4s.json4s-jackson_2.12 начиная с 3.7.0-M11 до 4.0.7
  • org.json4s.json4s-scalap_2.12 с 3.7.0-M11 до 4.0.7

Apache Spark

Databricks Runtime 16.2 включает Apache Spark 3.5.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 16.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-49966] Отменить “[SC-179501][sql] Использовать Invoke для реализации JsonToStructs(from_json)”
• [SPARK-50904] [SC-186976][sql] Исправление выполнения пошагового запроса выражения сортировки
• [SPARK-49666] [SQL] Включение тестов обрезки для выражения InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Изменение подписи выражения TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Хранить метку времени как тип long в describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Добавление часового пояса при приведении к метке времени в V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Сбой в ExecuteResponseObserver приводит к бесконечным повторным присоединениям запросов.
• [SPARK-50522] [SC-186500][sql] Поддержка неопределённой сортировки
• [SPARK-50525] [SC-186058][sql] Определение правила оптимизатора InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Общие выражения, повторяющиеся в разных конструкциях With, следует проецировать только один раз.
• [SPARK-50847] [SC-186916] [SQL] Запретить применение ApplyCharTypePadding для определенных выражений In
• [SPARK-50714] [SC-186786][sql][SS] Включение эволюции схемы для TransformWithState при использовании кодировки Avro
• [SPARK-50795] [SC-186390][sql] Отображение всех дат DESCRIBE AS JSON в формате ISO-8601 и всех типов как dataType.simpleString.
• [SPARK-50561] [ SC-185924][sql] Databricks Runtime 16.x cherrypick: улучшение приведения типов и проверки границ для универсальной функции SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog поддерживает магическое значение builtin
• [SPARK-50831] [SC-186736][sql] Включение сортировки по умолчанию
• [SPARK-50263] [SC-186793][connect] Замените System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [SC-184926][sql] Реализация CreateSQLFunctionCommand для скалярных и табличных функций SQL
• [SPARK-50830] [SC-186718] [SQL] Возвращает результат с одним проходом в виде результата анализа двойного выполнения
• [SPARK-50707] [SC-186098][sql] Включение преобразования в и из char/varchar
• [SPARK-49490] [SC-182137][sql] Добавление тестов для initCap
• [SPARK-50529] [SC-184535][sql] Изменить поведение char/varchar в соответствии с конфигурацией spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Удалите рекомендацию по конфигурации ANSI в CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Исправлена ошибка, из-за которой передача null Variant в createDataFrame приводит к сбою, и добавлена поддержка Variant в createDataFrame в Spark Connect.
• [SPARK-50828] [SC-186493][python][ML][connect] Объявить устаревшим pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Установить состояние при сбое анализа
• [SPARK-50824] [SC-186472][python] Избегайте импорта необязательных пакетов Python для проверки
• [SPARK-50755] [SC-185521][sql] Красивое отображение плана для InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Входные данные для типизированных агрегатов следует анализировать
• [SPARK-50791] [SC-185867][sc-186338][SQL] Исправлена ошибка обработки NPE в хранилище состояния
• [SPARK-50801] [SC-186365] [SQL] Улучшить PlanLogger.logPlanResolution, чтобы он отображал только неразрешенные и решенные планы
• [SPARK-50749] [SC-185925][sql] Исправлена ошибка упорядочивания в методе CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Унификация имени файла и структуры результатов профилировщика JVM в DFS
• [SPARK-50790] [SC-186354][python] Реализация анализа json в pyspark
• [SPARK-50738] [SC-184856][python] Обновить black до 23.12.1
• [SPARK-50764] [SC-185930][python] Уточнение и улучшение документации связанных методов xpath
• [SPARK-50798] [SC-186277][sql] Улучшить NormalizePlan
• [SPARK-49883] [SC-183787][ss] Интеграция структуры контрольных точек хранилища состояний версии 2 с RocksDB и RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Добавление флага функции для сортировки на уровне объекта
• [SPARK-50778] [SC-186183][python] Добавить metadataColumn в DataFrame PySpark
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: улучшить автоматически сгенерированные псевдонимы выражений с помощью операторов конвейера SQL
• [SPARK-50541] [16.x][sc-184937] Описание таблицы как JSON
• [SPARK-50772] [ SC-185923][sql] Databricks Runtime 16.x cherrypick: сохранение псевдонимов таблицы после SET, EXTEND, DROP операторов
• [SPARK-50769] [SC-185919][sql] Исправить ClassCastException в HistogramNumeric
• [SPARK-49025] [ SC-174667] Синхронизация изменений кода в Databricks Runtime
• [SPARK-50752] [SC-185547][python][SQL] Введите конфигурации для настройки Python UDF без стрелки
• [SPARK-50705] [SC-185944][sql] Сделать QueryPlan без блокировки
• [SPARK-50690] [16.x][sc-184640][SQL] Исправление несоответствия в столбцах вывода запросов DESCRIBE TABLE
• [SPARK-50746] [SC-184932][sql] Замените Either на VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder задает конфигурации в пакетном режиме
• [SPARK-50480] [SC-183359][sql] Расширить CharType и VarcharType из StringType
• [SPARK-50675] [SC-184539][sql] Поддержка параметров сортировки на уровне таблиц и представлений
• [SPARK-50409] [SC-184516][sql] Исправление инструкции set, чтобы игнорировать ; в конце SET;, SET -v; и SET key;
• [SPARK-50743] [SC-185528][sql] Нормализация идентификаторов CTERelationDef и CTERelationRef
• [SPARK-50693] [SC-184684][connect] Входные данные для TypedScalaUdf следует анализировать
• [SPARK-50744] [SC-184929][sql] Добавьте тестовый случай для разрешения имен view/CTE
• [SPARK-50710] [SC-184767][connect] Добавьте поддержку дополнительного подключения клиента к сеансам после выпуска
• [SPARK-50703] [SC-184843][python] Улучшение докстринга для regexp_replace, regexp_substr и regexp_instr
• [SPARK-50716] [SC-184823][core] Исправьте логику очистки символьных ссылок в методе JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Исправлена GROUP BY порядковая поддержка операторов SQL AGGREGATE для конвейера
• [SPARK-50614] [SC-184729][sql] Добавить поддержку шреддинга вариантов для Parquet
• [SPARK-50661] [SASP-4936] Добавьте обратную совместимость для старого клиента FEB.
• [SPARK-50676] [SC-184641][sql] Удалить неиспользуемые private lazy val mapValueContainsNull из ElementAt
• [SPARK-50515] [SC-183813][core] Добавление интерфейса только для чтения в SparkConf
• [SPARK-50697] [SC-184702][sql] Включить хвостовую рекурсию, где это возможно
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]. Исправлена схема состояния для FlatMapGroupsWithState в Spark Connect, если начальное состояние отсутствует.
• [SPARK-50701] [SC-184704][python] Построение графиков теперь требует минимальную версию Plotly.
• [SPARK-50702] [SC-184727][python] Улучшение документации regexp_count, regexp_extract и regexp_extract_all
• [SPARK-50499] [SC-184177][python] Демонстрация метрик из BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Добавить поддержку RPAD pushdown
• [SPARK-50682] [SC-184579][sql] Внутренний псевдоним должен быть канонизирован
• [SPARK-50699] [SC-184695][python] Анализ и генерация строки DDL с указанным сеансом
• [SPARK-50573] [SC-184568][ss] Добавление идентификатора схемы состояния в строки состояния для облегчения эволюции схемы.
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Исправление реализации foreachBatch в Spark Connect Scala. для поддержки набора данных[T].
• [SPARK-50689] [SC-184591][sql] Принудительное детерминированное упорядочивание в списках проектов LCA
• [SPARK-50696] [SC-184667][python] Оптимизация вызова Py4J для метода синтаксического анализа DDL
• [SPARK-49670] [SC-182902][sql] Включить параметры сортировки для всех сквозных выражений
• [SPARK-50673] [SC-184565][ml] Избегать двойного обхода коэффициентов модели в конструкторе Word2VecModel
• [SPARK-50687] [SC-184588][python] Оптимизация логики для получения трассировок стека для DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Кэшируйте схему синтаксического анализа для MapInXXX и ApplyInXXX
• [SPARK-50674] [SC-184589][python] Исправление проверки наличия метода 'terminate' в оценке UDTF
• [SPARK-50684] [SC-184582][python] Улучшение производительности Py4J в DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Добавьте поддержку новой версии метаданных состояния для TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Исправить транспонирование для отображения правильного сообщения об ошибке при указании недопустимых столбцов индекса
• [SPARK-50650] [SC-184532][sql] Улучшение логирования в однопроходном анализаторе
• [SPARK-50665] [SC-184533][sql] Замена LocalRelation на ComparableLocalRelation в NormalizePlan
• [SPARK-50644] [SC-184486][sql] Чтение вариантной структуры в средстве чтения Parquet.
• [SPARK-49636] [SC-184089][sql] Удалите предложение конфигурации ANSI в INVALID_ARRAY_INDEX и INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Рефакторинг вычисления выходных данных Union для повторного использования в однопроходном анализаторе
• [SPARK-50659] [SC-184512][sql] Переместить ошибки, связанные с объединением, в QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Исправление неявного вычисления контекста строкового типа
• [SPARK-50546] [SC-183807][sql] Добавление поддержки приведения подзаверждения к типу сортировки
• [SPARK-50405] [SC-182889][sql] Корректно обрабатывать приведение типа сопоставления сложных типов данных
• [SPARK-50637] [SC-184434][sql] Исправлен стиль кода для однопроходного анализатора
• [SPARK-50638] [SC-184435][sql] Рефакторинг разрешения представления в отдельный файл для повторного использования в однопроходном анализаторе
• [SPARK-50615] [SC-184298][sql] Перемещать вариант в сканирование.
• [SPARK-50619] [SC-184210][sql] Refactor VariantGet.cast для упаковки аргументов приведения
• [SPARK-50599] [SC-184058][sql] Создайте черту DataEncoder, которая позволяет кодировать Avro и UnsafeRow
• [SPARK-50076] [SC-183809] Исправление ключей журнала
• [SPARK-50597] [SC-183972][sql] Рефакторинг пакетной сборки в Optimizer.scala и SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Включение журнала изменений для хранения сведений о происхождении
• [SPARK-50526] [SC-183811][ss] Добавление формата кодирования хранилища в журнал смещений и блокировка не поддерживаемых операторов с состоянием при использовании Avro
• [SPARK-50540] [SC-183810][python][SS] Исправлена схема строки для StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] В первую очередь используется SQLConf, предоставленный SparkSession.
• [SPARK-48898] [SC-183793][sql] Правильно задать возможность NULL в схеме Variant
• [SPARK-50559] [SC-183814][sql] Храните результаты операций Except, Intersect и Union как lazy vals
• [SPARK-48416] [SC-183643][sql] Поддержка вложенных сопоставленных выражений
• [SPARK-50428] [SC-183566][python] Support TransformWithStateInPandas в пакетных запросах
• [SPARK-50063] [SC-183350][sql][CONNECT] Добавление поддержки Variant в клиенте Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Реализовать StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Исправление ошибок сборки Maven, введенных кэшем Guava в RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Исправлена ошибка, из-за которой пустые блоки BEGIN END вызывают ошибку
• [SPARK-50536] [SC-183443][core] Логировать размеры загруженных архивных файлов в SparkContext и Executor
• [SPARK-45891] [SC-183439][sql] Реконструкция двоичного кода варианта из измельченных данных.
• [SPARK-49565] [SC-183465][sql] Добавление синтаксиса канала SQL для оператора FROM
• [SPARK-50497] [SC-1833338][sql] Сбой запросов с соответствующим сообщением, если MultiAlias содержит функцию без генератора
• [SPARK-50460] [SC-183375][python][CONNECT] Обобщение и упрощение обработки исключений Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Исправление перезаписи параметра сжатия в df.write.parquet
• [SPARK-50329] [SC-183358][sql] исправить InSet$toString
• [SPARK-50524] [SC-183364][sql] Нижнее RowBasedKeyValueBatch.spill предупреждающее сообщение до уровня отладки
• [SPARK-50528] [SC-183385][connect] Переместить InvalidCommandInput в общий модуль
• [SPARK-50017] [SC-182438][ss] Поддержка кодирования Avro для оператора TransformWithState
• [SPARK-50463] [SC-182833][sql] Исправление ConstantColumnVector при преобразовании колоночного формата в строковый
• [SPARK-50235] [SC-180786][sql] Очистка ресурса ColumnVector после обработки всех строк в ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Исправление теста, связанного с состоянием инициализации, для использования StreamManualClock
• [SPARK-50478] [SC-183188][sql] Исправление сопоставления StringType
• [SPARK-50492] [SC-183177][ss] Исправление ошибки java.util.NoSuchElementException при удалении столбца времени события после применения функции dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Добавление синтаксиса канала SQL для оператора SET
• [SPARK-50449] [SC-183178][sql] Исправлена грамматика сценариев SQL, допускающая пустые тела в циклах, IF и CASE.
• [SPARK-50251] [SC-180970][python] Добавление getSystemProperty в PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Исправление неправильной конфигурации памяти исполнителя при работе с несколькими профилями ресурсов
• [SPARK-49461] [SC-179572][ss] Идентификатор постоянной контрольной точки для фиксации записей и их повторного считывания
• [SPARK-50343] [SC-183119][spark-50344][SQL] Добавление синтаксиса канала SQL для операторов DROP и AS
• [SPARK-50481] [SC-182880][core] Улучшить SortShuffleManager.unregisterShuffle, чтобы пропустить логику файлов контрольной суммы, если контрольная сумма отключена
• [SPARK-50498] [SC-183090][python] Избегайте ненужных вызовов py4j в listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Исправление самостоятельного соединения после applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Устранение проблемы с опусканием xor в Postgres

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

Обслуживание и обновления

См. обновления обслуживания Databricks Runtime 16.2.

Системная среда

• Операционная система: Ubuntu 24.04.1 LTS
  • Примечание. Это версия Ubuntu, используемая контейнерами среды выполнения Databricks. Контейнеры среды выполнения Databricks выполняются на виртуальных машинах поставщика облачных служб, которые могут использовать другую версию Ubuntu или дистрибутив Linux.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN из Posit диспетчер пакетов от 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Установленные Java и библиотеки Scala (версия кластера Scala 2.12)