Databricks Runtime 14.2 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0-s verziójával működő Databricks Runtime 14.2-ről nyújtanak információkat.

A Databricks 2023 novemberében adta ki ezt a verziót.

Új funkciók és fejlesztések

• CACHE SELECT most figyelmen kívül van hagyva
• Továbbfejlesztett gyorsítótárazási viselkedés
• Kijavítottuk a sérült fájlkezelést a DML-parancsokban
• Sémapéldány nyilvántartó támogatása a megosztott fürtökön belüli protobuf- és Avro-funkciókhoz
• foreachBatch és StreamingListener támogatás
• A sorszintű egyidejűség általánosan elérhető és alapértelmezés szerint be van kapcsolva
• Delta Sharing: A címzettek kötegelt, CDF- és folyamatos lekérdezéseket hajthatnak végre törlési vektorokkal rendelkező megosztott táblákon (nyilvános előzetes verzió)
• Sekély klón a Unity Catalog külső tábláihoz (nyilvános előzetes verzió)
• Új lemez gyorsítótárazási hozzárendelési algoritmusa
• from_avro sémaregisztrációs összekötő támogatja a sémafejlődést
• Gyorsabb többszálas statisztikai adatgyűjtés
• Pushdown szűrők a DeltaSource-ban Delta-fájlokon
• Felhasználó által definiált Scala skaláris függvények támogatása megosztott fürtökön (nyilvános előzetes verzió)

CACHE SELECT most figyelmen kívül van hagyva

Az SQL-parancs CACHE SELECT mostantól figyelmen kívül lesz hagyva egy továbbfejlesztett gyorsítótárazási algoritmus mellett. Lásd: Teljesítmény optimalizálása gyorsítótárazással az Azure Databricks-ben.

Továbbfejlesztett gyorsítótárazási viselkedés

A Spark-ütemező mostantól gyorsabb partíció-hozzárendeléssel, jobb kiegyensúlyozással a fürt automatikus skálázása során, és következetesebb lekérdezés-végrehajtással javítja a DiskCache elhelyezését.

Kijavítottuk a sérült fájlkezelést a DML-parancsokban

A DML parancsok DELETE, UPDATEés MERGE INTO a továbbiakban nem tartják tiszteletben az olvasási beállításokat ignoreCorruptFiles és ignoreMissingFiles. Ha olvashatatlan fájlba ütközik egy táblában, ezek a parancsok akkor is sikertelenek lesznek, ha ezek a beállítások meg vannak adva.

Sémaregisztrációs adatbázis támogatása a megosztott fürtök protobuf- és Avro-függvényeihez

Mostantól használhatja a from_avro, to_avro, from_protobuf és to_protobuf Python függvényt a megosztott fürtök sémaregisztrációs adatbázisával.

foreachBatch és StreamingListener támogatás

Mostantól megosztott fürtökben használhatja a foreachBatch() és StreamingListener API-kat a strukturált streameléssel. Lásd a következő cikkeket: A foreachBatch használata tetszőleges adatgyűjtőkbe való íráshoz és Strukturált streamelési lekérdezések figyelése Azure Databricks-en.

A sorszintű egyidejűség általánosan elérhető és alapértelmezés szerint be van kapcsolva

A sorszintű egyidejűség a sorszintű módosítások észlelésével csökkenti az egyidejű írási műveletek közötti ütközéseket. A sorszintű egyidejűség csak particionálás nélküli táblákon támogatott, beleértve a folyékony fürtözésű táblákat is. A sorszintű egyidejűség alapértelmezés szerint engedélyezve van a deltatáblákon, és engedélyezve van a törlési vektorok. Lásd: Sorszintű konkurencia.

Delta Sharing: A címzettek kötegelt, CDF- és streamelési lekérdezéseket hajthatnak végre törlési vektorokkal rendelkező megosztott táblákon (nyilvános előzetes)

A Delta Sharing címzettjei mostantól kötegelt, CDF- és streamelési lekérdezéseket hajthatnak végre törlési vektorokat használó megosztott táblákon. A Databricks Runtime 14.1-ben csak kötegelt lekérdezéseket hajthatnak végre. Lásd: Táblák hozzáadása törlési vektorokkal vagy oszlopleképezéssel egy megosztáshoz, Táblák olvasása, ha engedélyezve van a törlési vektorok vagy oszlopleképezés, valamint Táblák olvasása törlési vektorokkal vagy oszlopleképezéssel.

Sekély klón a Unity Catalog külső tábláihoz (nyilvános előzetes verzió)

Most már használhatja a sekély klónt a Unity Catalog külső tábláival. Lásd: Felületes klónozás Unity Katalógus táblákhoz.

Új lemez gyorsítótárazási hozzárendelési algoritmusa

A Spark-ütemező mostantól egy új lemezgyorsítótárazási algoritmust használ. Az algoritmus javítja a lemezhasználatot és a partíció-hozzárendelést a csomópontok között, és gyorsabb hozzárendelést eredményez mind kezdetben, mind a fürt skálázási eseményei után. A Stickier cache-hozzárendelés javítja a futtatások konzisztenciáját, és csökkenti az újraegyensúlyozási műveletek során áthelyezett adatokat.

from_avro a sémaregisztrációs összekötő támogatja a sémafejlődést

Most már lehetősége van engedélyezni, hogy az adatfolyamok újrainduljanak frissített rekordok észlelésekor. Korábban, ha a séma fejlődése az from_avro összekötővel történt, az új oszlopok visszatérnek null. Lásd a streamelt Avro-adatok olvasását és írását.

Gyorsabb többszálas statisztikai adatgyűjtés

A statisztikai adatgyűjtés kis fürtökön akár 10-szer gyorsabb, amikor Apache Iceberg- és Parquet-táblákból futtat CONVERT TO DELTA vagy klónoz. Lásd: Konvertálás Delta Lake - és Clone Parquet- és Iceberg-táblákká.

Leküldéses szűrők a DeltaSource-ban Delta-fájlokon

A jobb kihasználtság érdekében a Delta-táblák streamelési lekérdezéseinek partíciószűrői le lesznek küldve a Delta-ba a sebességkorlátozás előtt.

Scala skaláris, felhasználó által definiált függvények támogatása megosztott fürtökön (nyilvános előzetes verzió)

Mostantól használhatja a Scala skaláris, felhasználó által definiált függvényeit a unitykatalógus-kompatibilis, megosztott hozzáférési móddal konfigurált fürtökön. Lásd: Felhasználó által definiált skaláris függvények – Scala.

Könyvtárfrissítések

• Frissített Python kódtárak:
  • fastjsonschema 2.18.0 és 2.19.0 között
  • filelock 3.12.3-tól 3.12.4-hez
  • googleapis-common-protos 1.60.0 és 1.61.0 között
• Frissített R-kódtárak:
• Frissített Java kódtárak:

Apache Spark

A Databricks Runtime 14.2 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 14.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-45592] [DBRRM-624] Visszaállítás: “[SC-146977][sql] Az AQE-ben az InMemoryTableScanExec hiba kijavítása”
• [SPARK-45524] [DBRRM-625] Visszavonás “[SC-146319][python][SQL] Kezdeti támogatás f...
• [SPARK-45433] [DBRRM-621] A „[SC-145163][sql] CSV/JSON séma következtetésének javítása...” visszavonása
• [SPARK-45592] [SC-146977][sql] Az AQE és az InMemoryTableScanExec helyességi problémája
• [SPARK-45354] Visszavonás: “[SC-143991][sql] Függvények feloldása alulról felfelé”
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Tesztek javítása
• [SPARK-45680] [CONNECT] Kiadási munkamenet
• [SPARK-43380] [SC-146726][es-897115][SQL] Lassulás javítása az Avro readben
• [SPARK-45649] [SC-146742][sql] Egyesítse a felkészülési keretrendszert a következőhöz: OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] StructType létrehozása Json-ból
• [SPARK-45620] [SC-146225][python] A Python UDTF-hez kapcsolódó felhasználói API-k javítása a camelCase használatához
• [SPARK-45727] [SC-146978][ss] A nem használt térkép eltávolítása a vízjel propagálási szimulációjában
• [SPARK-45723] [SC-146890][python][CONNECT] A katalógus metódusai elkerülik a pandas konvertálását
• [SPARK-45574] [SC-146106][sql] Adja hozzá a :: szintaxist mint típuskonverzió rövidítést
• [SPARK-45670] [SC-146725][core][3.5] A SparkSubmit nem támogatja --total-executor-cores a K8-on való üzembe helyezést
• [SPARK-45661] [SC-146594][sql][PYTHON] Adja hozzá a toNullable-t a StructType-hez, MapType-hez és ArrayType-hoz
• [SPARK-45524] [SC-146319][python][SQL] Python adatforrás olvasási API kezdeti támogatása
• [SPARK-45542] [SC-145892][core] Csere a setSafeMode(HdfsConstants.SafeModeAction, boolean) következőre: setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: Üres bemeneti partíciók kezelése dinamikus szűrés után
• [SPARK-45454] [SC-144846][sql] Állítsa a tábla alapértelmezett tulajdonosát current_user
• [SPARK-45554] [SC-146875][python] Rugalmas paraméter bevezetése assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] DataFrame ID használata a CollectMetrics szemantikai ellenőrzéséhez
• [SPARK-45674] [SC-146862][connect][PYTHON] A JVM-függő attribútumok hibaüzenetének javítása a Spark Connecten.
• [SPARK-45646] [SC-146276][sql] A Hive 2.0 előtti keménykódolási idő változóinak eltávolítása
• [SPARK-43380] [SC-146726][es-897115][SQL] Lassulás javítása az Avro readben
• [SPARK-45545] [SC-146484][core] SSLOptions továbbítása bárhol, ahol létrehozunk egy SparkTransportConfot
• [SPARK-45641] [SC-146260][ui] Az alkalmazás kezdési idejének megjelenítése az AllJobsPage-ben
• [SPARK-40154] [SC-146491][python][Docs] A Dataframe.cache-dokumentumok tárolási szintjének javítása
• [SPARK-45626] [SC-146259][sql] Alakítsa át _LEGACY_ERROR_TEMP_1055-t REQUIRES_SINGLE_PART_NAMESPACE-re
• [SPARK-45507] [SC-145900][sql] A beágyazott összefüggő skaláris al-lekérdezések és a COUNT összesítések helyességi javítása
• [SPARK-45619] [SC-146226][connect][PYTHON] A megfigyelt metrikák alkalmazása a Megfigyelési objektumra
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Scaladoc-fejlesztés a StreamingForeachBatchHelperhez
• [SPARK-45616] [SC-146120][core] Kerülje a ParVectort, amely nem propagálja a ThreadLocals-t vagy a SparkSession-t
• [SPARK-45604] [SC-146105][sql] LogicalType-ellenőrzés hozzáadása az INT64-en –> DateTime átalakítás parquet vektoros olvasón
• [SPARK-44649] [SC-145891][sql] A futtatókörnyezet szűrője támogatja az egyenértékű létrehozási oldalkifejezések átadását
• [SPARK-41674] [SC-128408][sql] A futásidejű szűrőnek a többszintű shuffle join oldalt kell támogatnia szűrőlétrehozási oldalként
• [SPARK-45547] [SC-146228][ml] Vektorok érvényesítése beépített függvénnyel
• [SPARK-45558] [SC-145890][ss] Metaadatfájl bevezetése az állapotalapú streamelési operátor számára
• [SPARK-45618] [SC-146252][core] BaseErrorHandler eltávolítása
• [SPARK-45638] [SC-146251][sql][Avro] A decimális konverzió tesztelési lefedettségének javítása
• [SPARK-44837] [SC-146020][sql] Az ALTER TABLE ALTER PARTITION oszlop hibaüzenetének módosítása
• [SPARK-45561] [SC-146264][sql] Adjon hozzá megfelelő átalakításokat a TINYINT-hez a MySQLDialectben
• [SPARK-45632] [SC-146255][sql] A table cache-nek kerülnie kell a szükségtelen ColumnarToRow-t az AQE engedélyezésekor
• [SPARK-45569] [SC-145932][sql] Rendeljen nevet a hiba _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] Az SBT-teszt hermetikussá tétele.
• [SPARK-45452] [SC-144836][sql] Az API használatának InMemoryFileIndex javítása FileSystem.listFiles
• [SPARK-44735] [SC-146186][sql] Figyelmeztető üzenet hozzáadása, ha azonos nevű oszlopokat szúr be soronként, amelyek nem egyeznek.
• [SPARK-45351] [SC-144791][core] Módosítsa spark.shuffle.service.db.backend az alapértelmezett értéket a ROCKSDB értékre
• [SPARK-45553] [SC-145906][ps] Érvénytelenít assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] A DeterministicLevel egy DeveloperApi-ként válik elérhetővé
• [SPARK-45549] [SC-145895][core] Távolítsa el a nem használt numExistingExecutorsCoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] SqlState belefoglalása a SparkThrowable proto üzenetbe
• [SPARK-45595] [SC-146037] sqlstate-t tesz elérhetővé hibaüzenetben
• [SPARK-45628] [SC-146123][ml] Fejlesztés vector_to_array a következőhöz: .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] Az AQE InSubquery-teszt összekapcsolási feltételeinél kapcsolja ki a de-korrelációt.
• [SPARK-45576] [SC-145883][core] A ReloadingX509TrustManagerSuite szükségtelen hibakeresési naplóinak eltávolítása
• [SPARK-45485] [SC-145719][connect] Felhasználói ügynök fejlesztései: SPARK_CONNECT_USER_AGENT env változó használata és környezetspecifikus attribútumok belefoglalása
• [SPARK-45508] [SC-145513][core] Adja hozzá a következőt: "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED", így a platform hozzáférhet a Cleanerhez a Java 9+
• [SPARK-45595] "[SC-146037] Az SQLSTATE megjelenítése hibaüzenetben" visszaállítása
• [SPARK-45595] [SC-146037] AZ SQLSTATE megjelenítése hibaüzenetben
• [SPARK-45112] Revert “[SC-143259][sql] Use UnresolvedFunction ba…”
• [SPARK-45257] [SC-143411][core] Alapértelmezés szerint engedélyezve spark.eventLog.compress
• [SPARK-45586] [SC-145899][sql] Csökkentse a fordító késését a nagyméretű kifejezésfákkal rendelkező terveknél
• [SPARK-45517] [SC-145691][connect][14.x] További kivételkonstruktorok bővítése a hibakeret paramétereinek támogatásához
• [SPARK-45581] [SC-145896] Tegye kötelezővé az SQLSTATE-t.
• [SPARK-45427] [SC-145590][core] RPC SSL-beállítások hozzáadása az SSLOptionshoz és a SparkTransportConfhoz
• [SPARK-45261] [SC-143357][core] Javítás EventLogFileWriters kodekként való kezeléshez none
• [SPARK-45582] [SC-145897][ss] Győződjön meg arról, hogy a tárolópéldány nem használható, miután a commitot meghívták az output módú streamelési aggregáción belül.
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: A "rowTag" kötelező beállítássá tétele
• [SPARK-45392] [SC-144362][core][SQL][ss] Csere a Class.newInstance() következőre: Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Kijavítottuk a CSV/JSON-séma következtetését, ha az időbélyegek nem egyeznek a megadott időbélyegFormat értékkel
• [SPARK-45458] [SC-145011][sql] Az IllegalArgumentException konvertálása SparkIllegalArgumentException értékre bitwiseExpressions formátumban
• [SPARK-45564] [SC-145735][sql] Egyszerűsítse a "DataFrameStatFunctions.bloomFilter" kifejezést a "BloomFilterAggregate" kifejezéssel
• [SPARK-45566] [SC-145777][ps] Pandas-szerű tesztelési eszközök támogatása a Pandas API-hoz a Sparkon
• [SPARK-45498] [SC-145509][core] Utánkövetés: A feladat befejezésének nem figyelembe vétele a régi szakaszból...
• [SPARK-45483] [SC-145152][connect] Javítsa ki a függvénycsoportokat a connect.functions alkalmazásban
• [SPARK-45577] [SC-145781][python] Javítsa ki a UserDefinedPythonTableFunctionAnalyzeRunner-t, hogy összecsukott értékeket adjon át az elnevezett argumentumokból.
• [SPARK-45009] [SC-138223][nyomon követése] Kapcsolja ki a dekorrelációt az AetherSQLQuerySuite illesztési feltételeiben
• [SPARK-45415] [SC-145344] A "fallocate" szelektív letiltásának engedélyezése a RocksDB statestore-ban
• [SPARK-45500] [SC-145134][core][WEBUI] A MasterPage rendellenesen befejezett illesztőprogramjainak számának megjelenítése
• [SPARK-44120] [SC-144349][python] Támogatás Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] A LiveStageMetrics.accumIdsToMetricType memóriahasználatának csökkentése
• [SPARK-45565] [SC-145717][ui] Szükségtelen JSON.stringify és JSON.parse hurok a feladatlistához a szakasz részleteiben
• [SPARK-45567] [SC-145718][connect] Távolítsa el a redundáns feltételt a org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run során
• [SPARK-45112] [SC-143259][sql] UnresolvedFunction-alapú felbontás használata AZ SQL Dataset függvényekben
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Az add_artifact kérés idempotenssé tétele
• [SPARK-44913] [SC-144326][sql] A DS V2 támogatja a V2 UDF leküldését, amely mágikus módszerrel rendelkezik
• [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions hiba
• [SPARK-45491] [SC-145622] Hiányzó SQLSTATES 2/2 hozzáadása
• [SPARK-45009] [SC-145620][sc-138223][SQL] Predikátum feltétellel rendelkező lekérdezések dekorrelálása illesztési feltételben
• [SPARK-45377] [SC-144377][core] InputStream kezelése a NettyLoggerben
• [SPARK-45248] [SC-143759][core]A Spark ui-kiszolgáló időtúllépésének beállítása
• [SPARK-44594] [SC-145611][ss] Redundáns metódusparaméter eltávolítása a Kafka-összekötőben
• [SPARK-45539] [SC-145621][ss] Adjon hozzá egy állítást és naplózást, amely jelzi, hogy a vízjel definíciója szükséges a hozzáfűzési módban lévő streaming aggregációs lekérdezésekhez.
• [SPARK-44262] [SC-145639][sql] dropTable és getInsertStatement hozzáadása a JdbcDialecthoz
• [SPARK-45516] [SC-145480][connect] QueryContext belefoglalása a SparkThrowable proto üzenetbe
• [SPARK-45310] [SC-145127][core] A shuffle blokk státusz jelentésének tiszteletben kell tartania a shuffle szolgáltatást a leszerelési migráció során.
• [SPARK-45521] [SC-145487][ml] Kerülje az nnz újraszámítását VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] A current_database() oszlop aliasának megváltoztatása current_schema()-ra
• [SPARK-45116] [SC-145142][sql] Megjegyzés hozzáadása a JdbcDialect paramjához createTable
• [SPARK-45495] [SC-145529][core] Szakaszszintű feladaterőforrás-profil támogatása a k8s-fürt számára, amikor a dinamikus kiosztás le van tiltva
• [SPARK-45487] [SC-145559] SQLSTATES- és temp-hibák javítása
• [SPARK-45505] [SC-145550][python] Refactor analyzeInPython, hogy újrahasználható legyen
• [SPARK-45132] [SC-145425][sql] Függvényhívás javítása IDENTIFIER
• [SPARK-45213] [SC-145020][sql] Adjon nevet a _LEGACY_ERROR_TEMP_2151 hibának
• [SPARK-45416] [SC-145126][connect] Az Arrow eredmények érvényességének ellenőrzése a konzisztencia szempontjából
• [SPARK-45163] [SC-143386][sql] A UNSUPPORTED_VIEW_OPERATION és UNSUPPORTED_TABLE_OPERATION egyesítése és néhány probléma megoldása
• [SPARK-45421] [SC-144814][sql] Vessük meg az AnalysisException-t az InlineCTE felett
• [SPARK-43664] [SC-145404][connect][PS] Kivétel kérése ps.sql a Spark Connecten lévő Pandas-on-Spark objektummal kapcsolatban.
• [SPARK-45402] [SC-145371][sql][PYTHON] UDTF API hozzáadása "eval" és "terminate" metódusokhoz a korábbi "elemzési" eredmények felhasználásához
• [SPARK-36112] [SC-67885] [SQL] A korrelált EXISTS és IN al lekérdezések támogatása a DecorrelateInnerQuery keretrendszer használatával
• [SPARK-45383] [SC-144929][sql] Nem létező táblával végzett időutazáskor megjelenő hibaüzenet javítása
• [SPARK-43254] [SC-143318][sql] Rendeljen nevet a hibának _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Opcionális ExecuteHolder hozzáadása a SparkConnectPlannerhez
• [SPARK-45451] [SC-145144][sql] Konfigurálhatóvá teszi az adathalmaz-gyorsítótár alapértelmezett tárolási szintjét
• [SPARK-45192] [SC-143194][ui] A graphviz edge lejárt lineInterpolate paraméterének javítása
• [SPARK-45467] [SC-145146][core] Csere a Proxy.getProxyClass() következőre: Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Tömbösszeszerelő funkciótranszformátor hozzáadása
• [SPARK-44855] [SC-145226][connect] Kis finomhangolások az ExecuteGrpcResponseSender és az ExecuteResponseObserver csatlakoztatásához
• [SPARK-45398] [SC-144796][sql] ESCAPE hozzáfűzése a sql() részhez a Like kifejezésben
• [SPARK-45494] [SC-145129][core][PYTHON] Util-függvények bevezetése a PythonWorkerUtils bájttömbjeinek olvasásához/írásához
• [SPARK-45464] [SC-145125][core] A hálózati YARN terjesztési build javítása
• [SPARK-45461] [SC-144851][core][SQL][mllib] A StorageLevel leképezésének bemutatása
• [SPARK-45450] [SC-145009][python] A PEP8 szerinti importok javítása: pyspark.pandas és pyspark (core)
• [SPARK-45475] [SC-145018][sql] Az RDD.foreachPartition helyett a DataFrame.foreachPartitiont használja a JdbcUtilsben
• [SPARK-45271] [SC-143778][sql] Egyesítse a _LEGACY_ERROR_TEMP_1113-at a TABLE_OPERATION-ba, és törölje a nem használt metódusokat a QueryCompilationErrors-ben.
• [SPARK-45449] [SC-145013][sql] Gyorsítótár érvénytelenítésével kapcsolatos probléma JDBC-táblával
• [SPARK-45473] [SC-145017][sql] A RoundBase helytelen hibaüzenetének javítása
• [SPARK-43299] [SC-145022][ss][CONNECT] StreamingQueryException konvertálása a Scala-ügyfélben
• [SPARK-45474] [SC-145014][core][WEBUI] A MasterPage JSON API felső szintű szűrésének támogatása
• [SPARK-45205] [SC-145012][sql] CommandResultExec az iterátor metódusok felülbírálásához, hogy ne aktiváljon több feladatot.
• [SPARK-45472] [SC-145004][ss] A RocksDB State Store-nak nem kell újra ellenőriznie az ellenőrzőpont elérési útját
• [SPARK-45470] [SC-145010][sql] Kerülje a hive orc tömörítési fajta sztringértékének használatát
• [SPARK-45448] [SC-144829][python] Az importálás javítása a PEP8 szerint: pyspark.testing, pyspark.mllib, pyspark.resource és pyspark.streaming
• [SPARK-45446] [SC-144828][python] A PEP8: pyspark.errors és pyspark.ml szerinti importálás javítása
• [SPARK-45239] [SC-144832][connect] Az alapértelmezett spark.connect.jvmStacktrace.maxSize csökkentése
• [SPARK-45436] [SC-144831][python][CONNECT] DataFrame metódusok ellenőrzik ugyanazt a munkamenetet
• [SPARK-45413] [SC-144847][core] Figyelmeztetés hozzáadása a drop LevelDB támogatásának előkészítéséhez
• [SPARK-45462] [SC-144848][core][WEBUI] Megjelenítés Duration a ApplicationPage-ban/ben
• [SPARK-44527] [SC-144855][sql] Cserélje le a ScalarSubqueryt null értékre, ha a maxRows értéke 0
• [SPARK-45401] [SC-144854][python] Új metódus cleanup hozzáadása az UDTF interfészhez
• [SPARK-43704] [SC-144849][connect][PS] Támogatás a(z) MultiIndex számára: to_series()
• [SPARK-45424] [SC-144888][sql] A TimestampFormatter javítása nem kötelező elemzési eredményeket ad vissza, ha csak az előtag egyezik
• [SPARK-45441] [SC-144833][python] További util függvények bevezetése a PythonWorkerUtilshez
• [SPARK-45412] [SC-144803][python][CONNECT] A terv és a munkamenet ellenőrzése a következőben: DataFrame.__init__
• [SPARK-45408] [SC-144810][core] RPC SSL-beállítások hozzáadása a TransportConfhoz
• [SPARK-45432] [SC-144818][core] Elavult Hadoop-2 LocatedFileStatus konstruktor eltávolítása
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression ellenőrzi a betanítási címkéket
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] DataType.fromDDL hozzáadása a PySparkhoz
• [SPARK-45406] [SC-144793][python][CONNECT] Törlés schema a DataFrame konstruktorból
• [SPARK-45404] [SC-144799][core] Támogatási AWS_ENDPOINT_URL változó
• [SPARK-43620] [SC-144792][connect][PS] A Pandas API-k javítása a nem támogatott funkcióktól függ
• [SPARK-45354] [SC-143991][sql] Függvények feloldása alulról felfelé
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Újrakeresési próbálkozások hozzáadása az artifact API-hoz. A hibakezelés javítása (a [SPARK-45093] nyomon követése).
• [SPARK-45120] [SC-142780][spark-45150][UI] Frissítse a d3-at v3-ról v7-re (v7.8.5), és alkalmazza az API-módosításokat a felhasználói felületen
• [SPARK-44838] [SC-143983][sql] raise_error javítása
• [SPARK-45312] [SC-143754][sql][UI] Támogatási kapcsoló a terv svg megjelenítésére/elrejtésére a végrehajtási oldalon
• [SPARK-45378] [SC-144448][core] ConvertToNettyForSsl hozzáadása a ManagedBufferhez
• [SPARK-44762] [SC-144338][connect][CORE] A SparkConnect.addJobTag és a SparkSession.addTag csatlakoztatása dokumentuma
• [SPARK-45383] A megoldatlan RelationTimeTravel kezelése kecsesen
• [SPARK-45347] [SC-144512][sql][CONNECT] A "SparkThrowable" hozzárendelése a "FetchErrorDetailsResponse"-hez
• [SPARK-45012] [SC-141512][sql] A CheckAnalysisnak beágyazott tervet kell létrehoznia az AnalysisExceptionben
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} kivételeket kell emelnie, ha a terv érvénytelen
• [SPARK-45227] [SC-144233][core] Kijavítottunk egy finom szálbiztonsági problémát a CoarseGrainedExecutorBackend használatával
• [SPARK-45266] [SC-144171][python] Refaktorálja a ResolveFunctions elemzőszabályt, hogy késleltesse az oldalsó összekapcsolást, amikor táblázat argumentumokat használnak.
• [SPARK-45266] Vonja vissza a „[SC-144171][python] Refactor ResolveFunctions elemző szabályának módosítását, hogy késleltesse az oldalirányú csatlakozást, amikor táblázatargumentumokat használnak”
• [SPARK-45371] [SC-144389][connect] Árnyékolási problémák megoldása a Spark Connect Scala-ügyfélben
• [SPARK-45057] [SC-144214][core] Ne szerezzen olvasási zárolást, ha a keepReadLock értéke hamis.
• [SPARK-45385] [SC-144357][sql] Elavult spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Távolítsa el az SQL-konfigurációt spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Refaktorálja a ResolveFunctions elemzőszabályt, hogy késleltesse az oldalsó összekapcsolást, amikor táblázat argumentumokat használnak.
• [SPARK-45362] [SC-144198][python] Vetítse ki a PARTITION BY kifejezéseket azelőtt, hogy a Python UDTF "eval" metódusa felhasználná őket
• [SPARK-45346] [SC-143925][sql] A Parquet séma következtetésének figyelembe kell vennie a kis- és nagybetűk megkülönböztetésére vonatkozó flaget a séma egyesítésekor.
• [SPARK-45341] [SC-143933][core] Javítsa ki a címszintet a KVStore.java megjegyzéseiben, hogy a sbt doc sikeresen fusson a Java 17-tel.
• [SPARK-45334] [SC-143914][sql] Félrevezető megjegyzés eltávolítása a parquetSchemaConverterben
• [SPARK-45337] [SC-143932][core] Refaktorálás AbstractCommandBuilder#getScalaVersion a Scala 2.12 ellenőrzésének eltávolításához
• [SPARK-45329] [SC-143918][python][CONNECT] DataFrame metódusok kihagyják a pandas konvertálását
• [SPARK-43662] [SC-143923][ps][CONNECT] merge_asof támogatása a Spark Connectben
• [SPARK-44126] [SC-143751][core] A cél-végrehajtó törlésre került állapotában nem növekedhet a shuffle migrálási hibák száma
• [SPARK-44550] [SC-119768][sql] Hibajavítások null IN (empty list) engedélyezése az ANSI-ben
• [SPARK-45316] [SC-143783][core][SQL] Új paraméterek ignoreCorruptFiles/ignoreMissingFiles hozzáadása a következőhöz:HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Hibajelentés addArtifacts-lekérdezéshez
• [SPARK-44756] [SC-143787][core] A végrehajtó lefagy, ha a RetryingBlockTransferor nem kezdeményez újrapróbálkozást
• [SPARK-45333] [SC-143768][core] Kijavítottunk egy, a spark.eventLog.buffer.kb modullal kapcsolatos egységhibát.
• [SPARK-45317] [SC-143750][sql][CONNECT] Null fájlnév kezelése a kivételek halmozott nyomkövetésében
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId oszlopos adatokat ad hozzá
• [SPARK-45235] [SC-143314][connect][PYTHON] Térkép- és tömbparaméterek támogatása a következő szerint: sql()
• [SPARK-45138] [SC-143309][ss] Adjon meg egy új hibaosztályt, és alkalmazza azt, ha az elosztott fájlrendszerbeli ellenőrzőpont-állapot meghiúsul
• [SPARK-45297] [SC-143644][sql] A SPARK-31827-ben hozzáadott dateformatter megkerülés eltávolítása
• [SPARK-44345] [SC-143593][core] Csökkentse a unknown shuffle map output naplószintet WARN szintre, ha engedélyezve van a shuffle migration
• [SPARK-44463] [SC-143251][ss][CONNECT] Hibakezelés javítása a Connect streaming Python feldolgozóhoz
• [SPARK-45207] [SC-143603][sql][CONNECT] Hibagazdagítás megvalósítása Scala ügyfél számára
• [SPARK-45240] [SC-143602][sql][CONNECT] Hibatudósítás implementálása Python klienshez
• [SPARK-45216] [SC-143288][sql] Nem determinisztikus magos adathalmaz API-k javítása
• [SPARK-45251] [SC-143419][connect] Adja hozzá a client_type mezőt a FetchErrorDetailshez
• [SPARK-45137] [SC-143001][connect] Térkép- és tömbparaméterek támogatása paraméteresen sql()
• [SPARK-45224] [SC-143257][python] Példák hozzáadása w/ térkép és tömb paraméterként sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Megvalósítani a FetchErrorDetails RPC-t
• [SPARK-45178] [SC-136089] Visszalépés a Trigger.AvailableNow esetén egyetlen köteg végrehajtására, amikor nem támogatott források vannak, a burkoló használata helyett.
• [SPARK-44823] [14.x][sc-142979][PYTHON] Frissítse a feketét a 23.9.1-re, és javítsa a hibás ellenőrzést
• [SPARK-45078] [SC-142954][sql] Az array_insert ImplicitCastInputTypes nem működik
• [SPARK-44579] [SC-138428][sql] Az SQLExecution megszakításának támogatása
• [SPARK-45252] [SC-143371][core] A sikeres végrehajtáshoz kerüljük el a megjegyzésekben szereplő nagyobb/kisebb mint szimbólumokat.
• [SPARK-45189] [SC-142973][sql] A TableIdentifier-ből történő feloldatlan reláció létrehozásának tartalmaznia kell a katalógusmezőt
• [SPARK-45229] [SC-143254][core][UI] A beküldött állapotban várakozó driverek számának megjelenítése a MasterPage-en
• [SPARK-43453] Visszaállítás a “[SC-143135][ps] figyelmen kívül hagyása names a MultiIndexaxis=1 esetében concat”

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Lásd a Databricks Runtime 14.2 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Telepített Python kódtárak

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023-02-10-én.

Telepített Java és Scala-kódtárak (Scala 2.12-fürtverzió)