Databricks Runtime 13.2 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.4.0-s verziójával működő Databricks Runtime 13.2-ről nyújtanak információkat.

A Databricks 2023 júliusában adta ki ezt a verziót.

Új funkciók és fejlesztések

• Változásnapló ellenőrzőpontozás RocksDB állapot tárolón
• Fokozott megbízhatóság a Unity Catalognál a sekély klónozással rendelkező VACUUM esetében.
• Python UDF-ek támogatása SQL-ben
• Az Apache Iceberghez készült Delta Lake UniForm nyilvános előzetes verzióban érhető el
• A Delta Lake folyékony fürtözés nyilvános előzetes verzióban érhető el
• Archiválási támogatás az Azure Databricks-ban
• IDENTIFIER feltétel támogatás
• Unity Catalog támogatás a Python és a Pandas felhasználó által definiált függvényeihez (UDF-ek)
• Sémák megosztása a Delta Sharing használatával
• Hibajavítások

Változásnapló ellenőrzőpont létrehozása a RocksDB állapottárhoz

Az állapotalapú strukturált streamelési számítási feladatok esetében engedélyezheti a változásnapló-ellenőrzőpont-ellenőrzést, hogy csökkentse az ellenőrzőpontok időtartamát és a végpontok közötti késést. A Databricks azt javasolja, hogy engedélyezze a változásnapló-ellenőrzőpontozást az összes strukturált streamelési állapotalapú lekérdezéshez. Lásd: Változásnapló-ellenőrzőpont engedélyezése.

Növelt megbízhatóság a VACUUM számára a Unity Catalogban található sekély klónnal.

Ha a Unity Catalog által felügyelt táblákat használ egy sekély klónozási művelet forrásához és céljához, a Unity Catalog kezeli a mögöttes adatfájlokat a klónozási művelet forrásának és céljának megbízhatóságának javítása érdekében. A VACUUM futtatása a sekély klón forrásán nem szakítja meg a klónozott táblát. Lásd: A Unity Katalógus felületes klónokkal való használataVACUUM.

Python UDF-ek támogatása az SQL-ben

Mostantól Python használatával deklarálhat felhasználó által definiált függvényeket az SQL CREATE FUNCTION utasításaiban a Unity Catalogban. Lásd: SQL és Python felhasználó által definiált függvények (UDF-ek) a Unity Catalogban.

Az Apache Iceberghez készült Delta Lake UniForm nyilvános előzetes verzióban érhető el

A Delta Lake Universal Format (UniForm) lehetővé teszi Delta-táblák olvasását Apache Iceberg-ügyfelekkel. Lásd: Delta Lake-táblák olvasása Iceberg-ügyfelekkel az UniForm használatával.

A Delta Lake Liquid Clustering nyilvános előzetesként érhető el

A Delta Lake folyékony fürtözés felváltja a táblaparticionálást, és ZORDER egyszerűsíti az adatelrendezési döntéseket és optimalizálja a lekérdezési teljesítményt. Lásd: Táblákhoz folyékony klaszterezés használata.

Archiválási támogatás a Azure Databricks

A Azure Databricks archiválási támogatása olyan képességek gyűjteménye, amelyek lehetővé teszik a felhőalapú életciklus-szabályzatok használatát a Delta-táblákat tartalmazó felhőobjektum-tárolóban a fájlok archiválási tárolási szintekre való áthelyezéséhez. Lásd: Archival támogatás az Azure Databricksben.

IDENTIFIER cikkely támogatása

Segítségével IDENTIFIER(:mytable) biztonságosan paraméterezhetők a táblák, oszlopok, függvények és sémanevek számos SQL-utasításban.

Unity Catalog-támogatás Python és Pandas User-Defined Functionshez (UDF-ek)

A Databricks Runtime 13.2-ben és újabb verziókban a Pythonban írt felhasználó által definiált függvények (UDF-ek) támogatottak olyan fürtökön, amelyek szokásos hozzáférési módot (korábban megosztott hozzáférési módot) használnak egy Unity Catalog-kompatibilis munkaterületen. Ez magában foglalja a Python és a Pandas UDF-eket. Az Python UDF-ekkel kapcsolatos részletekért lásd Python skaláris, felhasználó által definiált függvényeket (UDF-eket).

Sémák megosztása a Delta Sharing használatával

A Databricks Runtime 13.2 lehetővé teszi ALTER SHARE <share-name> ADD SCHEMA <schema-name> egy teljes séma megosztását a Delta Sharing használatával, így a címzett a megosztás pillanatában hozzáférhet a séma összes táblájához és nézetéhez, valamint a sémához a jövőben hozzáadott táblákhoz és nézetekhez. Lásd: Sémák hozzáadása a megosztási és ALTER SHARE.

Hibajavítások

• Kijavítottunk egy hibát a JSON-olvasónál, ahol a rekordok PERMISSIVE módban kerültek elemzésre, ha a failOnUnknownFieldsmode be volt kapcsolva. Rekordok most vagy kiesnek DROPMALFORMEDparser módban, vagy kiíródnak a badRecordsPath módba, ha bármelyik opció be van állítva. FAILFAST hibát jelez, ha egy oszloptípus nem egyezik.

Könyvtárfrissítések

• Frissített Python kódtárak:
  • nodeenv 1.7.0 és 1.8.0 között
• Frissített R-kódtárak:
• Frissített Java kódtárak:
  • io.delta.delta-sharing-spark_2.12 0.6.7 és 0.7.0 között

Apache Spark

A Databricks Runtime 13.2 tartalmazza az Apache Spark 3.4.0-t. Ez a kiadás tartalmazza a Databricks Runtime 13.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-42750] [SC-133452][dbrrm-273] "Insert By Name" utasítás támogatása
• [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach támogatása
• [SPARK-43663] [SC-134135][connect][PS] Engedélyezés SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Javítás (NullOps|NumOps).(eq|ne) a Spark Connecthez.
• [SPARK-44021] [SC-134109][sql] Adja hozzá a spark.sql.files.maxPartitionNum paramétert
• [SPARK-43910] [SC-132936][sql] Az azonosítók eltávolítása a hibákban __auto_generated_subquery_name
• [SPARK-43976] [SC-133375][core] Kezelje azt az esetet, amikor a módosított konfigurációk nem léteznek az eseménynaplókban
• [SPARK-32559] [SC-133992][sql] A vágási logika javítása nem kezelte megfelelően az ASCII vezérlőkarakterek használatát
• [SPARK-43421] [SC-132930][ss] Változásnapló-alapú ellenőrzőpontok megvalósítása a RocksDB állapottároló szolgáltatóhoz
• [SPARK-43594] [SC-133851][sql] LocalDateTime hozzáadása az anyToMicroshoz
• [SPARK-43884] [SC-133867] Paramjelölők a DDL-ben
• [SPARK-43398] [SC-133894][core] A végrehajtói időtúllépésnek a tétlen shuffle és az rdd időtúllépés maximális értékének kell lennie
• [SPARK-43610] [SC-133892][connect][PS] Engedélyezés InternalFrame.attach_distributed_column a Spark Connectben.
• [SPARK-43971] [SC-133826][connect][PYTHON] A Python createDataFrame streamelési módjának támogatása
• [SPARK-44006] [SC-133652][connect][PYTHON] Gyorsítótár-összetevők támogatása
• [SPARK-43790] [SC-133468][python][CONNECT][ml] API hozzáadása copyFromLocalToFs
• [SPARK-43921] [SC-133461][protobuf] Protobuf leírófájlok létrehozása a létrehozáskor
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementálja a fájltámogatást a SparkSession.addArtifactsban
• [SPARK-44010] [SC-133744][python][SS][minor] Python StreamingQueryProgress rowsPerSecond típus javítása
• [SPARK-43768] [SC-132398][python][CONNECT] Python függőségkezelési támogatás Python Spark Connectben
• [SPARK-43979] [13.X] Visszavonás: “[SC-133456][sql] A CollectedMetrics-et úgy kell kezelni, mint azonos entitást az öncsatlakozás során”
• [SPARK-42290] [SC-133696][sql] Az OOM-hiba javítása nem jelenthető, ha az AQE be van kapcsolva
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] SQL matematikai függvények hozzáadása a Scalához és Python
• [SPARK-43747] [SC-132047][python][CONNECT] A pyfile-támogatás implementálása a SparkSession.addArtifactsban
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Engedélyezés TimedeltaOps.(sub|rsub) a Spark Connect használatával
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Paritásteszt engedélyezése: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] A megoldatlan attribútum javasolt jelöltjeinek javítása
• [SPARK-43901] [SC-133454][sql] Az Avro támogatja az egyedi, Long által támogatott decimálistípust
• [SPARK-43267] [SC-133024][jdbc] Postgres ismeretlen, felhasználó által definiált oszlop kezelése karakterláncként a tömbben
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Xpath_* függvények hozzáadása a Scalához és Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Percentilis hozzáadása a Scalához és Python API-hoz
• [SPARK-43717] [SC-133455][connect] A Scala kliens redukáló aggregációja nem tudja kezelni a null partíciókat a Scala primitív bemenetekhez
• [SPARK-43984] [SC-133469][sql][PROTOBUF] Váltás a foreach használatára, amikor map nem hoz létre eredményeket.
• [SPARK-43612] [SC-132011][connect][PYTHON] SparkSession.addArtifact(ok) implementálása Python-ügyfélben
• [SPARK-44002] [SC-133606][connect] Az összetevő állapotkezelőjének javítása
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Lineáris regressziós aggregátumfüggvények hozzáadása a Scalához és Python
• [SPARK-43920] [SC-133614][sql][CONNECT] SQL/API modul létrehozása
• [SPARK-43979] [SC-133456][sql] A CollectedMetricst ugyanúgy kell kezelni az öncsatlakozáshoz
• [SPARK-43977] [SC-133373][connect] A váratlan ellenőrzési eredmény javítása dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: hibajavítás az enumok integerként kezelésével kapcsolatban
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Unix_* függvények hozzáadása a Scalához és Python
• [SPARK-43807] [SC-132545][sql] Az _LEGACY_ERROR_TEMP_1269 áttelepítése a PARTITION_SCHEMA_IS_EMPTY szabványra
• [SPARK-43956] [SC-133123][sql] Javítva a hiba, amely nem jeleníti meg az oszlop SQL-jét a Percentile[Cont|Diszkrét] esetén.
• [SPARK-42626] [SC-133248][connect] Pusztító iterátor hozzáadása SparkResult-hoz
• [SPARK-43333] [SC-132898][sql] Lehetővé teszi az Avro számára, hogy az egyesítő típust SQL-vé konvertálja, miközben a mezőnév típustól függetlenül stabil maradjon.
• [SPARK-43953] [SC-133134][connect] Eltávolítás pass
• [SPARK-43970] [SC-133403][python][CONNECT] A nem támogatott adatkeret-metódusok elrejtése az automatikus kiegészítésből
• [SPARK-43973] [SC-133272][ss][UI] A strukturált streamelési felhasználói felületnek megfelelően kell megjelenítenie a sikertelen lekérdezéseket
• [SPARK-42577] [SC-125445][core] A lehetséges végtelen újrapróbálkozások elkerülése érdekében adja hozzá a szakaszokra vonatkozó maximális kísérletek korlátozását
• [SPARK-43841] [SC-132699][sql] A jelölt attribútumok kezelése előtag nélkül StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Follow UP]A konfiguráció spark.rdd.cache.visibilityTracking.enabled támogatási verziójának módosítása a 3.5.0-ra
• [SPARK-37942] [SC-130983][core][SQL] Hibaosztályok migrálása
• [SPARK-43898] [SC-132926][core] Automatikus regisztráció immutable.ArraySeq$ofRef a KryoSerializer Scala 2.13-hoz
• [SPARK-43775] [SC-132891][sql] DataSource V2: A frissítések törlésként és beszúrásként történő ábrázolásának engedélyezése
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] UserDefinedType támogatása a createDataFrame-ben pandas DataFrame-ből és toPandas-ból
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] SparkSession.Builder.getOrCreate hozzáadása a Sparkhoz
• [SPARK-43549] [SC-132383][sql] Az _LEGACY_ERROR_TEMP_0036 konvertálása INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN formára
• [SPARK-41497] [SC-124644][core] Az RDD-gyorsítótár melletti újrapróbálkozási feladat esetén az akkumulátor alulszámlálásának javítása
• [SPARK-43892] [SC-133006][python] Az automatikus kiegészítés támogatásának hozzáadása a következőhöz: df[|]pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Választható minta hozzáadása a Catalog.listDatabaseshez
• [SPARK-43205] [SC-132623] IDENTIFIER záradék
• [SPARK-43545] [SC-132378][sql][PYTHON] Beágyazott időbélyeg-típus támogatása
• [SPARK-43949] [SC-133048][python] A cloudpickle frissítése a 2.2.1-re
• [SPARK-43760] [SC-132809][sql] A skaláris részquery eredményeinek érvénytelensége
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Javítás TimedeltaOps a Spark Connecthez
• [SPARK-43895] [SC-132897][connect][GO] A go csomag elérési útjának előkészítése
• [SPARK-43894] [SC-132892][python] Hiba javítása a df.cache() rendszerben
• [SPARK-43509] [SC-131625][connect] Több Spark Connect-munkamenet létrehozásának támogatása
• [SPARK-43882] [SC-132888][sql] Adjon nevet a(z) _LEGACY_ERROR_TEMP_2122-nek
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Javítás NumOps a Spark Connecthez
• [SPARK-43604] [SC-132165][sql] Újrabontás INVALID_SQL_SYNTAX a hibaszöveg forráskódba való beágyazásának elkerüléséhez
• [SPARK-43859] [SC-132883][sql] A toString felülbírálása a LateralColumnAliasReference-ben
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Opcionális minta hozzáadása a Catalog.listCatalogs-hoz
• [SPARK-43353] "[SC-132734][python] A fennmaradó munkamenethibák migrálása hibaosztályba"
• [SPARK-43375] [SC-130309][connect] A INVALID_CONNECT_URL hibaüzeneteinek javítása
• [SPARK-43863] [SC-132721][connect] Redundáns toSeq eltávolítása a Scala 2.13-ról SparkConnectPlanner
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Javítás DatetimeOps a Spark Connecthez
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Javítás BinaryOps a Spark Connecthez
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Javítás NullOps a Spark Connecthez
• [SPARK-43782] [SC-132885][core] Naplószint-beállítások támogatása statikus Spark-konfigurációval.
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][sql] AES IV és AAD-támogatás hozzáadása a ExpressionImplUtilshez
• [SPARK-43795] [SC-132532][connect] A SparkConnectPlannerhez nem használt paraméterek eltávolítása
• [SPARK-42317] [SC-129194][sql] Nevet adjon a _LEGACY_ERROR_TEMP_2247-nek: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Rendeljen nevet a _LEGACY_ERROR_TEMP_0017 hibaosztályhoz
• [SPARK-43834] [SC-132679][sql] Hibaosztályok használata a következő fordítási hibákban: ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Rendeljen neveket a _LEGACY_ERROR_TEMP_240[4-5] hibaosztályhoz
• [SPARK-43576] [SC-132533][core] A nem használt deklarációk eltávolítása a Core-modulból
• [SPARK-43314] [SC-129970][connect][PYTHON] Spark Connect-ügyfélhibák migrálása hibaosztályba
• [SPARK-43799] [SC-132715][python] Leíró bináris beállítás hozzáadása a Pyspark Protobuf API-hoz
• [SPARK-43837] [SC-132678][sql] Rendeljen nevet a _LEGACY_ERROR_TEMP_103 hibaosztályhoz[1-2]
• [SPARK-43862] [SC-132750][sql] Rendeljen nevet a LEGACY_ERROR_TEMP hibaosztályhoz (1254 és 1315)
• [SPARK-43886] [SC-132808][python] Generikus tuple típusjelzések elfogadása a Pandas UDF-ban
• [SPARK-43530] [SC-132653][protobuf] Csak egyszer olvasható leírófájl
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_241 hibaosztályhoz[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Javítás CategoricalOps a Spark Connecthez
• [SPARK-39979] [SC-132685][sql] Lehetőség hozzáadása nagyméretű változószélesség-vektorok használatára nyíl UDF-műveletekhez
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Javítás StringOps a Spark Connecthez
• [SPARK-43353] [SC-132734][python] A fennmaradó munkamenethibák migrálása hibaosztályba
• [SPARK-43815] [SC-132781][sql] Alias hozzáadása to_varchar a következőhöz: to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Beágyazott MapType-viselkedés javítása a Pandas UDF-ben
• [SPARK-43361] [SC-131789][protobuf] frissítse az enumerálással kapcsolatos hibákra vonatkozó dokumentációt
• [SPARK-43740] [SC-132035][python][CONNECT] A nem támogatott session metódusok elrejtése az automatikus kiegészítésből
• [SPARK-43022] [SC-131681][connect] A Scala-ügyfél protobuf függvényeinek támogatása
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrál NotImplementedError a következőbe: PySparkNotImplementedError
• [SPARK-43860] [SC-132713][sql] A tail-recursion engedélyezése, ahol csak lehetséges
• [SPARK-42421] [SC-132695][core] A utils használatával lekérheti a helyi ellenőrzőponton használt dinamikus foglalás kapcsolóját
• [SPARK-43590] [SC-132012][connect] A connect-jvm-client-mima-check modult úgy alakítsa ki, hogy támogassa a mima-ellenőrzést a protobuf modullal
• [SPARK-43315] [13.x][connect][PYTHON][ss] A fennmaradó hibák migrálása a DataFrame-ből (Olvasó|Író) hibaosztályba
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: a számmal rendelkező serde engedélyezése intsként
• [SPARK-43789] [SC-132397][r] Alapértelmezés szerint a "spark.sql.execution.arrow.maxRecordsPerBatch" értéket használja az R createDataFrame-ben az Arrow-val
• [SPARK-43596] [SC-126994][sql] Az IsNull predikátum kezelése a rewriteDomainJoins-ban
• [SPARK-42249] [SC-122565][sql] Html-hivatkozás finomítása a hibaüzenetekben szereplő dokumentációhoz.
• [SPARK-43128] [SC-131628][connect][SS] Tegyük recentProgress és lastProgress visszatérést konzisztenssé a natív Scala Api-val
• [SPARK-43387] [SC-130448][sql] Biztosítson egy ember által olvasható hibakódot a _LEGACY_ERROR_TEMP_1168-hez.
• [SPARK-43334] [SC-132358] [Felhasználói felület] Hiba kijavítása a ExecutorPeakMetricsDistributions API-válaszba való szerializálása során
• [SPARK-42958] [SC-131475][connect] Refaktorálás a mima-ellenőrzés avro modul általi támogatásához
• [SPARK-43591] [SC-131977][sql] Rendeljen nevet a _LEGACY_ERROR_TEMP_0013 hibaosztályhoz
• [SPARK-38464] [SC-132211][core] Hibaosztályok használata az [org.apache.spark.io] modulban.
• [SPARK-43759] [SC-132189][sql][PYTHON] A TimestampNTZ típus elérhetővé tehető a pyspark.sql.types-ben
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Rendeljen neveket a _LEGACY_ERROR_TEMP_240 hibaosztályhoz[1-3]
• [SPARK-43719] [SC-132016][webui] Kezelés missing row.excludedInStages mező
• [SPARK-42956] [SC-127257][connect] Avro-függvények támogatása Scala-ügyfélhez
• [SPARK-43487] [SC-131975][sql] Beágyazott CTE-hibaüzenet javítása
• [SPARK-43265] [SC-129653] Hiba keretrendszer áthelyezése egy közös utils modulba
• [SPARK-40912] [SC-131547][core]A kivételek többletköltsége a KryoDeserializationStream-ben
• [SPARK-43583] [SC-131976][core] MergedBlockedMetaReqHandler lekérése a meghatalmazotttól a SaslRpcHandler-példány helyett
• [SPARK-42996] [SC-131997][connect][PS][ml] Hozza létre és rendelje hozzá a megfelelő JIRA-jegyeket az összes sikertelen teszthez.
• [SPARK-38469] [SC-131425][core] Hibaosztály használata a org.apache.spark.network webhelyen
• [SPARK-43718] [SC-132014][sql] Állítsa be helyesen a nullable tulajdonságot a USING illesztések kulcsainál.
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop üres oszlopot kell elfogadnia
• [SPARK-43743] [SC-132038][sql] Port HIVE-12188 (A DoAs nem működik megfelelően a nem kerberos által védett HS2-ben)
• [SPARK-43598] [SC-131929][sql] Rendeljen nevet a _LEGACY_ERROR_TEMP_2400 hibaosztályhoz
• [SPARK-43138] [SC-131031][core] A ClassNotFoundException javítása a migrálás során
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [SC-131025][core] Hibaosztályok használata az org.apache.spark.memory alkalmazásban
• [SPARK-43345] [SC-131790][spark-43346][SQL] Nevezze át a hibaosztályokat LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Kifejezéseliminálás támogatásának lerövidítése kifejezésrövidítéssel
• [SPARK-38462] [SC-130449][core] Hibaosztály hozzáadása INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] cannotBroadcastTableOverMaxTableBytesError javítása a bytesToString használatához
• [SPARK-43539] [SC-131830][sql] Rendeljen nevet a _LEGACY_ERROR_TEMP_0003 hibaosztályhoz
• [SPARK-43157] [SC-131688][sql] Az InMemoryRelation gyorsítótár tervének klónozása a klónozott terv megakadályozása érdekében, hogy ugyanazon objektumokra hivatkozzon
• [SPARK-43309] [SC-129746][spark-38461][CORE] INTERNAL_ERROR kiterjesztése kategóriákkal és hibaosztály hozzáadása INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Az egyidejű író javítása nem frissíti a fájlmetrikákat
• [SPARK-43383] [SC-130660][sql] Statisztika hozzáadása rowCount a LocalRelationhoz
• [SPARK-43574] [SC-131739][python][SQL] Támogatás az UDF- és pandas-függvény API-k számára futtatható Python beállításához a futtatókörnyezetben dolgozóknál
• [SPARK-43569] [SC-131694][sql] A HADOOP-14067 megkerülésének eltávolítása
• [SPARK-43183] [SC-128938][ss][13.x] Új "onQueryIdle" visszahívás bevezetése a StreamingQueryListenerbe
• [SPARK-43528] [SC-131531][sql][PYTHON] Duplikált mezőnevek támogatása a createDataFrame-ben a pandas DataFrame használatával
• [SPARK-43548] [SC-131686][ss] A HADOOP-16255 megkerülő megoldásának eltávolítása
• [SPARK-43494] [SC-131272][core] Közvetlen hívás replicate()HdfsDataOutputStreamBuilder a visszatükrözés helyett SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][core] Hiányzó hadoopProperties és metricsProperties kezelése
• [SPARK-42899] [SC-126456][sql] Kijavítottuk a DataFrame.to(sémát) az eset kezeléséhez, amikor null értékű mezőben nem null értékű beágyazott mező található
• [SPARK-43302] [SC-129747][sql] Az UDAF Python összesítési funkcióvá alakítása
• [SPARK-43223] [SC-131270][connect] Gépelt aggregáció, csökkentő függvények, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] Bontsa ki a QueryTerminatedEvent elemet, hogy hibaosztályt tartalmazzon, ha az kivételben létezik
• [SPARK-43359] [SC-131463][sql] A Hive-táblából való törlésnek a következőt kell dobnia: "UNSUPPORTED_FEATURE. TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Visszaváltás URL-kódolt sztringekre
• [SPARK-43492] [SC-131227][sql] Adjon hozzá 3-args függvény aliasokat DATE_ADD és DATE_DIFF
• [SPARK-43473] [SC-131372][python] A createDataFrame szerkezettípus támogatása a pandas DataFrame-ből
• [SPARK-43386] [SC-131110][sql] A javasolt oszlop/attribútumok listájának javítása a hibaosztályban UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-43443] [SC-131332][sql] Adjon hozzá teljesítménytesztet az időbélyeg típusú következtetéshez érvénytelen érték használatakor
• [SPARK-43518] [SC-131420][sql] A _LEGACY_ERROR_TEMP_2029 INTERNAL_ERROR-vá konvertálása
• [SPARK-42604] [SC-130648][connect] Függvények megvalósítása.typedlit
• [SPARK-42323] [ES-669513] „Visszavonás: [SC-123479][sql] Név hozzárendelése a következőhöz _LEGACY_ERROR_TEMP_2332”
• [SPARK-43357] [SC-130649][sql] Dátumtípus szerinti dátumszűrés
• [SPARK-43410] [SC-130526][sql] A csomagolt skipValues vektorizált ciklusának javítása
• [SPARK-43441] [SC-130995][core] makeDotNode nem hiúsul meg, ha a DeterministicLevel hiányzik
• [SPARK-43324] [SC-130455][sql] Delta-alapú források parancsainak kezelése UPDATE
• [SPARK-43272] [SC-131168][core] Tükröződés helyett közvetlen hívás createFile
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Spark Connect-munkamenethibák migrálása hibaosztályba
• [SPARK-43405] [SC-130987][sql] Távolítsa el a felesleges getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL metódus
• [SPARK-43447] [SC-131017][r] Támogatja az R 4.3.0-t
• [SPARK-43425] [SC-130981][sql] Hozzáadás TimestampNTZType a következőhöz: ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Több adatkeretet tartalmazó műveletek ellenőrzése
• [SPARK-43262] [SC-129270][connect][SS][python] Spark Connect strukturált streamelési hibák migrálása hibaosztályba
• [SPARK-42992] [13.x][sc-129465][PYTHON] A PySparkRuntimeError bevezetése
• [SPARK-43422] [SC-130982][sql] A logicRelation címkéinek megőrzése metaadatok kimenetével
• [SPARK-43390] [SC-130646][sql] A DSv2 lehetővé teszi a CTAS/RTAS számára a séma nullbilitásának lefoglalását
• [SPARK-43430] [SC-130989][connect][PROTO] Az ExecutePlanRequest tetszőleges kérésbeállításokat támogat.
• [SPARK-43313] [SC-130254][sql] Hiányzó oszlop ALAPÉRTELMEZETT értékeinek hozzáadása a MERGE INSERT műveletekhez
• [SPARK-42842] [SC-130438][sql] Egyesítse a _LEGACY_ERROR_TEMP_2006 hibaosztályt a REGEX_GROUP_INDEX-szel
• [SPARK-43377] [SC-130405][sql] Alapértelmezés szerint engedélyezve spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][core][CONNECT] Váltás ExecutorClassLoader modulra core és egyszerűsítés Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] A TimestampNTZ típus támogatásának javítása JDBC-adatforrásban
• [SPARK-43343] [SC-130629][ss] A FileStreamSource-nak le kell tiltania egy további fájl glob-ellenőrzést a DataSource létrehozásakor
• [SPARK-43312] [SC-130294][protobuf] Bármely mező JSON-lá alakítható
• [SPARK-43404] [SC-130586][ss] Kihagyja az sst-fájl újbóli használatát a RocksDB állapottároló ugyanazon verziójához az azonosítóeltérési hiba elkerülése érdekében
• [SPARK-43397] [SC-130614][core] Napló-végrehajtó leszerelési időtartama a metódusban executorLost
• [SPARK-42388] [SC-128568][sql] A parquet footer kétszeri olvasásának elkerülése vektoros olvasóban
• [SPARK-43306] [13.x][sc-130320][PYTHON] ValueError áttelepítése Spark SQL-típusokból hibaosztályba
• [SPARK-43337] [SC-130353][ui][3.4] A rendezési oszlop asc/desc nyil ikonok nem jelennek meg a táblázatban.
• [SPARK-43279] [SC-130351][core] A nem használt tagok törlése SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Cserélje le a hibaosztályt _LEGACY_ERROR_TEMP_2014 belső hibára
• [SPARK-43363] [SC-130299][sql][PYTHON] Csak akkor hívja meg astype, ha a kategóriatípus nincs megadva az arrow típusban
• [SPARK-43261] [SC-130154][python] Migrálás TypeError Spark SQL-típusokból hibaosztályba
• [SPARK-41971] [SC-130230][sql][PYTHON] Konfiguráció hozzáadása pandas-konverzióhoz a szerkezettípusok kezeléséhez
• [SPARK-43381] [SC-130464][connect] A 'transformStatCov' legyen lusta
• [SPARK-43362] [SC-130481][sql] A MySQL-összekötő JSON-típusának speciális kezelése
• [SPARK-42843] [SC-130196][sql] A _LEGACY_ERROR_TEMP_2007 hibaosztály frissítése REGEX_GROUP_INDEX-re
• [SPARK-42585] [SC-129968][connect] Helyi kapcsolatok streamelése
• [SPARK-43181] [SC-130476][sql] UI WebURL megjelenítése a shellben spark-sql
• [SPARK-43051] [SC-130194][connect] Beállítás hozzáadása alapértelmezett értékek kibocsátásához
• [SPARK-43204] [SC-129296][sql] A MERGE-hozzárendelések táblázatattribútumokkal való igazítása
• [SPARK-43348] [SC-130082][python] Támogatás Python 3.8 PyPy3-ban
• [SPARK-42845] [SC-130078][sql] Frissítse a _LEGACY_ERROR_TEMP_2010 hibaosztályt InternalErrorra
• [SPARK-43211] [SC-128978][hive] Hadoop2-támogatás eltávolítása az IsolatedClientLoaderben

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Telepített Python kódtárak

Telepített R-kódtárak

Az R-kódtárak a 2023.02.10-i Microsoft CRAN-pillanatképből vannak telepítve.

Telepített Java és Scala-kódtárak (Scala 2.12-fürtverzió)