Adattudományi elejétől a végéig forgatókönyv: bevezetés és architektúra

Ezek az oktatóanyagok teljes körű forgatókönyvet mutatnak be a Fabric adatelemzési felületén. Minden lépésre kiterjednek, a

• Adatok betöltése
• Adattisztítás
• Adatok előkészítése

felhasználóként a(z)

• Gépi tanulási modell betanítása
• Bepillantások generálása

majd vizualizációs eszközökkel – például a Power BI-val – lefedheti az elemzések felhasználását.

Azoknak, akik újak a Microsoft Fabric világában, érdemes ellátogatniuk a Mi a Microsoft Fabric? című oldalra.

Bevezetés

Az adatelemzési projektek életciklusa általában az alábbi lépéseket tartalmazza:

• Az üzleti szabályok ismertetése
• Az adatok beszerzése
• Az adatok feltárása, tisztítása, előkészítése és vizualizációja
• A modell betanítása és a kísérlet nyomon követése
• A modell pontszáma és elemzések létrehozása

A lépések gyakran iteratív módon haladnak tovább. Az egyes szakaszok céljai és sikerességi feltételei az együttműködéstől, az adatmegosztástól és a dokumentációtól függenek. A Fabric adatelemzési felülete több natív beépített funkciót tartalmaz, amelyek zökkenőmentes együttműködést, adatgyűjtést, megosztást és felhasználást tesznek lehetővé.

Ezek az oktatóanyagok az adatelemző szerepébe helyeznek, aki 10 000 banki ügyfél adathalmazát kell feltárnia, megtisztítania és átalakítania. Ezután létrehoz egy gépi tanulási modellt, amely előrejelzi, hogy mely banki ügyfelek távoznak.

Az oktatóanyagokban a következő tevékenységeket hajtja végre:

1. A Fabric-jegyzetfüzetek használata adatelemzési forgatókönyvekhez
2. Adatok betöltése Fabric lakehouse-ba az Apache Spark használatával
3. Meglévő adatok betöltése a lakehouse-beli deltatáblákból
4. Apache Spark- és Python-alapú eszközök használata az adatok megtisztításához és átalakításához
5. Kísérletek és futtatások létrehozása különböző gépi tanulási modellek betanítása érdekében
6. Az MLflow és a Fabric felhasználói felülete a betanított modellek regisztrálásához és nyomon követéséhez
7. Pontozás végrehajtása nagy léptékben, és az előrejelzések és a következtetési eredmények mentése a lakehouse-ba.
8. Előrejelzések megjelenítése a Power BI-ban a DirectLake használatával

Építészet

Ez az oktatóanyag-sorozat egy egyszerűsített, végpontok közötti adatelemzési forgatókönyvet mutat be, amely a következőket foglalja magában:

1. Adatok betöltése külső adatforrásból.
2. Adatfeltárás és -tisztítás.
3. Gépi tanulási modell betanítása és regisztrálása.
4. Kötegelt értékelés és előrejelzések mentése.
5. Előrejelzési eredmény vizualizációja a Power BI-ban.

Az adatelemzési forgatókönyv különböző összetevői

Adatforrások – Az adatok Fabrictel való betöltéséhez egyszerűen és gyorsan csatlakozhat az Azure Data Serviceshez, más felhőplatformokhoz és helyszíni adaterőforrásokhoz. A Fabric jegyzetfüzetekkel az alábbi erőforrásokból lehet adatokat betölteni:

• Beépített tóparti házak
• Adattárházak
• Szemantikai modellek
• Különböző Apache Spark-adatforrások
• Különböző adatforrások, amelyek támogatják a Pythont

Ez az oktatóanyag-sorozat az adatbetöltést és a lakehouse-ból történő betöltést mutatja be.

Felfedezés, tisztítás és előkészítés – A Fabric adatelemzési felülete támogatja az adattisztítást, az átalakítást, a feltárást és a featurizációt. Beépített Spark-élményeket és Python-alapú eszközöket használ, például a Data Wranglert és a SemPy Libraryt. Ez az oktatóanyag bemutatja az adatfeltárást a Python-kódtárral, valamint az seaborn Apache Spark használatával végzett adattisztítást és -előkészítést.

Modellek és kísérletek – A Fabric segítségével gépi tanulási modelleket taníthat be, értékelhet ki és értékelhet be beépített kísérletek segítségével. A modellek regisztrálásához és üzembe helyezéséhez, valamint a kísérletek nyomon követéséhez az MLflow zökkenőmentes integrációt biztosít a Fabrictel az elemek modellezéséhez. Az üzleti elemzések készítéséhez és megosztásához a Fabric más funkciókat is kínál a nagy léptékű modell-előrejelzéshez (PREDICT), amelyekkel üzleti elemzéseket hozhat létre és oszthat meg.

Tárolás – A Fabric a Delta Lake-en szabványosít, ami azt jelenti, hogy minden Fabric-motor képes ugyanazt az adatkészletet használni, amelyet egy tóházban tárolnak. Ezzel a tárolási réteggel strukturált és strukturálatlan adatokat is tárolhat, amelyek támogatják a fájlalapú tárolást és a táblázatos formátumot is. Az adathalmazokat és a tárolt fájlokat egyszerűen elérheti az összes Fabric-felületi elemen keresztül – például jegyzetfüzeteken és folyamatokon keresztül.

Elemzések és betekintések felfedése – A Power BI, az iparág vezető üzletiintelligencia-eszköze képes a lakehouse adatok felhasználására jelentések és vizualizációk készítésére. Jegyzetfüzet erőforrásaiban Python- vagy Spark-natív vizualizációs könyvtárak

• matplotlib
• seaborn
• plotly
• stb.

vizualizálhatja a lakehouse-ban tárolt adatokat. A SemPy-kódtár az adatvizualizációt is támogatja. Ez a kódtár támogatja a beépített gazdag, feladatspecifikus vizualizációkat a

• A szemantikai adatmodell
• Függőségek és azok megsértései
• Besorolási és regressziós használati esetek

Következő lépés