Ingestování dat ze Splunku do Azure Data Exploreru

Splunk Enterprise je softwarová platforma, která umožňuje ingestovat data z mnoha zdrojů současně. Indexer Splunk zpracovává data a ukládá je ve výchozím nastavení v hlavním indexu nebo v zadaném vlastním indexu. Vyhledávání v splunku používá indexovaná data k vytváření metrik, řídicích panelů a upozornění. Azure Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie.

V tomto článku se dozvíte, jak pomocí doplňku Azure Data Explorer Splunk odesílat data z Splunku do tabulky v clusteru. Vytvoříte tabulku a mapování dat, nasměrujete Splunk na odeslání dat do tabulky a pak ověříte výsledky.

Následující scénáře jsou nejvhodnější pro příjem dat do Azure Data Exploreru:

• Vysokoobjemová data: Azure Data Explorer je vytvořený tak, aby efektivně zpracovával obrovské objemy dat. Pokud vaše organizace generuje velký objem dat, která potřebují analýzu v reálném čase, je Azure Data Explorer vhodnou volbou.
• Data časových řad: Azure Data Explorer exceluje při zpracování dat časových řad, jako jsou protokoly, telemetrická data a čtení ze senzorů. Uspořádá data v časových oddílech, což usnadňuje provádění časově založených analýz a agregací.
• Analýza v reálném čase: Pokud vaše organizace vyžaduje přehledy z toku dat v reálném čase, mohou být možnosti Azure Data Exploreru téměř v reálném čase užitečné.

Požadavky

• Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure není povinné.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Splunk Enterprise 9 nebo novější.
• Instanční objekt služby Microsoft Entra. Vytvořte instanční objekt služby Microsoft Entra.

Vytvoření tabulky a objektu mapování

Po vytvoření clusteru a databáze vytvořte tabulku se schématem, které odpovídá vašim datům Splunk. Vytvoříte také objekt mapování, který transformuje příchozí data do schématu cílové tabulky.

V následujícím příkladu vytvoříte tabulku s názvem WeatherAlert čtyři sloupce: Timestamp, Temperature, Humiditya Weather. Vytvoříte také mapování s názvem WeatherAlert_Json_Mapping, které extrahuje vlastnosti z příchozího JSON, jak určuje path, a zapisuje je do zadaného column.

V editoru dotazů webového uživatelského rozhraní spusťte následující příkazy, které vytvoří tabulku a mapování:

1. Vytvoření tabulky:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Ověřte, že WeatherAlert byla tabulka vytvořená a je prázdná:

   WeatherAlert
   | count
   

3. Vytvoření objektu mapování:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Pomocí instančního objektu z části Požadavky udělte oprávnění k práci s databází.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalace doplňku Splunk Azure Data Explorer

Doplněk Splunk komunikuje s Azure Data Explorerem a odesílá data do zadané tabulky.

1. Stáhněte si doplněk Azure Data Explorer.

2. Přihlaste se ke své instanci Splunk jako správce.

3. Přejděte na Správa aplikací>.

4. Vyberte Instalovat aplikaci ze souboru a pak vyberte doplněk Azure Data Explorer, který jste stáhli.

5. Dokončete instalaci podle pokynů.

6. Vyberte Restartovat hned.

7. Ověřte, že je doplněk nainstalovaný, tak, že přejdete do Dashboard>Akce výstrah a vyhledáte doplněk Azure Data Explorer.

   

Vytvoření nového indexu v Splunku

Vytvořte v splunku index, který určuje kritéria pro data, která chcete odeslat do Azure Data Explorer.

1. Přihlaste se ke své instanci Splunk jako správce.
2. Přejděte na Nastavení>Indexy.
3. Zadejte název indexu a nakonfigurujte kritéria pro data, která chcete odeslat do Azure Data Explorer.
4. Podle potřeby nakonfigurujte zbývající vlastnosti a pak index uložte.

Konfigurace doplňku Splunk pro odesílání dat do Azure Data Exploreru

1. Přihlaste se ke své instanci Splunk jako správce.

2. Přejděte na řídicí panel a vyhledejte index, který jste vytvořili dříve. Pokud jste například vytvořili index s názvem WeatherAlerts, vyhledejte index="WeatherAlerts".

3. Vyberte Uložit jako>upozornění.

4. Zadejte název, interval a podmínky požadované pro výstrahu.

   

5. V části Akce triggeru vyberte Přidat akce>Odeslat do Microsoft Azure Data Explorer.

   

6. Podrobnosti o připojení nakonfigurujte následujícím způsobem:

   Nastavení	Popis
   Adresa URL pro příjem dat clusteru	Zadejte adresu URL příjmu dat clusteru Azure Data Exploreru. Například https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID klienta	Zadejte ID klienta aplikace Microsoft Entra, kterou jste vytvořili dříve.
   Tajný klíč klienta	Zadejte tajný klíč klienta aplikace Microsoft Entra, kterou jste vytvořili dříve.
   ID klientu	Zadejte ID tenanta aplikace Microsoft Entra, kterou jste vytvořili dříve.
   Databáze	Zadejte název databáze, do které chcete data odeslat.
   Tabulka	Zadejte název tabulky, do které chcete data odeslat.
   Mapování	Zadejte název objektu mapování, který jste vytvořili dříve.
   Odebrat nadbytečná pole	Tuto možnost vyberte, pokud chcete z dat odesílaných do clusteru odebrat všechna prázdná pole.
   Trvalý režim	Tuto možnost vyberte, pokud chcete povolit režim odolnosti během ingestování dat. Pokud je nastavena na hodnotu true, ovlivní to propustnost ingestace.

   

7. Výběrem možnosti Uložit výstrahu uložte.

8. Přejděte na stránku Upozornění a ověřte, že se výstraha zobrazí v seznamu výstrah.

   

Ověření, že se data ingestují do Azure Data Exploreru

Po aktivaci výstrahy se data odesílají do tabulky Azure Data Explorer. Spuštěním dotazu v editoru dotazů webového uživatelského rozhraní můžete ověřit, že se data ingestují.

1. Spusťte následující dotaz a ověřte, že se data načítají do tabulky:

   WeatherAlert
   | count
   

2. Spuštěním následujícího dotazu zobrazte data:

   WeatherAlert
   | take 100
   

   

Související obsah

• Zápis dotazů