Öğretici: Azure Veri Gezgini’nde izleme verilerini alma ve sorgulama

Tanılama ölçümleri örneği

Tanılama ölçümleri, verileri bir dakikalık zaman dilimiyle toplar. Aşağıdaki örnekte sorgu süresiyle ilgili bir Azure Veri Gezgini ölçüm-olay şeması gösterilmektedir:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Tanılama günlükleri örneği

Aşağıdaki örnekte bir Azure Veri Gezgini tanılama alma günlüğü gösterilmektedir:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "aaaa0000-bb11-2222-33cc-444444dddddd",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "aaaa0000-bb11-2222-33cc-444444dddddd",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Etkinlik günlükleri örneği

Azure etkinlik günlükleri, aboneliğinizdeki kaynaklarda gerçekleştirilen işlemler hakkında içgörü sağlayan abonelik düzeyinde günlüklerdir. Aşağıdaki örnekte, erişimi denetlemeye yönelik bir etkinlik günlüğü olayı gösterilmektedir:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Tanılama ölçümleri için tablolar oluşturma

1. TestDatabase veritabanında tanılama ölçümleri kayıtlarını depolamak için DiagnosticMetrics adlı bir tablo oluşturun. Aşağıdaki .create table yönetim komutunu kullanın:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Tabloyu oluşturmak için Çalıştır'ı seçin.

   

3. Aşağıdaki sorguyu kullanarak veri işleme için TestDatabase veritabanında DiagnosticRawRecords adlı ara veri tablosunu oluşturun. Tabloyu oluşturmak için Çalıştır'ı seçin.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Ara tablo için sıfır bekletme ilkesi ayarlayın:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Tanılama günlükleri için tablolar oluşturma

1. TestDatabase veritabanında tanılama günlüğü kayıtlarını depolamak için DiagnosticLogs adlı bir tablo oluşturun. Aşağıdaki .create table yönetim komutunu kullanın:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Tabloyu oluşturmak için Çalıştır'ı seçin.

3. Aşağıdaki sorguyu kullanarak veri işleme için TestDatabase veritabanında DiagnosticRawRecords adlı ara veri tablosunu oluşturun. Tabloyu oluşturmak için Çalıştır'ı seçin.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Ara tablo için sıfır bekletme ilkesi ayarlayın:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Etkinlik günlükleri için tablolar oluşturma

1. Etkinlik günlüğü kayıtlarını almak için TestDatabase veritabanında ActivityLogs adlı bir tablo oluşturun. Tabloyu oluşturmak için aşağıdaki Azure Veri Gezgini sorgusunu çalıştırın:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Veri işleme için TestDatabase veritabanında ActivityLogsRawRecords adlı ara veri tablosunu oluşturun:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Ara tablo için sıfır bekletme ilkesi ayarlayın:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Tanılama ölçümlerini ve günlüklerini tabloya eşle

Tanılama ölçümünü ve günlük verilerini tabloyla eşlemek için aşağıdaki sorguyu kullanın:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Etkinlik günlüklerini tabloya haritalama

Etkinlik günlüğü verilerini tabloyla eşlemek için aşağıdaki sorguyu kullanın:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Tanılama ölçümleri için veri güncelleştirme ilkesi oluşturma

1. Tanılama ölçüm kayıtları koleksiyonunu genişleterek koleksiyondaki her değerin ayrı bir satır almasını sağlayan bir işlev oluşturun. şu işleci mv-expand kullanın:

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Güncelleştirme ilkesini hedef tabloya ekleyin. Bu ilke sorguyu DiagnosticRawRecords ara veri tablosundaki yeni alınan veriler üzerinde otomatik olarak çalıştırır ve sonuçlarını DiagnosticMetrics tablosuna alır:

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Tanılama günlükleri için veri güncelleştirme ilkesi oluşturma

1. Koleksiyondaki her değerin ayrı bir satır alması için tanılama günlükleri kayıtlarının koleksiyonunu genişleten bir işlev oluşturun. Azure Veri Gezgini kümesinde alım günlüklerini etkinleştirir ve alma günlükleri şemasını kullanırsınız. Başarılı ve başarısız yükleme için bir tablo oluşturursunuz, bazı alanlar ise başarılı yükleme için boş olur (örneğin ErrorCode). şu işleci mv-expand kullanın:

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Güncelleştirme ilkesini hedef tabloya ekleyin. Bu ilke sorguyu DiagnosticRawRecords ara veri tablosundaki yeni alınan veriler üzerinde otomatik olarak çalıştırır ve sonuçlarını DiagnosticLogs tablosuna alır:

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Etkinlik günlükleri için veri güncelleştirme ilkesi oluşturma

1. Koleksiyondaki her değerin ayrı bir satır alması için etkinlik günlüğü kayıtlarının koleksiyonunu genişleten bir işlev oluşturun. şu işleci mv-expand kullanın:

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Güncelleştirme ilkesini hedef tabloya ekleyin. Bu ilke sorguyu ActivityLogsRawRecords ara veri tablosundaki yeni alınan veriler üzerinde otomatik olarak çalıştırır ve sonuçlarını ActivityLogs tablosuna alır:

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Tanılama ölçümlerini ve günlüklerini olay hub'ınıza bağlama

Ölçümlerin dışarı aktarıldığı kaynağı seçin. Olay hub'ları ad alanı, Azure Key Vault, Azure IoT Hub ve Azure Veri Gezgini kümeleri gibi çeşitli kaynak türleri tanılama verilerini dışarı aktarmayı destekler. Bu öğreticide kaynağınız olarak bir Azure Veri Gezgini kümesi kullanın. Sorgu performansı ölçümlerini ve alma sonuçları günlüklerini gözden geçirebilirsiniz.

1. Azure portalında Kusto kümenizi seçin.

2. Tanılama ayarları'nı seçin ve daha sonra Tanılamayı aç bağlantısını seçin.

   

3. Tanılama ayarları bölmesi açılır. Aşağıdaki adımları izleyin:

   1. Tanılama günlük verilerinize ADXExportedData adını verin.

   2. LOG altında, SucceededIngestion ve FailedIngestion onay kutularının her ikisini de seçin.

   3. ÖLÇÜM altında Sorgu performansı onay kutusunu seçin.

   4. Olay hub'ına Stream to an event hub onay kutusunu seçin.

   5. Yapılandır'yı seçin.

      

4. Olay hub'ı seçin bölmesinde tanılama günlüklerindeki verileri oluşturduğunuz olay hub'ına aktarmayı yapılandırın:

   1. Etkinlik hub'ı ad alanı listesinde, AzureMonitoringData'yı seçin.
   2. Olay hub'ı adı seçin listesinde TanılamaVerileri'ni seçin.
   3. Olay hub'ı ilke adını seçin listesinde RootManagerSharedAccessKey'i seçin.
   4. Tamam'ı seçin.

5. Kaydet'i seçin.

Etkinlik günlüklerini olay hub'ınıza bağlama

1. Azure portalının sol menüsünde Etkinlik günlüğü'nü seçin.

2. Etkinlik günlüğü penceresi açılır. Tanılama ayarları'nı seçin.

   

3. Tanılama ayarları penceresi açılır. + Tanılama ayarı ekle’yi seçin.

   

4. Yeni bir Tanılama Ayarı penceresi açılır.

   

   Aşağıdaki adımları tamamlayın:

   1. Tanılama ayarı adı alanına bir ad girin.
   2. Onay kutularının sol tarafında, abonelikten toplamak istediğiniz platform günlüklerini seçin.
   3. Olay Hub'ına Akış onay kutusunu seçin.
   4. Aboneliğinizi seçin.
   5. Olay hub adı alanı listesinde AzureMonitoringData'yı seçin.
   6. İsteğe bağlı olarak Olay hub'ınızın adını seçin.
   7. Olay hub ilke adı listesinde varsayılan olay hub ilke adını seçin.
   8. Pencerenin sol üst köşesinde Kaydet'i seçin. Bir Olay hub'ı adı seçmediğiniz sürece insights-operational-logs adlı bir olay hub'ı oluşturulur.

1. Veri Bağlantısı penceresinde aşağıdaki ayarları kullanın:

   Veri kaynağı:

   Ayarlar	Önerilen değer	Alan açıklaması
   Veri bağlantısı adı	DiagnosticsLogsConnection	Azure Veri Gezgini'nde oluşturmak istediğiniz bağlantının adı.
   Olay hub'ı ad alanı	AzureMonitoringData	Önceden seçtiğiniz ve ad alanınızı tanımlayan ad.
   Olay hub'ı	DiagnosticData	Oluşturduğunuz olay hub'ı.
   Tüketici grubu	adxpipeline	Oluşturduğunuz olay hub'ında tanımlanan tüketici grubu.

   Hedef tablo:

   İki yönlendirme seçeneği vardır: statik ve dinamik. Bu öğreticide, tablo adını, veri biçimini ve eşlemeyi belirttiğiniz statik yönlendirmeyi (varsayılan) kullanırsınız. Verilerimde yönlendirme bilgileri var seçeneğini işaretlemeyin.

   Ayarlar	Önerilen değer	Alan açıklaması
   Table	DiagnosticRawRecords	TestDatabase veritabanında oluşturduğunuz tablo.
   Veri biçimi	JSON	Tabloda kullanılan biçim.
   Sütun eşleme	DiagnosticRawRecordsMapping	Gelen JSON verilerini DiagnosticRawRecords tablosunun sütun adlarıyla ve veri türleriyle eşleyen TestDatabase veritabanında oluşturduğunuz eşleme.

2. Oluştur'u belirleyin.

1. Veri Bağlantısı penceresinde aşağıdaki ayarları kullanın:

   Veri kaynağı:

   Ayarlar	Önerilen değer	Alan açıklaması
   Veri bağlantısı adı	ActivityLogsConnection	Azure Veri Gezgini'nde oluşturmak istediğiniz bağlantının adı.
   Olay hub'ı ad alanı	AzureMonitoringData	Önceden seçtiğiniz ve ad alanınızı tanımlayan ad.
   Event Hub	içgörüler-operasyonel kayıtlar	Oluşturduğunuz olay hub'ı.
   Tüketici grubu	$Default	Varsayılan tüketici grubu. Gerekirse farklı bir tüketici grubu oluşturabilirsiniz.

   Hedef tablo:

   İki yönlendirme seçeneği vardır: statik ve dinamik. Bu öğreticide, tablo adını, veri biçimini ve eşlemeyi belirttiğiniz statik yönlendirmeyi (varsayılan) kullanırsınız. Verilerimde yönlendirme bilgileri var seçeneğini işaretlemeyin.

   Ayarlar	Önerilen değer	Alan açıklaması
   Table	ActivityLogsRawRecords	TestDatabase veritabanında oluşturduğunuz tablo.
   Veri biçimi	JSON	Tabloda kullanılan biçim.
   Sütun eşleme	ActivityLogsRawRecordsMapping	Oluşturduğunuz eşleme, gelen JSON verilerini, TestDatabase veritabanındaki ActivityLogsRawRecords tablosunun sütun adları ve veri türleriyle eşler.

2. Oluştur'u belirleyin.

Tanılama ölçümleri tablosunu sorgulama

Aşağıdaki sorgu, Azure Veri Gezgini tanılama ölçüm kayıtlarından sorgu süresi verilerini analiz eder:

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Sorgu sonuçları:

Tanılama günlükleri tablosunu sorgulama

Bu işlem hattı bir Event Hub aracılığıyla veri alımları oluşturur. Bu veri yükleme işlemlerinin sonuçlarını gözden geçirebilirsiniz. Aşağıdaki sorgu, her aralık için Database, Table ve IngestionSourcePath örnekleri de dahil olmak üzere bir dakikada biriken alım sayısını analiz eder.

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Sorgu sonuçları:

Etkinlik günlükleri tablosunu sorgulama

Aşağıdaki sorgu, Azure Veri Gezgini etkinlik günlüğü kayıtlarından verileri analiz eder:

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Sorgu sonuçları: