Geri bildirim modeli (kullanım dışı)

Important

Yeni kullanım örnekleri için Databricks aracı kodu, sunucu yapılandırması ve dağıtım iş akışı üzerinde tam denetim için Databricks Uygulamalarına aracı dağıtmanızı önerir. Bkz. Bir yapay zeka aracısı yazma ve Databricks Uygulamalarında dağıtma. Mevcut bir ajanı taşımak için Model Sunumu'ndan Databricks Uygulamalarına ajan göç ettirme bölümüne bakın.

Important

Kullanımdan kaldırma bildirimi: Geri bildirim modeli 4 Aralık 2025'te kullanımdan kaldırılmıştır ve artık databricks-agents'ın en son sürümünde desteklenmemektedir.

Yapılması gereken: Bunun yerine MLflow 3'ü kullanarak model 3'ü günlüğe kaydedin. Ardından geri bildirim toplamak için log_feedback API'sini ve MLflow 3 Değerlendirmeleri API'sini kullanın.

Geri bildirim modeli, aracı yanıtları hakkında program aracılığıyla geri bildirim toplamanızı sağlar. kullanarak agents.deploy()bir aracı dağıttığınızda Databricks, aracınızla birlikte otomatik olarak bir geri bildirim modeli uç noktası oluşturur.

Bu uç nokta yapılandırılmış geri bildirimleri (derecelendirmeler, yorumlar, değerlendirmeler) kabul eder ve çıkarım tablolarına kaydeder. Ancak bu yaklaşımın yerini MLflow 3'ün daha sağlam geri bildirim özellikleri almıştır.

MLflow 3'e geçiş

Kullanım dışı bırakılan geri bildirim modelini kullanmak yerine, kapsamlı geri bildirim ve değerlendirme özellikleri için MLflow 3'e geçiş yapın:

  • Sağlam doğrulama ve hata işleme ile birinci sınıf değerlendirme günlüğü
  • Anında geri bildirim görünürlüğünün artırılması için gerçek zamanlı izleme entegrasyonu
  • Gelişmiş paydaş işbirliği özellikleriyle uygulama tümleştirmesini gözden geçirin
  • Otomatik kalite değerlendirmesi ile üretim izleme desteği

Mevcut iş yüklerini MLflow 3'e geçirmek için:

  1. Geliştirme ortamınızda MLflow 3.1.3 veya üzeri bir sürümüne yükseltin:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Proje katılımcısı geri bildirim toplama için Uygulamayı Gözden Geçir'i etkinleştirin.

  3. Geri bildirim API çağrılarını MLflow 3 değerlendirme günlüğüyle değiştirin.

  4. Ajanınızı MLflow 3 ile dağıtın.

    • Gerçek zamanlı izleme tüm etkileşimleri otomatik olarak yakalar
    • Değerlendirmeler, birleşik görünürlük için doğrudan izlemelere eklenir

  5. Üretim izlemesini ayarlama (isteğe bağlı):

Geri bildirim API'sinin çalışma şekli (kullanım dışı)

Geri bildirim modeli, aracı yanıtları hakkında yapılandırılmış geri bildirimi kabul eden bir REST uç noktası sunuyor. Aracınız bir isteği işledikten sonra geri bildirim uç noktasına POST İsteği aracılığıyla geri bildirimde bulunursunuz.

Örnek geri bildirim isteği:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Farklı türde geri bildirim sağlamak için text_assessments.ratings ve retrieval_assessments.ratings alanlarına ek veya farklı anahtar-değer çiftleri verebilirsiniz. Örnekte geri bildirim yükü, aracının kimliğe 573d4a61-4adb-41bd-96db-0ec8cebc3744 sahip isteğe verdiği yanıtın doğru, kesin ve bir getirici araç tarafından getirilen bağlam içinde temellendirilmiş olduğunu belirtir.

Geri Bildirim API'sinde sınırlamalar

Deneysel geri bildirim API'sinin çeşitli sınırlamaları vardır:

  • Giriş doğrulaması yok; API, geçersiz girişle bile her zaman başarılı bir şekilde yanıt verir
  • Gerekli Databricks istek kimliği: özgün temsilci isteğinden databricks_request_id iletmeniz gerekiyor
  • Çıkarım tablosu bağımlılığı: Geri bildirim, kendi sınırlamalarıyla çıkarım tabloları kullanılarak toplanır
  • Sınırlı hata işleme: Sorun giderme için anlamlı hata iletisi yok

Gereken databricks_request_id elde etmek için, orijinal isteğinize aracı hizmet uç noktasında {"databricks_options": {"return_trace": True}} eklemeniz gerekmektedir.

Ek kaynaklar

  • Last updated on