Locust ile RAG kullanarak Python sohbet uygulamasının yükünü test etme

Bu makale, popüler bir açık kaynak yük testi aracı olan Locust ile Alma Artırılmış Nesil (RAG) desenini kullanarak python sohbet uygulamasında yük testi gerçekleştirme işlemini sağlar. Yük testinin birincil amacı, sohbet uygulamanızda beklenen yükün dakika başına geçerli Azure OpenAI Hizmeti işlemleri (TPM) kotasını aşmadığından emin olmaktır. Yoğun yük altında kullanıcı davranışının benzetimini yaparak, uygulamanızdaki olası performans sorunlarını ve ölçeklenebilirlik sorunlarını belirleyebilirsiniz. Bu işlem, yüksek hacimli kullanıcı istekleriyle karşılaşıldığında bile sohbet uygulamanızın yanıt verme ve güvenilir kalmasını sağlama açısından çok önemlidir.

Önkoşullar

• Bir Azure aboneliği. Ücretsiz bir tane oluşturun.

• Geliştirme kapsayıcıları, bu makaleyi tamamlamak için gereken tüm bağımlılıklara sahip her iki örnek için de kullanılabilir. Geliştirme kapsayıcılarını GitHub Codespaces'ta (tarayıcıda) veya Visual Studio Code kullanarak yerel olarak çalıştırabilirsiniz.

  • GitHub Codespaces (önerilen)
  • Visual Studio Code

  • Yalnızca bir GitHub hesabına ihtiyacınız vardır.

• RAG ile Python sohbet uygulaması. Sohbet uygulamanızı yük dengeleme çözümlerinden birini kullanacak şekilde yapılandırdıysanız, bu makale yük dengelemeyi test etmeye yardımcı olur. Yük dengeleme çözümleri Azure Container Apps'i içerir.

Yük testi örnek uygulamasını açma

Yük testi, Python sohbet uygulaması çözümünde Locust testi olarak bulunmaktadır. Bu makaleye dönün ve çözümü dağıtın. Ardından, aşağıdaki adımları tamamlamak için bu geliştirici kapsayıcısı geliştirme ortamını kullanın.

Testi çalıştırma

1. Eşzamanlı kullanıcıların simülasyonunu yapmak ve sohbet uygulamanızda yük oluşturmak için kullanılan Locust paketini yükleyin:

   python -m pip install locust
   

2. Locust test dosyasını locustfile.py kullanan Locust'u başlatın. Depo dizininin kökünde bulabilirsiniz. Örnekte, sohbet uygulamasından soru soran ve yanıt alan bir kullanıcının benzetimini yapılan bir sınıf vardır ChatUser .

   locust ChatUser
   

3. Locust başarıyla başlatıldıktan sonra, yük testini yapılandırmak ve izlemek için kullandığınız yerel bir web arabirimi başlatır. Çalışan Locust web sitesini açın, örneğin http://localhost:8089.

4. Locust web sitesine aşağıdaki değerleri girin.

   Mülkiyet	Değer
   Kullanıcı sayısı	20
   Artırmak	1
   Sunucu	https://<YOUR-CHAT-APP-URL>.azurewebsites.net (dağıtılan sohbet uygulamanızın temel URL'si)

   

5. Testi başlatmak için Swarm'u Başlat'ı seçin.

6. Test ilerleme durumunu izlemek için Grafikler'i seçin.

   

Kaynakları temizle

Yük testini bitirdiğinizde kaynakları temizleyin. Bu makalede oluşturulan Azure kaynakları Azure aboneliğinize faturalandırılır. Gelecekte bu kaynaklara ihtiyaç duymayı beklemiyorsanız, daha fazla ücret ödememek için bunları silin. Bu makaleye özgü kaynakları sildikten sonra diğer sohbet uygulaması öğreticisine dönmeyi ve temizleme adımlarını izlemeyi unutmayın.

Bu kaynakları temizlemek için sohbet uygulaması makalesine dönün.

Yardım alın

Bu yük testleyiciyi kullanırken sorun yaşıyorsanız sorununuzu deponun Sorunlar web sayfasına ekleyin.