이 페이지에서는 모델 배포에 대한 모델 제공에 사용되는 주요 개념에 대한 정의를 제공합니다.
엔드포인트
유추를 위해 하나 이상의 제공된 모델을 노출하는 REST API입니다.
경로 최적화 엔드포인트
유추 중에 사용자와 모델 간의 보다 빠르고 직접적인 통신을 통해 향상된 네트워크 경로를 가능하게 하는 엔드포인트 속성입니다. 자세한 내용은 엔드포인트 제공에 대한 경로 최적화를 참조하세요.
프로비전된 동시 실행
엔드포인트에서 처리할 수 있는 최대 병렬 요청 수를 지정하는 엔드포인트 속성입니다. 수식을 provisioned concurrency = queries per second (QPS) × model execution time (s)사용하여 필요한 동시성을 예측합니다.
0으로 조정
엔드포인트가 사용되지 않을 때 리소스 소비를 자동으로 0으로 줄이는 엔드포인트 속성입니다. 테스트 및 개발에는 0으로 크기를 조정하는 것이 좋습니다. 그러나 대기 시간이 더 크고 용량이 0으로 확장될 때는 용량이 보장되지 않으므로 프로덕션 엔드포인트에는 크기가 0으로 조정되지 않는 것이 좋습니다.
서비스된 엔터티
라우트된 트래픽을 수신할 수 있는 컴퓨팅 구성을 사용하여 특정 모델을 나타내는 엔드포인트 내의 명명된 배포 단위입니다.
트래픽 구성
엔드포인트의 각 모델로 향하는 트래픽 비율에 대한 사양입니다. 트래픽 구성은 둘 이상의 제공된 모델을 사용하는 엔드포인트에 필요합니다.
다음은 명명된 multi-pt-model 엔드포인트가 엔드포인트 트래픽의 meta_llama_v3_1_70b_instruct 60% 가져오는 버전 2를 호스트하고 그 중 meta_llama_v3_1_8b_instruct 40개% 엔드포인트 트래픽을 가져오는 버전 3을 호스트하는 예제입니다. 자세한 내용은 엔드포인트를 제공하는 모델에 여러 모델 제공을 참조하세요.
POST /api/2.0/serving-endpoints
{
"name":"multi-pt-model"
"config":
{
"served_entities":
[
{
"name":"meta_llama_v3_1_70b_instruct",
"entity_name":"system.ai.meta_llama_v3_1_70b_instruct",
"entity_version":"4",
"min_provisioned_throughput":0,
"max_provisioned_throughput":2400
},
{
"name":"meta_llama_v3_1_8b_instruct",
"entity_name":"system.ai.meta_llama_v3_1_8b_instruct",
"entity_version":"4",
"min_provisioned_throughput":0,
"max_provisioned_throughput":1240
}
],
"traffic_config":
{
"routes":
[
{
"served_model_name":"meta_llama_v3_1_8b_instruct",
"traffic_percentage":"60"
},
{
"served_model_name":"meta_llama_v3_1_70b_instruct",
"traffic_percentage":"40"
}
]
}
}
}