इन्फ़रेंस के प्रकार · प्रश्न 10 / 12
Amazon SageMaker AI serverless inference की कौन-सी विशेषताएँ हैं?
2 उत्तर सही हैं। मध्यम AI से बनाया गया
उत्तर दिखाएँ
उत्तर
- A निष्क्रिय अवधि के बाद cold start उत्तर में देरी करता है
- D अनुरोध न आने पर कोई instance लागत नहीं लगती
व्याख्या
Serverless endpoints अपने-आप शून्य तक scale down होते हैं और compute समय के अनुसार बिल होते हैं, जो अनियमित ट्रैफ़िक के लिए उपयुक्त है। इसका समझौता निष्क्रिय अवधि के बाद cold start है। Serverless inference में GPU समर्थित नहीं हैं, और उत्तर सीधे वापस आता है, asynchronous विकल्प की तरह S3 के ज़रिए नहीं।