AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前AI 评分31
为 Amazon SageMaker AI 上的 TTS 停止猜测自动扩缩容目标
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
针对自托管 TTS 端点自动扩缩容目标靠猜的问题，AWS 在 Amazon SageMaker AI 实时端点上以自定义容器部署 82M 参数的 Kokoro-82M，用实测的 Q_max（单实例不超 SLO 的最高并发）和 T_total（一次扩容耗时）推算扩容阈值、缩容阈值与两个冷却时间。
来源：AWS Machine Learning Blog · aws.amazon.com