Batch Inference

面向大规模异步批处理负载的推理服务，单模型可扩展处理海量 token 数据。