vllm 部署模型API


vllm serve YOUR/PATH/TO/MODEL --dtype auto --api-key token-abc123
curl http://localhost:8000/v1/models -H "Authorization: Bearer token-abc123" | jq

声明:冰醋酸|版权所有,违者必究|如未注明,均为原创|本网站采用BY-NC-SA协议进行授权

转载:转载请注明原文链接 - vllm 部署模型API


一切随缘