home/categories/cloud/hsliuustc0106-vllm-omni-skills-skills-vllm-omni-serving-skill-md
clouddevops

vllm-omni-serving

Launch and configure vLLM-Omni API servers for production model serving. Use when starting a model server, configuring stage pipelines, setting up GPU memory, enabling optimizations, or deploying models behind a load balancer.

hsliuustc0106
maintainer
hsliuustc0106
আপডেট হয়েছে 3/4/2026
স্টার
50
ফর্ক
17
quick start

Installation and usage

Launch and configure vLLM-Omni API servers for production model serving. Use when starting a model server, configuring stage pipelines, setting up GPU memory, enabling optimizations, or deploying models behind a load balancer.

ইনস্টলেশন
$ install --globalskills.sh
ব্যবহার

ইনস্টল করার পর, টার্মিনালে নিচের কমান্ড চালিয়ে আপনি এই স্কিল ব্যবহার করতে পারবেন:

skills use vllm-omni-serving