home/categories/llm-ai/vasilyu1983-ai-agents-public-frameworks-shared-skills-skills-ai-llm-inference-skill-md
llm-aidata-ai
ai-llm-inference
Operational patterns for LLM inference: latency budgeting, tail-latency control, caching, batching/scheduling, quantization/compression, parallelism, and reliable serving at scale. Emphasizes production-grade performance, cost control, and observability.
maintainer
vasilyu1983
আপডেট হয়েছে 1/9/2026
স্টার
24
ফর্ক
6
quick start
Installation and usage
Operational patterns for LLM inference: latency budgeting, tail-latency control, caching, batching/scheduling, quantization/compression, parallelism, and reliable serving at scale. Emphasizes production-grade performance, cost control, and observability.
ইনস্টলেশন
$ install --globalskills.sh
ব্যবহার
ইনস্টল করার পর, টার্মিনালে নিচের কমান্ড চালিয়ে আপনি এই স্কিল ব্যবহার করতে পারবেন:
skills use ai-llm-inference