home/categories/llm-ai/yonatangross-skillforge-claude-plugin-skills-high-performance-inference-skill-md

llm-aidata-ai

high-performance-inference

Name: high-performance-inference
Author: yonatangross

High-performance LLM inference with vLLM, quantization (AWQ, GPTQ, FP8), speculative decoding, and edge deployment. Use when optimizing inference latency, throughput, or memory.

ソースを表示 llm-ai

maintainer

yonatangross

更新日 1/19/2026

スター

フォーク

quick start

Installation and usage

High-performance LLM inference with vLLM, quantization (AWQ, GPTQ, FP8), speculative decoding, and edge deployment. Use when optimizing inference latency, throughput, or memory.

インストール

$ install --globalskills.sh

使い方

インストール後、ターミナルで以下のコマンドを実行してこのスキルを使用できます：

skills use high-performance-inference