llm-aidata-ai
inference
Fast inference with Unsloth and vLLM backend. Covers model loading, fast_generate(), thinking model output parsing, and memory management for efficient inference.
maintainer
atrawog
اپ ڈیٹ ہوا 1/12/2026
اسٹارز
0
فورکس
0
quick start
Installation and usage
Fast inference with Unsloth and vLLM backend. Covers model loading, fast_generate(), thinking model output parsing, and memory management for efficient inference.
انسٹالیشن
$ install --globalskills.sh
استعمال
انسٹال کرنے کے بعد، آپ یہ اسکل ٹرمینل میں درج ذیل کمانڈ چلا کر استعمال کر سکتے ہیں:
skills use inference