turboquant-pytorch

Name: turboquant-pytorch
Author: Aradotso

PyTorch implementation of TurboQuant for LLM KV cache compression using two-stage vector quantization (random rotation + Lloyd-Max + QJL residual correction).

Voir le code source framework-internals

maintainer

Aradotso

Mis à jour 3/28/2026

Étoiles

Forks

quick start

Installation and usage

PyTorch implementation of TurboQuant for LLM KV cache compression using two-stage vector quantization (random rotation + Lloyd-Max + QJL residual correction).

Installation

$ install --globalskills.sh

Utilisation

Après l'installation, vous pouvez utiliser ce skill en exécutant la commande suivante dans votre terminal :

skills use turboquant-pytorch