framework-internalsdevelopment
turboquant-pytorch
PyTorch implementation of TurboQuant for LLM KV cache compression using two-stage vector quantization (random rotation + Lloyd-Max + QJL residual correction).
maintainer
Aradotso
Обновлено 3/28/2026
Звёзды
26
Форки
6
quick start
Installation and usage
PyTorch implementation of TurboQuant for LLM KV cache compression using two-stage vector quantization (random rotation + Lloyd-Max + QJL residual correction).
Установка
$ install --globalskills.sh
Использование
После установки вы можете использовать этот skill, выполнив следующую команду в терминале:
skills use turboquant-pytorch