home/categories/machine-learning/ecnu-icalk-autoskill-skillbank-convskill-chinese-gpt4-8-在transformer训练损失中集成正交高秩正规化-skill-md
machine-learningdata-ai
transformer
指导如何在CEUTrackActor类的compute_losses方法中集成基于SVD的正交高秩正规化损失。该技能包括提取注意力矩阵、计算奇异值、构建正则化项并将其加入总损失函数的步骤。
maintainer
ECNU-ICALK
Mis à jour 16/03/2026
Étoiles
304
Forks
34
quick start
Installation and usage
指导如何在CEUTrackActor类的compute_losses方法中集成基于SVD的正交高秩正规化损失。该技能包括提取注意力矩阵、计算奇异值、构建正则化项并将其加入总损失函数的步骤。
Installation
$ install --globalskills.sh
Utilisation
Après l'installation, vous pouvez utiliser ce skill en exécutant la commande suivante dans votre terminal :
skills use transformer