home/categories/machine-learning/ecnu-icalk-autoskill-skillbank-convskill-chinese-gpt4-8-在transformer训练损失中集成正交高秩正规化-skill-md
machine-learningdata-ai
transformer
指导如何在CEUTrackActor类的compute_losses方法中集成基于SVD的正交高秩正规化损失。该技能包括提取注意力矩阵、计算奇异值、构建正则化项并将其加入总损失函数的步骤。
maintainer
ECNU-ICALK
업데이트됨 2026. 3. 16.
스타
304
포크
34
quick start
Installation and usage
指导如何在CEUTrackActor类的compute_losses方法中集成基于SVD的正交高秩正规化损失。该技能包括提取注意力矩阵、计算奇异值、构建正则化项并将其加入总损失函数的步骤。
설치
$ install --globalskills.sh
사용법
설치 후 터미널에서 다음 명령을 실행하여 이 스킬을 사용할 수 있습니다:
skills use transformer