home/categories/machine-learning/ecnu-icalk-autoskill-skillbank-convskill-chinese-gpt4-8-glm4-7-pytorch动态多损失平衡与可学习参数控制-skill-md
machine-learningdata-ai

pytorch

针对PyTorch中多任务学习或知识蒸馏场景,使用可学习参数(nn.Parameter)动态调整多个损失函数权重比例的技能。涵盖参数定义、优化器配置、数值稳定性处理(如对数空间转换)以及GradNorm算法的实现逻辑。

ECNU-ICALK
maintainer
ECNU-ICALK
更新于 2026/3/13
星标
304
分支
34
quick start

Installation and usage

针对PyTorch中多任务学习或知识蒸馏场景,使用可学习参数(nn.Parameter)动态调整多个损失函数权重比例的技能。涵盖参数定义、优化器配置、数值稳定性处理(如对数空间转换)以及GradNorm算法的实现逻辑。

安装
$ install --globalskills.sh
使用

安装后,您可以通过在终端运行以下命令来使用此技能:

skills use pytorch