金融界 2024 年 12 月 18 日消息，国家知识产权局信息显示，浪潮智慧科技有限公司申请一项名为“一种 ViT 蒸馏训练方法、系统、装置及可读存储介质”的专利，公开号 CN 119129701 A，申请日期为 2024 年 8 月。

　　专利摘要显示，本发明提出的一种 ViT 蒸馏训练方法、系统、装置及可读存储介质，所述方法包括：选择长尾数据集，并对长尾数据集进行预处理；对卷积神经网络进行训练，生成教师模型；基于长尾数据集生成数据样本，输入教师模型，生成软标签；基于视觉 Transformer 构建学生模型为学生模型配置知识蒸馏功能和损失函数；基于长尾数据集生成数据样本，输入学生模型，生成分类结果，基于分类结果和软标签利用损失函数优化学生模型参数，以训练学生模型；训练完成后，对学生模型进行模型验证和输出。本发明通过结合长尾数据集预处理、教师AG真人国际网络训练、知识蒸馏及损失重加权等技术，有效提升 ViT 模型在长尾数据集上的分类性能和泛化能力。