服务案例

本文源自:金融界

金融界2025年3月26日消息，国家知识产权局信息显示，北京英博数科科技有限公司申请一项名为“算力云上大语言模型训练优化方法及软件”的专利，公开号CN 119670848 A，申请日期为2024年12月。

专利摘要显示，本申请涉及一种算力云上大语言模型训练优化方法，包括在离线工具软件中，打乱Tokenizer内部顺序，得到新Token序列；根据所述新Token序列对Embedding矩阵进行按照相应位置进行调整，得到与所述新Token序列对应的新Embedding矩阵；根据所述新Token序列和所述新Embedding矩阵重新训练Tokenizer；根据重新训练的Tokenizer生成对应的Tokenize后的样本向量；测试修改后的大语言模型，上传样本向量和相应的Embedding矩阵并执行监督微调流程。本申请可以减少数据泄露的风险，对算力服务提供商和用户来说，减少数据泄露的风险都是有益的，本发明可以使得服务提供商减少数据泄露的可能，可以使用户更放心使用云服务。没有引入额外的计算和存储量，一般用户租用算力云是需要用到GPU或TPU加速的功能，Tokenize的过程一般也是利用的CPU的计算能力，因此用户侧进行Tokenize并不会引入额外的计算量和存储量。

天眼查资料显示，北京英博数科科技有限公司，成立于2022年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本21000万人民币，实缴资本10000万人民币。通过天眼查大数据分析，北京英博数科科技有限公司共对外投资了5家企业，参与招投标项目2次，财产线索方面有商标信息3条，专利信息5条，此外企业还拥有行政许可3个。