然后，这些特征表示会被进一步转化为一系列离散的代码，每个代码都对应码本里的一个离散词向量。码本就像一个字典，里面有限个数的离散词向量。特征表示通过在码本中找到最匹配的那个离散词向量，来获得对应的离散代码。
在得到一系列离散代码之后，就可以像处理语言词向量一样，输入到预训练的大语言模型，最终生成翻译的文本内容。
传统的基于扩散的声音转换模型通常需要多个迭代步骤来逐渐生成目标音频，这个过程可能既复杂又耗时。然而，CoMoSVC通过创新的模型设计和算法优化，实现了快速且高效的一步采样，大大减少了转换所需的时间，同时保持了音频质量。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。
该公司最近完成了近千万美元的 A 轮融资，用于开发企业级 AI Agent 产品 BetterYeah AI。斑头雁智能科技已经完成了2轮融资，累计融资额达到1亿元人民币。