理光开发出高性能日语大语言模型

新华社东京6月4日电(记者钱铮)日本理光公司日前表示，该公司利用和日本理化学研究所共同研发得到的指令数据训练理光的日语大语言模型，提高了模型的指令遵循性能。

理光公司3日发布新闻公报说，他们用10329份指令数据对公司研发的130亿参数日语大语言模型进行了指令调优。与调优前相比，大语言模型的指令遵循性能得分从1.19分大幅提高至3.02分。

指令调优是训练大语言模型的一个过程，主要为了缩小模型的下一个标记预测目标与用户期望的模型遵循人类指令的目标之间差距。

理光公司说，随着老龄化和随之而来的劳动人口减少，许多企业寄希望于利用人工智能来提高生产效率，实现高附加值的劳动方法。而要将人工智能应用于实际业务，需要让大语言模型追加学习包括企业所处行业、所经营业务、以及企业固有用语等在内的大量数据。

相比英语国家围绕大语言模型研发的竞争，日语大语言模型的研发相对滞后。这主要是因为日语的语法和表达与英语完全不同，以英语为基础的模型难以充分发挥功能，而研发适合日语的模型首先必须花时间研究日语的特征。

大语言模型的研发还需要大量数据，而日语的数据远少于英语，品质和多样性方面也存在问题，日语数据的收集和完善需要大量时间和成本。大语言模型研发还需要很高的算力，而日本超算和云等计算资源原本就不足，能运用这些计算资源的技术和人才也不足。