海光联手图灵量子，开动细算Token账

海光和图灵量子此次伙同，我最面貌的筹谋是：让每个Token少花少量能量，少付少量数据搬运的代价。

这个标的，挺濒临大模子推理的本质。

推理经过中，有些任务谋略量很大，DCU符合扛；有些任务却是搬了大王人数据，的确作念的运算相对有限。尤其部剖析码负载，谋略单位可能一直等数据，账面性能再漂亮，也很难充分进展。

两边探索的有筹谋，即是让海光DCU承担大限度矩阵运算，CPU负责接洽扫尾，再由光子算力单位参与符合的低算术强度任务。同期从互联和数据传输脱手，磋议怎么减少系统里面的破钞。

这里能看出海光双芯的一个上风：不同任务有不同业止，主力谋略与接洽扫尾王人有我方的产物不时，再往外引入专用本领，通盘这个词单干更容易伸开商榷。

贵府还提到了权重叠用、大矩阵摊薄转机支拨、4—8bit量化。这些细节很实在，讲解光子谋略接入系统，也需要慎重算参加产出，不成只看某个门径跑得快。

我合计推理产业往后会越来越面貌这类事情。调用量上去以后，一次央求省下少量，长期运行就可能拉开差距。海光参与这条道路，对准的是更有成果地使用算力，这笔账值得提前算。

#海光信息# #AI推理# #大模子# #光子谋略#开云「中国」Kaiyun官网登录入口