过去一年，大模型技术呈现爆发式演进态势：一方面，国内科技企业持续突破大模型基座能力边界，另一方面，应用层厂商依托基座模型构筑起丰富的AI应用生态。在用户感知最直接的终端设备领域，大模型已实现从云端到边缘的跨越式渗透：无论是更智能的语音助手、更通用的 AI Agent 等人机交互方式，还是多模态环境理解——如车载场景中对周边环境的分析和对驾驶员的提示，这些都显著拉近了机器与用户之间的距离，在车载场景中赋能更加智慧的舱驾体验，加速迈向“人机合一”的“赛博时代”，开启智慧出行新篇章。

与云端高并发场景不同，端侧部署大模型主要面向单并发使用，模型推理时的“带宽瓶颈”尤为突出。每生成一个“Token”即对应一次模型推理（又称解码），势必需要至少一次模型数据访问。北极雄芯的 QM935-A08 通过充分利用内存带宽资源、优化非参数类算子计算、简化系统交互，并结合算法层面的改进，成功实现端侧大模型部署效率的逐步提升。

近期，北极雄芯已在多个大模型（如 DeepSeek、面壁智能 MiniCPM 等）上完成初版芯片部署测试。基于 QM935-A08 开发原型板的实测结果显示：面壁智能 MiniCPM-2B 端侧大模型最高可实现12.8～13.5token/s/req（端侧常见为单用户请求）的吞吐量，DeepSeek Distill Qwen 1.5B 端侧大模型的最高吞吐量则可达到16.4~18.8token/s/req。在相同的模型部署条件下，该性能在国内端侧 SoC 产品中处于领先地位。