据英伟达官方消息,美团使用 NVIDIA GPU,通过算子融合、计算图等价替换等一系列优化 ,相较于 CPU 在相同成本约束下,NVIDIA T4 GPU 大幅加速美团 CTR(Click-Through-Rate)模型预测。
神经网络模型吞吐能力提升了 10 倍;同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上。
英伟达表示,美团的 CTR 模型过去一直在使用 CPU 推理的方式,但随着用户访问量的提升和深度神经网络的引入,CTR 模型结构趋于复杂,吞吐和计算量也越来越大。
CPU 开始不能满足模型对于算力的需求,而仅仅通过 CPU 服务器的堆叠带来的提升相较偏低。
而 GPU 拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度场景,在行业内已经在 CV、NLP 等领域展示了强大的能力。