英伟达：美团机器学习平台使用NVIDIA T4 GPU

据英伟达官方消息，美团机器学习平台使用 NVIDIA GPU，通过算子融合、计算图等价替换等一系列优化 ，相较于 CPU 在相同成本约束下，NVIDIA T4 GPU 大幅加速美团 CTR(Click-Through-Rate)模型预测性能，神经网络模型吞吐能力提升了 10 倍;同时在搜索精排场景中，端到端整体吞吐能力提升了一倍以上。

英伟达表示，美团的 CTR 模型过去一直在使用 CPU 推理的方式，但随着用户访问量的提升和深度神经网络的引入，CTR 模型结构趋于复杂，吞吐和计算量也越来越大，CPU 开始不能满足模型对于算力的需求，而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低。而 GPU 拥有数以千计的计算核心，可以在单机内提供密集的并行计算能力，特别适合深度学习场景，在行业内已经在 CV、NLP 等领域展示了强大的能力。通过 CUDA 及相关 API，NVIDIA 建立了完整的 GPU 生态系统。基于此，美团基础研发平台将 CTR 模型部署到 GPU 上，并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计、数据存储方式和传输方式上的特定优化。

NVIDIA Tesla T4 GPU 是一款推理加速器，搭载 NVIDIA Turing Tensor Core。官方称，NVIDIA Tesla T4 GPU 具备人工智能推理的多精度计算性能，从 FP32 到 FP16 再到 INT8，又到 INT4 精度，T4 的性能比 CPU 高出 40 倍，实现性能的重大突破。【责任编辑/周末】

来源：IT时代网

IT时代网(关注微信公众号ITtime2000，定时推送，互动有福利惊喜)所有原创文章版权所有，未经授权，转载必究。
创客100创投基金成立于2015年，直通硅谷，专注于TMT领域早期项目投资。LP均来自政府、互联网IT、传媒知名企业和个人。创客100创投基金对IT、通信、互联网、IP等有着自己独特眼光和丰富的资源。决策快、投资快是创客100基金最显著的特点。

相关文章

英伟达：美团机器学习平台使用NVIDIA T4 GPU

“大红大紫”的代价！英伟达再也收不了ARM了？

Nvidia收购Arm再次受阻 已遭FTC起诉

英伟达收购案还未获批！软银却要捂嘴笑：到手估计多赚100亿美元