site stats
我初步读了一下论文,这篇论文的基本思路其实是利用了推理过程中的局部性。现在现在推理性能的一个瓶颈就是GPU的内存。它们的思路就是联合CPU和GPU做联合推理。尽可能把active的neuron 信息load到GPU中,充分利用局部性。这样大大提高了GPU推理的效率。…
发布时间:
1
数据加载中
Markdown支持
评论加载中...
您可能感兴趣的: 更多