PowerInfer：让普通电脑也能跑大语言模型由上海交通大学开发，目的是在配备消费级GPU的个人电脑上提供高速的大语言模型推理服务。 PowerInfer 无缝整合了 CPU 和 GPU 的内存和计算能力，优化了内存和计算资源，从而在个人电脑上高效地运行复杂的 AI 模型。比llama.cpp快11倍...…

sign_in_with_google

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

27525 位用户此时在线

24小时点击排行 Top 10：

2024-6-13 今日热点汇总：美媒：马斯克与 SpaceX 多名女下属有染；苹果 AI 发布会之后，股价持续上涨一度重回第一；欧盟即将对中国电动车加征收关税最高近 50%；欧盟即将对中国电动车加征收关税最高近 50%；桥水基金创始人：中国正进入一场持续 100 年的风暴；吉林一银行取款两万需要警察陪同派出所回应：防止诈骗！建筑工人跪地讨薪项目经理：你们活该！河南遭遇罕见高温干旱天气蚂蚁落地瞬间烫死；中华文明为什么落后于西方文明网友评论直击要害；中国这家新能源企业大裁员应届生也不放过；中国这家新能源企业大裁员应届生也不放过；网红美女曝光王思聪私生子王思聪回应：撒酒疯

6月11日，天津的公交车上也开始了维稳模式。😔

6月13日，江西南昌。南昌师范学院附属中学拖欠教师工资和社保，教师们在校内拉横幅维权讨薪。

長髮女孩被眉山景區落石砸中瞬間！網友：太慘了，人當場就沒了！ 6月12日，#四川#眉山景區#瓦屋山突然有#石頭從高處#墜落，砸中一名站在小路上的長髮女遊客的頭部，女孩被砸倒在地從階梯滾下，不省人事。但官方通報遊客肩膀和頭部擦傷...

Fischl x Slime - A Special Delivery [Animation] The day is here! We now present to you, Fischl! *:・ﾟ✧٩(｡◕ ꇴ ◕｡)۶✧*・ﾟ:* This was a huge journey with so much more than we ever expected! Thank you all so much for your patience!❤️ 18 months of animation, 3 months of…

6月11日，一则前中央台办，国务院台办副主任刘军川表示，统一后台湾财政收入尽可用于改善民生的视频一经放出立刻引发网民群嘲。

河南近日连发高温，有民众记录下高温日常

这个发生在哪个国家？美国？印度、日本？新闻联播没有报啊？横店拍抗日片？日本鬼子太坏了，断子绝孙的野兽！

麻将机在进化。

6月13日，辽宁盘锦。网传因当地事业单位退休职工可以领取暖费，而企业职工却没有。当天大量退休老人前往盘锦市信访局维权。

相亲相爱一家人

太经典了！ 🤣

目前，广州地铁开始允许个人投放地铁广告，有人花1000元投放简历，有人投放相亲和生日祝福。

共产党就是这么的无耻、共产共妻是它们最喜欢的事情！

荷蘭空軍直飛上海領空，瓷習黨衛軍口炮部隊火力全開，就是不動手。當年八國聯軍來討頤和園建築費，現在的百國聯軍是否來討萬萬億房地產貸？

多地發生民眾上街，厲害國驚力倍受挑戰。

This happened in the city of Handan in May. A pretty girl was raped by her classmate whose mom is a CCP official. The boy stayed in jail only for a few days. The girl took suicide. Her mom drove to the boy’s neighborhood, ran over the boy’s mom then the boy himself, killed both.

转：没想到，安徽太和县村民的一个小小的善举，却无意间戳穿了中共官员贪腐的真面目。

不知道姜萍为什么去了中专？是家庭困难还是偏科？我当年因为家庭困难差点被逼上中专，因为上中专立刻解决了农村身份和经济困难。

俄黑人僱傭兵後方「偷家」

「G7」峰會正在義大利舉行，澤倫斯基抵達受到格外歡迎義大利總理梅洛納會見了七國集團國家和烏克蘭領導人（有很多擁抱和親吻）、歐盟委員會參加峰會將持續至6月15日、峰會第一達成協議，向烏克蘭提供 500 億美元貸款（將以凍結的俄羅斯資產的利潤償還）。

在日本，为了让病患按时吃药和不吃错药，药房会做下面这样“一包化”的工作，非常人性化。👍

以色列士兵，弓箭都用上了

被铁锤砸死的劳资处长，你敢拖欠我工资，老子就敢砸死你!再他妈来一下! 诶，诶!

拜登总统和其他G-7领导人观看了跳伞表演。

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

PowerInfer：让普通电脑也能跑大语言模型
由上海交通大学开发，目的是在配备消费级GPU的个人电脑上提供高速的大语言模型推理服务。
PowerInfer 无缝整合了 CPU 和 GPU 的内存和计算能力，优化了内存和计算资源，从而在个人电脑上高效地运行复杂的 AI 模型。
比llama.cpp快11倍...…
IT技术
( twitter.com )

5个月前由小互提交

PowerInfer：让普通电脑也能跑大语言模型

由上海交通大学开发，目的是在配备消费级GPU的个人电脑上提供高速的大语言模型推理服务。

PowerInfer 无缝整合了 CPU 和 GPU 的内存和计算能力，优化了内存和计算资源，从而在个人电脑上高效地运行复杂的 AI 模型。

比llama.cpp快11倍...

它支持多种不同的大型语言模型！

在测试中，PowerInfer在单个 NVIDIA RTX 4090 GPU 上达到了平均每秒生成 13.20 个令牌的速率，峰值可达 29.08 个令牌。接近顶级服务器级 GPU 的性能。

PowerInfer 对比llama.cpp 在运行 Falcon(ReLU)-40B-FP16 的单个 RTX 4090(24G) 上实现 11 倍加速！

其主要工作原理：

通过智能地分配和优化计算任务在 CPU 和 GPU 之间的处理，以及利用大型语言模型中的局部性特征，从而在个人电脑上高效地运行复杂的 AI 模型。这种方法使得即使是不具备高端服务器硬件的用户也能体验到高速的 AI 模型推理性能。

激活局部性利用：PowerInfer 利用了大语言模型推理中的高局部性。大语言模型在各种输入中，只有一小部分神经元（称为“热神经元”）持续激活，而大多数神经元（“冷神经元”）则根据特定输入变化。

GPU-CPU 混合推理：为了提高效率，PowerInfer 预先将热神经元加载到 GPU 上，以实现快速访问。这减少了 GPU 的内存需求。同时，它在 CPU 上计算冷神经元的激活，减少了 CPU 和 GPU 之间的数据传输。

GitHub：https://t.co/A4bNs7YO6m
论文：https://t.co/nsHTIHhOfn

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

自己身材好普通，不胖不瘦，胸也就A
躺下来就是平板电脑了
推特中文圈
( twitter.com)

1年前 • twitter机器人 • -- 点击 0 评论

2

6

5

5

天气频道The Weather Channel利用电脑技术制作了一段生动的科普视频，通过逼真的特效告诉大家“就算是一个小火星，也有可能酿大祸”。
视频
( www.miaopai.com)

5年前 • 秒拍视频 • -- 点击 0 评论

3

2

1

1

特朗普还在推开学：在地下室看着电脑让人脑萎缩
大陆资讯
( www.guancha.cn)

3年前 • 观察者网 • -- 点击 0 评论

4

3

2

2

大清国又开始闭关锁国了

让李嘉诚跑了
再也不能让韭菜们都跑了


时政
( twitter.com)

2年前 • twitter机器人 • -- 点击 • 下载视频 0 评论

00:00:28

5

2

1

1

很多同学本金不足+没有电脑，
那zhaozhao后续周更新内容的主题变成：
【使用手机+ OKX Web3钱包+1000Cny（150Usd）的启动资金，能否跑赢普通人脚踏实地辛苦打工？】

这一期主题大概是更新6-8个月左右。
币圈
( twitter.com)

1年前 • 0xzhaozhao • -- 点击 0 评论

6

2

1

1

加州也的确是有钱，普通公立小学，妹妹暑假之后才上一年级，不过学校已经每人派发一台新手提电脑了。她姐姐以前4年级才有电脑派发。
视频
( twitter.com)

2年前 • twitter机器人 • -- 点击 • 下载视频 0 评论

00:00:19

7

3

2

2

「睡好觉，才能加速大脑“排毒”神经元会助你高效清除废物」
在最新一期的《自然》杂志上，圣路易斯华盛顿大学的Jonathan Kipnis教授团队发现，睡觉时不仅血管会助力清洗工作，神经元也会通过释放电脉冲来帮忙，让脑脊液能更容易通过复杂的大脑结构和组织，加速代谢废物的排出。…
时政
( twitter.com)

2个月前 • Dr.Wang • -- 点击 0 评论

8

2

1

1

【狂人录：一位“黑”进自己大脑的神经学家】菲尔·肯尼迪为了克服传统大脑植入物的缺点，他是将取出的大脑神经放入电极中，以便电极能够安全地被固定在大脑内。他发明的这种“亲神经电极”，主要在于他的未来构想之一：让闭锁综合征患者可以通过脑机界面“说话”。
大陆资讯
( mp.weixin.qq.com)

8年前 • 阴小湿大 • -- 点击 0 评论

9

6

5

5

【普通人的勒索病毒紧急自救偏方】勒索病毒以一己之力拉高了普通老百姓电脑被黑的概率。作为普通人，我们在遇到勒索病毒之后，第一时间做什么才能控制损失甚至自救？
大陆资讯
( mp.weixin.qq.com)

4年前 • 微信公众号 • -- 点击 0 评论

10

3

2

2

3月30日，中国民用航空学院通知，每间宿舍只能留两台电脑（包括平板电脑）。
时政
( twitter.com)

2个月前 • 李老师不是你老师 • -- 点击 0 评论

11

6

5

5

【赛麟是个什么东西】一款 20 年前诞生的过气不入流作坊超跑、一款普通得不能再普通却硬打上“超跑”标签的 SUV、一款“老头乐”体型的电动微车、外加一款改装作坊出品的首款大众化跑车，这样充满魔幻色彩的产品组合，就是赛麟品牌盛大发布会“赛麟之夜”的全部。
大陆资讯
( www.huxiu.com)

4年前 • 虎嗅网 • -- 点击 0 评论

12

4

3

3

3月30日，中国民用航空飞行学院通知，每间宿舍只能留两台电脑（包括平板电脑）。
时政
( twitter.com)

2个月前 • 李老师不是你老师 • -- 点击 0 评论

13

2

1

1

羊在蒙古原地转圈跑了14天，同时乌龟也开始原地转圈了。松鼠原地转圈直到筋疲力尽的图片来自巴登-符腾堡州。

这一切都让人想起斯蒂芬·金的电影《脉搏》，人们通过自己的通讯网络进行大脑改造，成为一个受电磁控制的集体，同样不断地在原…
推特中文圈
( twitter.com)

1年前 • twitter机器人 • -- 点击 0 评论

14

3

2

2

15年来结局能让人脑高潮的15部电影
大陆资讯
( enrz.com)

8年前 • 不知道 • -- 点击 0 评论

15

2

1

1

5KM 跑鞋开放MINT预热，#AMA Hosted by 5KM
空投中英文电报群20双普通跑鞋, 价值 $6000

奖励: 20 双免费跑鞋空投
活动地址: 中文+英文电报群
时间：5月6日 20:00 -20…
币圈
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

16

2

1

1

【不是小品也不是相声：《一年一度喜剧大赛》与《脱口秀大会》的“洋基因”】英美的普通喜剧人，一年演下来，只能积攒5-10分钟的段子。上电视是一把双刃剑，能让你出名，但也一举消耗你大半年的产量。
大陆资讯
( mp.weixin.qq.com)

2年前 • 微信公众号 • -- 点击 0 评论

17

2

1

1

【70岁也能踢球！来，一起踢“走路足球”！】“走路足球”跟普通足球很类似，技战术一样一样的，区别是：无论是有球时，还是无球时，你都只能走，不能跑，跑了就算犯规，小跑也不行。还有就是不允许身体接触。
大陆资讯
( www.titan24.com)

2年前 • 你妹的溢达 • -- 点击 0 评论

18

2

1

1

怎么让老板和同事亲眼看到我真的很努力？

这位牛人制作了展示大脑思考强度的帽子

使用 Neurosity 传感器侦测脑电波，用 WIFI 把脑电波数据传到 Raspberry Pi 上跑的 node 服务器，Pi 连到帽子下面的…
推特中文圈
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

19

2

1

1

中国大使馆能打通电话，也挺厉害的。
时政
( twitter.com)

5个月前 • iPaul🇨🇦🇺🇦 • -- 点击 0 评论

20

6

5

5

惠普发布了一款新背包：可连 VR 头显，也可当电脑主机
大陆资讯
( www.leiphone.com)

5年前 • 雷锋网 • -- 点击 0 评论

21

2

1

1

加拿大的科学家发现，爱因斯坦的大脑在整体大小和重量上都是正常的；但他大脑的顶叶区域，即与数学推理有关的区域比普通人宽 15%。

此外，他的大脑两个半球之间的间隙（脑沟）并没有像普通人那样一直延伸，因而可以让更多的神经元更容易地协同工作。

[来源：]
有趣
( www.cbc.ca)

7个月前 • 环球猎奇🏅 • -- 点击 0 评论

22

2

1

1

老婆说了很多次办公室新配的电脑很慢，开pdf都卡，说比之前破电脑（只能跑xp系统）还要卡。当时换电脑时候办公室IT就说现在政策只能采购这个电脑，硬件是全国产化，性能差些。

我之前琢磨着估计内存小吧，这x86体系还能咋国产，今天发…
推特中文圈
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

23

2

1

1

大脑信号和翻译？利用脑信号实现英语、葡语和普通话三语互解
大陆资讯
( www.jiqizhixin.com)

6年前 • 猪莉夜 • -- 点击 0 评论

24

2

1

1

【段子】

【明星子女不得参加真人秀原因：为起跑线上的孩子着想】有分析指出，广电总局不让明星孩子参加真人秀是因为大多数普通人的孩子还在起跑线上竞争的时候，明星的孩子就已直接生在了终点线上，如果再参加真人秀成了小明星，相当于在终点线上还要开着氮气加速向前跑，对起跑线上的普通孩子伤害值太大
图片
( ww2.sinaimg.cn)

8年前 • 有趣图片 • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页