微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。…

发布时间: 2023-12-13 14:20:25

1分

数据加载中

关注推特

收听电报

2

1

0

微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。…
IT技术
( twitter.com )

1年前由宝玉提交

微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。

微软的解决方案是提升数据质量，通过专注于高质量的“教科书级”数据，训练数据混合了专门为教授模型常识推理和广泛知识（包括科学、日常生活和心理理论等）而设计的合成数据集。此外，还精心挑选了基于教育价值和内容质量筛选的网络数据，进一步丰富了训练语料库。

Phi-2 的训练数据有 1.4 T 个 token，在 96 块 A100 GPU 上训练了 14 天。

Phi-2 是一个基础模型，没有经过人类反馈强化学习（RLHF）的校准，也没有进行过指令式微调。

从能力上来说，据微软自己公布的数据：2.7B 的 Phi-2 超过了目前开源领域表现最好的 Mistral 和 Llama-2 7B 和 13B，编程能力甚至超过了 Llama-2-70B。

至于是不是真的这么强还得看看用户的反馈。

详情可以看官方博客：https://t.co/wcyMqDToHO

也可以看我翻译的版本：《Phi-2：小语言模型的非凡实力 [译]》
https://t.co/P61ZVXkSEV

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

在闭源超大型模型盛行的时代背景下，微软选择了一条不同的道路，专注于开发“小而美”的oss模型，正如phi和Wizard。
昨天，微软放出开源2.7B的phi-2，效果媲美超过自己25倍参数规模的llama-2 70B。事实上，自phi-1和phi-1.5起，phi系列在过去半年中已迭代了三次。phi的卓越表现源于半年前发表的论文…
时政
( twitter.com)

1年前 • Sverige_ Dong-seok🇸🇪 • -- 点击 0 评论

2

2

1

1

微软称其13亿参数AI超千亿级GPT-3.5效果!

微软最近发布了一款名为phi-1的13亿参数的语言模型，该模型的训练数据来自网络的"教科书等级"的高质量资料集，甚至包括了由GPT-3.5处理过的"逻辑严密"的内容。微软的研发…
IT技术
( twitter.com)

1年前 • GPTDAOCN • -- 点击 0 评论

3

2

1

1

微软刚刚发布了多模态大语言模型的论文：Language Is Not All You Need

模型命名为：MOSMOS-1

论文地址：
图片
( arxiv.org)

2年前 • Jiayuan • -- 点击 0 评论

4

2

1

1

微软在今天的 Build 大会上发布了 Copilot Stack！这是专门为 AI 驱动的软件提供的新开发模式，你可以用这种模式来实现自己的 Copilot，也能在这个框架下为 ChatGPT、Bing、Dynamics 365…
IT技术
( twitter.com)

2年前 • indigo • -- 点击 0 评论

5

2

1

1

OpenAI 今天发布的最新更新！

1、OpenAI增加了在Chat Completions API中调用函数的能力，这使得开发者可以自定义模型的行为。
2、发布了更新、更易控制的GPT-4和GPT-3.5 Turbo版本。
3…
IT技术
( twitter.com)

2年前 • GPTDAOCN • -- 点击 0 评论

6

2

1

1

就在昨晚，大部分人的工作方式都被微软彻底颠覆了。在微软刚举办的 Microsoft 365 Copilot 发布会上，微软正式把 OpenAI 的 GPT-4 模型装进了 Office 套件，推出了全新的 AI 功能 Copliot（副驾驶）。

这是一个连续推文——
推特中文圈
( twitter.com)

2年前 • 段叔 • -- 点击 0 评论

7

2

1

1

近日微软宣布OpenAI平台的新一代人工智能模型GPT-4将于下周发布，据称这又是一次历史性变革，随后百度取消了“文心一言”发布会的直播预约。
时政
( twitter.com)

2年前 • Jacobson🌎🌸贴贴BOT • -- 点击 0 评论

8

2

1

1

Orca: 微软研究院上周发布的论文，打破了小模型只能模仿大模型的语言风格而不能学到推理能力的假设。通过让小模型学习 GPT-4/3.5 的五百万次推理过程，在 13 billion 参数的情况下，做到了等同甚至超过 ChatGP…
推特中文圈
( twitter.com)

2年前 • Quinn Leng • -- 点击 0 评论

9

2

1

1

2天发了10多款！在5月底举行的中关村论坛上，有专家披露，据其统计到当时为止，中国10亿级参数规模以上大模型已发布了79个。如今，随着世界人工智能大会上批量发布的一批大模型，百模大战也已经正式打响。
大陆资讯
( news.sina.com.cn)

1年前 • 巭孬嫑夯昆 • -- 点击 0 评论

0.12055 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特