site stats
Andrej Karpathy：相比起“提示工程”（prompt engineering），我更倾向使用“上下文工程”（context engineering）这个词。为什么呢？因为大多数人一想到“提示”，就联想到我们日常跟大语言模型（LLM）互动时，输入的那些短小的任务描述或问题。而在工业级的 LLM
发布时间:
1分
数据加载中
关注推特
收听电报
1
0
bad.news

Andrej Karpathy：
相比起“提示工程”（prompt engineering），我更倾向使用“上下文工程”（context engineering）这个词。
为什么呢？
因为大多数人一想到“提示”，就联想到我们日常跟大语言模型（LLM）互动时，输入的那些短小的任务描述或问题。而在工业级的 LLM

IT技术

 ( twitter.com )

由 宝玉 提交

Andrej Karpathy：
相比起“提示工程”（prompt engineering），我更倾向使用“上下文工程”（context engineering）这个词。

为什么呢？

因为大多数人一想到“提示”，就联想到我们日常跟大语言模型（LLM）互动时，输入的那些短小的任务描述或问题。而在工业级的 LLM 应用场景中，“上下文工程”指的是一种精妙而复杂的技术：你要精准地将上下文窗口填充上恰到好处的信息，让模型能准确地迈出下一步。

这是一门科学，也是门艺术。

说它是科学，因为你要把任务描述、说明、少量样例（few-shot examples）、检索增强生成（RAG）、各种相关数据（甚至可能是多模态数据）、工具、状态、历史信息等全部巧妙地组合在一起，同时还要考虑如何压缩信息。这就像烹饪一道精致的菜肴，配料太少或搭配不对，模型无法获得足够的信息，性能会变差；配料太多或毫无关联，则会增加成本甚至降低表现。要做好这件事，需要的不仅仅是简单堆叠，更是高度专业化的技巧。

说它是艺术，则是因为操作者还要掌握一种近似“心理学”的直觉，敏锐地洞察 LLM 和人类用户心理之间的微妙互动。

除了上下文工程之外，一个工业级 LLM 应用还要：

  • 将复杂问题巧妙地拆解成合理的控制流程；
  • 精细地管理每次调用模型时的上下文窗口；
  • 根据具体需求分派不同类型、能力等级的模型；
  • 妥善处理生成与验证的交互式用户界面和用户体验；
  • 以及更多其他任务——如安全防护、性能评估、并行计算、预取数据等等……

    所以说，“上下文工程”其实仅仅是众多工作中的一环。围绕 LLM 应用，还在逐渐兴起一层厚重、复杂的软件基础设施，它的任务是协调、优化各种 LLM 调用和相关操作，组合出真正有效、有价值的 LLM 应用。

    因此，以前常听到的“ChatGPT 套壳”（wrapper）这样的说法，现在看来已经不仅陈旧，更是非常不恰当了。

Markdown支持
评论加载中...
您可能感兴趣的： 更多
1
1
1
Lvv2

Andrej 对 Grok 3 的评价还蛮高的：Grok 3 + Thinking 给我的感觉是：它大概和 OpenAI 最强的模型（比如 o1-pro，月费 200 美元）相当，比 DeepSeek-R1 和 Gemini 2.0 Flash Thinking 略好一些。
***
Andrej Karpathy
我今天早些时候拿到了 Grok 3

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
Post image
2
1
1
Lvv2

非常值得一看的视频，OpenAI 联合创始人 Andrej Karpathy 在2024年加州大学伯克利分校人工智能黑客马拉松颁奖典礼上的主题演讲。
OpenAI 联合创始人 Andrej Karpathy 解释了新的计算范式：

IT技术

 ( twitter.com)

• 宝玉 • -- 点击 • 下载视频
00:18:35
3
1
1
Lvv2

Andrej Karpathy 在YouTube上发布了一段新视频，时长3小时31分钟：
《深入探讨大型语言模型（LLM）如ChatGPT》

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
Post image
4
1
1
Lvv2

斯坦福发了个新的 Transformer 课程，这个课程邀请到了 Andrej Karpathy, Geoffrey Hinton, Jim Fan, Ashish Vaswani 等大佬，可以免费在线观看
地址：

时政

 ( web.stanford.edu)

• karminski-牙医 • -- 点击
Post image
5
1
1
Lvv2

ANDREJ KARPATHY: ELON LOVES SMALL, HIGHLY TECHNICAL TEAMS.
“Elon likes very small, strong, highly technical teams.
At companies, by default, the teams grow and they get large.
Elon was always a force against growth.
I would have to work and expend efforts to hire people.
I

btc

 ( twitter.com)

• Mario Nawfal • -- 点击 • 下载视频
00:00:33
6
1
1
Lvv2

原来 Andrej Karpathy 去做教育事业了，成立了 Eureka Labs，一种集成了 AI 的新型教学平台。真的是好事情，我们需要他这样有一线经验又善于教学的专家。
第一门课会是

IT技术

 ( twitter.com)

• 宝玉 • -- 点击
Post image
7
2
2
Lvv2

AI 大神 Andrej Karpathy 教你使用大语言模型
这次不讲原理，真的是个人都能看懂了
基本详细介绍了目前 LLM 最常见的几个功能的用法
比如总结内容、Python 解释器、Claude Artifacts、Cursor、NotebookLM、图片和视频生成等
翻译了一下视频，👇下面也有文字总结

IT技术

 ( twitter.com)

• 歸藏(guizang.ai) • -- 点击 • 下载视频
02:11:12
8
2
2
Lvv2

andrej karpathy 谈“如何成为任何领域的专家”：
（又一个“纯金”建议💛）
1 迭代式项目驱动：追求深度而非广度，“按需”学习（不是先学后做学完再做，而是做中学，根据项目需要边做边学）
2 费曼一切所学所做：用自己的话说出来/总结
3 永远不要（和他人）横向比较，只（和过去的自己）纵向比较。

时政

 ( twitter.com)

• howie.serious • -- 点击
9
1
1
Lvv2

很多人说 2025 年是 AI Agent 元年，我一直没那么乐观，上次在和唐小引张海龙他们讨论 AI 编程时，我比较悲观的认为未来 2-3 年 AI Agent 是不会太成熟的，可能要 5 年以上才能好用，但是一旦跨过临界点，进化速度将非常快！
Andrej Karpathy 认为 2025-2035 是 Agent 的十年，因为要让 Agent

IT技术

 ( twitter.com)

• 宝玉 • -- 点击

0.06196 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。 联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年 零 -- 天  
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特