holocron
中/en
← Tech
Tech · karpathy2025-02-27

我是怎么用大模型的：从提问技巧到 Vibe Coding 的实战地图

一句话：Andrej Karpathy 用两个多小时,不讲模型是怎么训练出来的(那是上一集的内容),只讲 2025 年 2 月这个时间点上,ChatGPT、Claude、Gemini、Grok、Perplexity、Cursor、NotebookLM 这些工具到底该怎么用——从"模型只是一个带人格的压缩文件"这个心智模型讲起,一路讲到搜索、代码解释器、Deep Research 这些工具调用,讲到语音图像视频三种模态,最后落在他自己在这期视频里造出的词"vibe coding"。对完全没摸过这些工具分层功能的人和已经在用、但想用得更明白的工程师,都值得逐段看完。

内容地图

  1. 生态全景：ChatGPT 之外还有 Gemini、Meta AI、Copilot(大厂阵营)和 Claude、Grok、DeepSeek、法国 Mistral 的 Le Chat(创业公司阵营),他给出两个排行榜入口——Chatbot Arena 和 Scale AI 的 SEAL leaderboard——提醒大家不要只认 ChatGPT。
  2. 模型看到的其实是 token 流：用 Tiktokenizer(字幕转写为"Tik tokenizer")现场拆开一句话和一次对话,说明看起来像聊天气泡的东西,底层其实是一条一维 token 序列,点"新建对话"就是把这条序列清零。
  3. 模型是什么：用"一 TB 的压缩文件"这个类比讲完预训练(把互联网有损压缩进参数、带知识截止日期)和后训练(装上"助手人格"),并给出他那句用来自我介绍的台词。
  4. 哪些问题能直接问、不用查证：用"美式咖啡因含量""感冒药成分"两个真实提问,划出"低风险、高频知识、不涉及最近变化"这条可以直接信的边界。
  5. 两条使用纪律：切话题就开新对话(context window 是要花钱、也会拖累准确率的工作记忆),以及随时搞清楚自己在用哪一档模型(各家免费/Plus/Pro 的模型和价位差异,以及"多模型比价"的用法)。
  6. 推理模型(thinking models)：用一次真实的梯度检查 bug,现场对比 GPT-4o、o1 pro、Claude 3.5 Sonnet、Gemini、Grok 3、Perplexity 上跑的 DeepSeek R1,结论是这类模型该留给数学代码这种难题,不该用在闲聊上。
  7. 联网搜索：用 White Lotus 第三季播出时间等真实提问,展示不同厂商联网能力参差不齐的现状——录制时的 Claude 完全没接搜索。
  8. Deep Research：搜索加推理、跑十分钟量级的组合技,现场跑一次保健品成分调研,也现场抓到一次真实的幻觉。
  9. 文件上传与"陪读"：上传论文 PDF 求总结,把《国富论》整章贴进 Claude 边读边问,这是他反复强调"别一个人读书"的地方。
  10. 代码解释器与"高级数据分析"：从一次简单乘法到给模型配 Python 解释器,再到用 ChatGPT 现场画 OpenAI 估值曲线,当场抓到模型一次悄悄编造的数字。
  11. Claude Artifacts 与 Cursor："让 Claude 写一个能跑的复习卡应用"和"用 Cursor 全自主开发井字棋"两组现场演示,后者引出他自造的词 vibe coding。
  12. 三种模态：语音(系统级听写工具、"假音频"与"真音频"的区别、Grok 语音人格尺度对比)、图像(先转写确认再提问的两步法,营养标签、体检报告、牙膏成分表三个真实案例)、视频(手机端摄像头实时问答演示)。
  13. 收尾三个"生活质量"功能：记忆功能、自定义指令、Custom GPTs(他给自己做的三个韩语学习工具),以及全片总结陈词。

核心观点

1. 把模型当成一个压缩文件,不是一个无所不知的助手

  • 场景：被问到美式咖啡因含量、DayQuil/NyQuil 感冒药成分这类问题。
  • 观点：只要信息在互联网上出现频率足够高、又不涉及最近的变化,他愿意直接采信模型给出的答案,但事后还是会去查一次原始资料核对。
  • 为什么：模型的知识来自把整个互联网有损压缩进参数,他管这叫"一 TB 的 zip 文件"——压缩必然丢细节、必然模糊,权当一个记性不错但不保真的熟人,而不是权威。

2. context window 是要精打细算的工作记忆,不是随便堆的聊天记录

  • 场景：他反复提醒"切话题就开新对话"。
  • 观点：塞在窗口里的无关 token,既会拖慢模型(每多算一点 token 就多花一点算力),也会分散模型注意力、拉低准确率,这不是省钱的小技巧,是真会影响回答质量的操作。
  • 为什么：context window 本质是模型的工作记忆,塞满不相关的历史,模型在预测下一个 token 时要在噪声里找信号。

3. 定价档位是真实的模型体量差异,不是营销文案

  • 场景：ChatGPT 免费档是 GPT-4o mini,Plus($20/月)给到 GPT-4o、每 3 小时限 80 条,Pro($200/月)才解锁无限 GPT-4o、o1 pro 模式和 Deep Research;Claude、Gemini、Grok 都有类似分层。
  • 观点：专业场景要舍得为顶档模型付费;不确定自己在用哪个模型时先去弄清楚,免费档很多时候连供应商自己都不明确告诉你在用哪个模型。
  • 为什么：更大的模型知识更准、写作更有创造力、幻觉更少,这个差距在他自己每天写代码的工作里完全值回票价。

4. 主观问题,问遍手头所有模型——他管这个叫 LLM council

  • 场景：去哪度假这类问题,他同时问 ChatGPT、Claude、Gemini,三家都推荐了瑞士的 Zermatt,他就真的照这个建议去过了新年假期。
  • 观点：多模型比价对这类没有标准答案的问题特别有用,不同厂商后训练出来的"人格"会给出有分歧价值的角度。
  • 为什么：既然每家模型的性格都是靠人工标注训练出来的,只问一家等于只问了一种审美。

5. 推理模型只该用在真正难的问题上

  • 场景：一段多层感知机的梯度检查 bug,不推理的 GPT-4o 给的建议全部没打中要害;切到 o1 pro,模型思考了约一分钟后精确定位到参数打包顺序错了。
  • 观点：先用不推理的模型试一次,答案不满意、且问题本身涉及数学代码这种要走多步逻辑的场景,再手动切到推理模型;旅行建议、闲聊完全不需要等模型思考一分钟。
  • 为什么：推理能力是靠强化学习练出来的,本质是拿更多计算时间换准确率,计算时间不是免费的,用在不需要的地方是纯粹浪费。

6. 联网搜索能力厂商之间差距很大,不能想当然

  • 场景：问 White Lotus 第三季第二集档期,录制当时的 Claude 3.5 Sonnet 直接回答"我的知识截止到 2024 年 4 月"然后放弃;同一个问题 Gemini 2.0 Flash 能查到并给出引用,2.0 Pro Experimental 查不到。
  • 观点：不要假设某个模型"应该"会联网,遇到时效性问题要么自己手动打开搜索开关,要么先确认这个产品是不是真的接了搜索工具。
  • 为什么：模型的知识永远停在预训练那一刻,联网搜索是后来外挂的工具,不是所有厂商都接了,接的程度也不一样。

7. Deep Research 报告只能当带引用来源的初稿

  • 场景：让 ChatGPT、Perplexity、Grok 同时花十分钟级别的时间调研一款保健品成分;另一次让 ChatGPT 整理"美国有哪些 LLM 实验室"的对比表,结果漏掉了 xAI,却把 Hugging Face、EleutherAI 这类不太算"实验室"的机构也列了进去。
  • 观点：他自己也承认没有把数字全部核对过,只是"看起来不算太离谱"——潜台词是这类报告永远是第一版草稿和一批值得深挖的引用来源,不是可以直接拿去用的结论。
  • 为什么：报告底层还是同一个会幻觉的模型,多的只是检索和更长的思考时间,这两样东西能降低幻觉概率,但消不掉。

8. 模型写的代码、算出的数字,自己动手核对一遍

  • 场景：让 ChatGPT 画 OpenAI 估值走势图,模型在代码里悄悄把 2015 年缺失的那个数据点设成 1 亿美元、却没告诉他;接着让模型按趋势外推到 2030 年,模型嘴上说约 1.7 万亿美元,但当他要求模型直接把变量打印出来时,真实算出来的数字其实是约 20 万亿美元量级。
  • 观点：这类工具更像一个"有点丢三落四的初级数据分析师"——能出活,但不能只看它给的文字总结,一定要自己读代码、要求模型把原始数字打印出来。
  • 为什么：模型生成代码和生成文字总结是两次独立的采样,中间没有机制保证两者一致,嘴上说的和代码真算出来的完全可能对不上。

9. 严肃写代码不靠聊天框,靠有文件系统上下文的工具,vibe coding 是把控制权交出去的极限

  • 场景：他日常写代码用 Cursor,底层调用 Claude 3.7 Sonnet 的 API;从最早的 Cmd+K(改一行)、Cmd+L(解释一段代码,调用的其实是同一个 API),一路升级到 Cmd+I 的 Composer——一个能跨文件自主改代码、自己装依赖库的智能体。现场演示里 Composer 给井字棋加了撞彩纸特效和胜利音效,音效文件从哪下载的他自己也说不清楚。
  • 观点：这种"基本只给指令、让智能体全权处理"的用法,他称之为 vibe coding(自称是这个词的发明人),但同时强调兜底方案永远是退回手动改代码。
  • 为什么：聊天框里的代码片段缺少项目的完整上下文,专业开发需要的是能直接读写你文件系统的工具,不是复制粘贴。

10. 图像输入的正确用法：先转写确认,再往下问

  • 场景：上传保健品营养标签、体检报告截图、牙膏成分表,第一步都是先让模型把图里的内容转成文字表格,确认转写无误后再问后续问题。
  • 观点：这个两步法能挡掉"模型压根没看清图"这一类最基础的错误,对体检报告这种信息量大、看错数字代价高的场景尤其重要;他也提到自己对体检报告类内容的信任度更高一些,因为这是训练数据里很常见、不算冷门的话题,但仍建议找真正的医生确认。
  • 为什么：多模态输入本质也是把图片切成 token 塞进 context window,转写这一步能让你亲眼确认这些 token 真的对应图里的正确数字,而不是模型自己脑补的。

11. 语音输入直接提效,但"真音频"目前还不够放得开

  • 场景：他大概一半的提问是口述,手机上更是到 80%;桌面端 ChatGPT App 本身没有麦克风按钮,他靠 SuperWhisper 这类系统级听写工具(绑在 F5 键上)解决输入;对比之下,端到端处理音频、完全不经过文字的 Advanced Voice Mode,在他试探性地要求模仿狐狸叫、讲鬼故事等请求时相当克制,拒绝了不少要求,而 Grok 的语音人格(包括一个叫"unhinged"的模式)几乎有求必应。
  • 观点：语音输入这件事本身该立刻用起来,收益是实打实的效率提升;但端到端语音助手目前更像一个过度谨慎的产品,娱乐场景下不如 Grok 好用。
  • 为什么：语音转文字这种"假音频"已经足够成熟、延迟够低;端到端音频模型还在一边追能力一边收尺度的阶段,两者不是一回事,不该混为一谈评价。

实操富矿

  • 换话题就开新对话,不要在一个对话里反复横跳多个主题。
  • 明确自己在用哪个模型、哪一档定价,专业场景舍得为顶档模型付费。
  • 遇到旅行、选品这类主观问题,同一个问题问遍手头能用的几个模型(ChatGPT/Claude/Gemini/Grok),比价再决定。
  • 先用不推理的模型试一次,答案不够好、且问题涉及数学/代码/多步逻辑时,再手动切到推理模型(o1/o3 系列、Claude 的 Extended 模式、Grok 的 Think 开关)。
  • 有时效性的问题不要赌模型会不会自动联网,直接手动打开搜索开关。
  • 用 Deep Research 时把结果当作带引用来源的初稿,逐条去看它给的原始文献,不要直接采信文字总结。
  • 让模型写代码分析数据时,凡是它给出的关键数字,都要求它把变量原始值打印出来,不要只信它复述的结论。
  • 处理营养标签、体检报告、成分表这类图片时,第一步永远是让模型先转写成文字,你确认转写对了再往下问。
  • Mac 上截图直接问：Cmd+Shift+Ctrl+4 框选区域复制到剪贴板,直接 Cmd+V 粘进对话框问问题,不用先存文件。
  • 读书或读论文时,把当前章节整段贴进对话框,先让模型给一个章节总结,再带着问题往下读,尤其适合跨专业文献或古旧文本。
  • 有固定重复用的提示词(尤其是带示例的提示),做成 Custom GPT 存起来,别每次都重新打一遍指令加例子;给例子时用 XML 风格的标签把每个示例的输入输出圈清楚,能让模型更准确地照着学。

细节富矿与冷知识

  • 他给 ChatGPT 编的自我介绍台词："我是一个 1TB 的 zip 文件,知识来自六个月前读过一遍的互联网,而且只记得模糊的印象;我讨喜的性格是 OpenAI 的人工标注员一条条教出来的。"这是他解释预训练和后训练最常用的一句话。
  • "vibe coding"这个词,他在视频里自称是自己发明的——指几乎全部交给 Composer 这类智能体、自己只管描述需求的写代码方式。
  • Cursor 的 Composer 在现场演示里为井字棋游戏加胜利音效,自己下载了一个 victory.mp3,Karpathy 自己也说不清这个文件从哪来的,只能选择相信、按下确认。
  • Grok 的语音人格切换得很夸张：默认模式开口就叫他"Andre my friend",一个偏浪漫风格的模式里对方自我介绍的名字字幕转写为"era"(自动字幕转写,拼法未核实),"conspiracy"模式当场编排"特鲁多是卡斯特罗私生子"这类阴谋论、外星人和"光照会",最后调侃"女王其实是个机器人","unhinged"模式则毫不客气地损他。
  • ChatGPT 的 Advanced Voice Mode 被现场要求模仿狐狸叫,先是明确拒绝"我不能模仿动物的声音",几秒后自己却冒出一声被 Karpathy 当场认成麋鹿叫的声音,他就地调侃了一句。
  • 他用 NotebookLM 的 Deep Dive 播客生成功能做过一整季播客,叫《Histories of Mysteries》,发在 Spotify 上,内容都是根据他上传的资料由两个 AI 虚拟主持人对谈生成的。
  • Deep Research 现场翻车的例子：让模型整理"美国有哪些 LLM 实验室"的对比表,结果漏掉了 xAI,却把 Hugging Face、EleutherAI 这类不太算独立"实验室"的机构也列了进去。
  • 现场用摄像头识图那段,镜头怼到的两本书分别是《成吉思汗与现代世界的形成》(Jack Weatherford)和《别闹了,费曼先生》(Richard Feynman),还有一张《指环王》的中土世界地图,模型全部认对了。
  • 他家里放了一台 Aranet4 二氧化碳监测仪,现场读数 713 ppm,模型给出的经验判断是"低于 800 ppm 算正常室内水平,超过 1000 就该考虑通风"。
  • 他正在学韩语,视频里三个 Custom GPT 案例(生词提取器、逐词拆解翻译器、字幕截图翻译器)全部是他给自己做的韩语学习工具,而且他直言这套逐词拆解翻译比 Naver、Papago 这类常用翻译工具都好用。
  • 字幕纪律说明：本集为 YouTube 自动字幕,转写有明显错误,例如反复把 ChatGPT 转写成"chpt/chashi/chpd",把 Grok 转写成"Gro",把 o1 转写成"01",把 haiku 转写成"ha cou",把 Tiktokenizer 转写成"Tik tokenizer",把 Rayleigh scattering 转写成"railay scattering";字幕截图翻译那段提到的两个人名转写高度存疑,本页不做人名确认,只记场景本身。

跨域交叉

本集与 Google：AI 公司 呼应最实：Karpathy 演示里反复出现的 Gemini,正是那一集讲的"明明发了 Transformer 论文、明明有 DeepMind,却把 AI 这门生意的先手让给了 OpenAI 和 Anthropic"的那家公司。一页是这场产业变局的公司史,一页是这场变局最后端出来的产品长什么样、普通人该怎么用,放在一起看正好互补。

与 NVIDIA 之三：AI 时代的黎明（2022-2023） 的交叉比较弱：Karpathy 提到预训练一次要"几千万美元、三个月",这背后就是那一集讲的算力生意,但他本人全程没提 NVIDIA 或 GPU,这条链接更多要靠本域读者自己把两页拼起来看,不是本集内容主动呼应。

与 人认不出 AI 写的故事 是方法论层面的共振,不是内容重叠：那一集讲的是人分不清 AI 写的故事和人写的故事,容易被"这是不是 AI 写的"这个标签带偏;Karpathy 这一集反复强调的"模型输出的东西要自己核实、文字总结不能全信",其实是同一个问题的另一面——不管是判断一段文字是不是 AI 写的,还是判断 AI 给出的答案对不对,靠的都不能是"读起来顺不顺"这种表层信号。

待建页面

  • andrej-karpathy(人物页：前 OpenAI 创始团队成员,本系列另外三集已有 Tier 0 镜像但尚未提取——karpathy-intro-to-llms、karpathy-tokenizer、karpathy-reproduce-gpt2)
  • karpathy-deep-dive-into-llms(本集反复引用的"上一集",源文件已镜像于 sources/karpathy/2025-02-05_deep-dive-into-llms-like-chatgpt_en.md,尚未提取)
  • vibe-coding(概念页：Karpathy 自称在本集造出的词,指几乎完全交给编程智能体、自己只描述需求的开发方式)

来源 · karpathy