ChatGPT的上下文窗口是什么

3 人参与

最近在咖啡店里,隔壁的程序员正盯着屏幕敲键盘,嘴里嘟囔着“上下文窗口又卡了”。其实,这个“上下文窗口”跟我们平常翻开的笔记本差不多,只是装的不是手写的纸条,而是一段段 AI 能记住的对话历史。

到底啥是上下文窗口?

简单来说,ChatGPT每次生成回答时,都会把最近的几轮对话拼在一起当作“背景”。这段背景的长度,就是所谓的上下文窗口。窗口里装的字符数有限,超过上限后,最早的那部分会被“踢出”。比如 GPT‑4‑Turbo 的窗口大约是 128 k token,折算成中文字大约 8 万字左右。

窗口大小怎么玩儿?

如果把它比作手机的存储空间,窗口就是“RAM”。你在聊天时塞进太多信息,系统只能把最新的那几页保留下来。于是,很多人会遇到“前面说的内容被忘了”的尴尬。解决办法嘛,常见的有两种:要么在每轮对话里手动把关键要点重复一次,要么在外部把完整记录保存下来,再把精华摘要塞回窗口。

实战中常见的坑

  • 一次性喂进去 10 000 字的长文,窗口根本装不下,后面的段落直接被截断;

  • 把“上一次的答案”直接丢进下一轮,结果模型把它当成新问题,答案走样;

  • 忽略了 token 与字符的区别,中文一个字大约占 1.3 token,算错窗口大小会让对话提前“掉线”。

说白了,和朋友聊天时如果想让对方记得前面说的八卦,得时不时提醒一下;和 ChatGPT 对话也一样,别把所有信息一次性塞进去,适时给它“回顾”一下,才不会被“短期记忆”坑得哭笑不得。

参与讨论

3 条评论