最近在咖啡店里,隔壁的程序员正盯着屏幕敲键盘,嘴里嘟囔着“上下文窗口又卡了”。其实,这个“上下文窗口”跟我们平常翻开的笔记本差不多,只是装的不是手写的纸条,而是一段段 AI 能记住的对话历史。
简单来说,ChatGPT每次生成回答时,都会把最近的几轮对话拼在一起当作“背景”。这段背景的长度,就是所谓的上下文窗口。窗口里装的字符数有限,超过上限后,最早的那部分会被“踢出”。比如 GPT‑4‑Turbo 的窗口大约是 128 k token,折算成中文字大约 8 万字左右。
如果把它比作手机的存储空间,窗口就是“RAM”。你在聊天时塞进太多信息,系统只能把最新的那几页保留下来。于是,很多人会遇到“前面说的内容被忘了”的尴尬。解决办法嘛,常见的有两种:要么在每轮对话里手动把关键要点重复一次,要么在外部把完整记录保存下来,再把精华摘要塞回窗口。
说白了,和朋友聊天时如果想让对方记得前面说的八卦,得时不时提醒一下;和 ChatGPT 对话也一样,别把所有信息一次性塞进去,适时给它“回顾”一下,才不会被“短期记忆”坑得哭笑不得。
参与讨论
这解释挺形象的,窗口小确实容易忘事,跟手机内存不够似的
之前调API也踩过这坑,算错token数结果对话直接断了
128k token换算下来能装这么多字?那平时写文档够用不