一次看完整句话:Transformer 到底做了什么

GPT、Claude、Gemini、DeepSeek、通义千问 —— 这些名字背后是同一套地基,叫 Transformer,2017 年由一篇论文提出 [1]。八年过去,中间的细节改了无数轮,那个核心思路没变过。

在它之前,机器是「一个字一个字读」的

早期的语言模型像一个人用手指着字念:读完第一个字,记住点什么,再读第二个字,更新一下记忆,如此往下。这带来两个死结。

一是读到后面就忘了前面。一段话开头提到「那批货」,结尾说「它的包装破了」,中间隔了几十个字,那点记忆早被后来的内容挤掉了。二是快不起来 —— 第二个字必须等第一个字读完,一句话有多长就得排多少轮队,没法把活分给成千上万块芯片同时干。

换的那一个思路:同时看全句

Transformer 把「按顺序读」换成了「一次把整句话摊开看」。处理其中任何一个词的时候,它同时衡量这个词和句子里每一个词的关系,谁重要就多看谁几眼。这套机制叫自注意力(self-attention)。

下面这个演示可以点。点句子里带下划线的词,颜色深浅表示模型在处理这个词时,注意力落在其他词上的强弱。

注意第一个例子里的「它」。要弄明白这个字指什么,模型的注意力大部分压在「货」上 —— 而它俩之间隔着七个字。距离在这套机制里不重要,关系才重要。这正是前一代模型做不到的事。

为什么这一下就打开了局面

因为「同时看」意味着可以并行算。句子里所有词的关系可以一口气一起算出来,不用排队 —— 这就把训练摊到了成千上万块芯片上。所谓「大模型」的「大」,是这个思路换来的:不是有人想到要把模型做大,是终于做得大了。

顺带解释了两件你可能已经遇到过的事。第一,为什么各家都在比「上下文长度」——那就是它一次能摊开看多少内容,直接决定你能不能把一整份合同丢给它。第二,为什么处理长文本明显更贵:同时算所有词之间的两两关系,内容翻一倍,要算的关系大致翻四倍。

有一件事它并没有解决

它读得懂关系,不代表它知道事实。模型算的是词与词之间怎么搭配最合理,不是去核对某份文件里到底写了什么。所以它会写出通顺、像模像样、但完全不存在的内容 —— 也就是俗称的「幻觉」。这一条到今天也没有根治的办法,只能靠核对。

换句话说:结构上的突破解决了「读得多、读得快」,没解决「说得准」。你在用它的时候,值得记住这条分界线。