大语言模型(LLM)的“两个天生BUG”

　　ChatGPT崛起和人类广泛关注,是人类科学的集中爆发,比以往任何时候都更快速的逼近人类智慧,形成了通用人工智能(以下简称:AGI)科技正确群体认知,但是不能够把人类通过科技手段加速和穷尽对客观世界的认知和运用完全寄托在AGI身上,也没有必要过分恐惧大语言模型(以下简称:LLM)的继续发展会带来对人类生存的威胁(“LLM威胁论”)。鉴于LLM存在“两个天生BUG”,“LLM威胁人类生存”可能为时尚早。我们先具体看看这“两个天生BUG”。

　　科学层面上,真实场景中,哪怕只是聊天,也会经常涉及到需要运用数字来阐述事实,例如一个问题“张三是50岁男性,每天3支烟20年了,有肺癌家族史,请问他在三年内罹患食道癌的概率有多大?如何尽量避免?”,这个很自然的问题事实上包括2个AI任务:一个是预测这种健康画像的人的特定概率,另一个是科普常识的回答。LLM的工作原理是基于注意力机制进行文本预测的算法模型。因此对于数值型预测工作,LLM仍然是把数字当成文本进行处理并运用文本注意力机制进行文本型数字的选取和产生,因此对于数值型预测工作结果的精度和可重复性不具备技术上的优势,其结果也就较差,甚至对于数值型预测工作无法回答问题。在前述案例中,后一个AI任务是经过专业语料训练后的LLM擅长的,而前一个AI任务显然并非是LLM擅长的(LLM要么引用训练语料中出现过的相应概率,要么可能在温度高的设定下编造一个概率,都不能反映真实概率),这是LLM的“两个天生BUG”之一,需要改变现有LLM的底层算法逻辑或运用其他方法进行补充才能适应上述场景。

　　图1“两个天生BUG”之一

　　哲学层面上,“LLM威胁论”认为LLM可能很快会通过学习全部人类语料后超越人类,然而,这个认知存在逻辑悖论。首先,“LLM威胁论”的本质逻辑是,LLM能够比人类更快的穷尽真理(T),从而比人类更能掌握客观世界规律,并更能主导客观世界。然而,LLM只能通过学习人类生产、生活中产生的语料(C)的汇总不断进化自身的能力,因此这种能力是基于人类语料(C)的。维特根斯坦认为,世界的意义或真理会在生活中会显现出来,但是,真理不能用语言表述;一旦用语言表达,就会被扭曲或被曲解。也就是,语言和真理是两件事。这与佛陀的“佛法不立文字”在真理表达方面的意图,有着异曲同工之妙。因此,无论是人类希望通过LLM实现对客观世界的意义或真理(T)进行更快探究,还是人类害怕LLM会通过穷尽学习人类语料(C)而很快超越人类对于真理的探索,恐怕都会落空。也就是说人类想要T,但是又害怕LLM比人类更快掌握T,但是LLM事实上是通过人类的C去逼近T,LLM本质上受限于人类的C。从这个意义上来说,这是“两个天生BUG”之二。

　　图2“两个天生BUG”之二

　　基于上述两个LLM自身存在的逻辑悖论,其一,LLM还不能很好的胜任数值型预测工作,其二,LLM难以超越人类语料(C),因此“LLM威胁论”的认知目前无法成立。然而认识到LLM的这“两个天生BUG”,也为我们进一步提升AI的能力找到了可行的路径,我们将在下一次做初步探讨。(民建会员 李维平 汤文巍)