心智观察所的文章

已发布 1 篇文章

AI的一大重要瓶颈，被一家初创公司解决了

读不了太长的文本，是主流大语言模型的共同弱点。上下文的长度过长，AI的记忆就会出现混乱，答非所问，或者反应迟缓，甚至拒绝处理。究其原因，便在于主流大语言模型的架构本身面临的数学瓶颈：负责理解文本的Transformer的计算量随文本长度呈平