不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
代码：
如何评价杨立昆认为大模型只是对海量文本的模式进行复杂拟合，根本不懂意义？
Docker 的应用场景在哪里？
为什么国内的uni***一直没人讨论呢？
国产厂商为什么都不用三星屏幕了？
本人女20，平胸跟男生一样怎么办 ?
php这个岗位在未来几年会消失吗，因为刚从事php有点焦虑?
工业克苏鲁什么意思?
Tauri 为什么仍未取代 Electron？
月之暗面 Kimi 首个 Agent 开启内测，可生成易追溯的万字报告，有哪些技术亮点？
写代码的时候总是考虑太多怎么办?
纯理科高中生想接触科技圈子，学软件硬件编程，有空自己造点东西。问问各位大佬从哪里开始了解，入门，动手？
这种裙子是不是对直男爆杀？
如何评价《一人之下》第722（765）话情报？
为什么 Go 语言的 Error Handling 被某些人认为是一个败笔？
为什么有些人不喜欢春晚提到饺子？
为什么web worker可以在前端开多线程，解决单线程卡死页面的问题，但是没有得到广泛使用？
不喜欢老婆找健身房男教练私教，是我太狭隘了吗？
为什么这么多人讨厌中国移动？
为什么大部分人都认为2560x1440是2K？
男医生在给年轻靓丽的女性检查时会是什么心态？
腰肌劳损怎嘛治啊?
手术时把大脑拿出来还能接回去吗?
鸿蒙PC操作系统是不是就是手机操作系统？
你怎么看待剪映收费过高问题？
听说百度文心一言已经停止训练了，真的***的？百度这是准备放弃ai了吗？
什么时候你发现和农村父母渐行渐远？
导师给了1.4W要我给工作室买个主机，是整机还是自己配？
硝化细菌加多了会咋样啊？
现在个人开发ios还有机会吗？
如何评价B站up主***千代退网？
