100 个词(动物 / 心情 / 水果 / 电子设备 / 品牌)被随机均匀地撒进嵌入空间,彼此毫无关联。 现在,一个用 JavaScript 从零手写的单层单头 Transformer (正弦位置编码 · 因果缩放点积自注意力 · 权重绑定 · 交叉熵 · 反向传播), 正在 500 个句子上真实地训练。看着散乱的点,在语料的引力下聚成 5 座语义星座。