Self-Attention 本质
Self-Attention 的本质是让每个 token 根据与上下文中其他 token 的“相关性”动态调整自身向量表示。本文从 QKV 生成、点积相似度计算到 Softmax 加权融合，用具体例子和手算步骤清晰拆解了注意力机制的全流程，帮助读者真正理解 Transformer 为何能实现上下文感知的语义表示。
API设计推荐
AI
大模型、Agent 与 AI 产品化。
2 篇文章 最近更新 14 天前 持续更新中
API设计推荐
GPT和TransFormer架构 大模型工作原理
这篇文章详细拆解了GPT与Transformer架构的核心原理，从分词、注意力机制到模型训练流程，清晰解释了“生成式预训练”的含义和Transformer如何通过自注意力实现长距离依赖。无论你是AI初学者还是想深入理解大模型工作机制，都能从中获得扎实的知识基础。