工信部网站备案要求二次元百科官网wordpress

工信部网站备案要求,二次元百科官网wordpress,html5旅游网站源码,某产品网络营销推广方案开篇碎碎念#xff08;大家直接跳过吧……博主只是写这篇文章的时候有点破防了#xff09;#xff1a;哈喽啊大家好#xff0c;博主这个小菜鸡终于又开始写文章了。博主是AI专业大三的学生#xff0c;主要是今晚科研开会学长们畅聊Attention相关的很多东西#xff0c;然后…开篇碎碎念大家直接跳过吧……博主只是写这篇文章的时候有点破防了哈喽啊大家好博主这个小菜鸡终于又开始写文章了。博主是AI专业大三的学生主要是今晚科研开会学长们畅聊Attention相关的很多东西然后主播听的是一头雾水啊……基础太薄弱了这学期的神经网络与深度学习也跟白学了一样脑子里现在一干二净啊……完了……啊……。没事振奋起来不会了就慢慢补主播可以的你们也可以前言首先了解一下Attention Weights 和 Attention 的概念吧Attention Weights就是一组 “占比” 它的作用是告诉模型为了真正读懂当前这个词我应该分别从句子里的其他每一个词身上采纳多少信息。Attention就是根据上面算出来的比例去执行 “拿取并融合” 的动作它的作用是把那些重要的、相关的信息按比例吸取过来让当前这个词不再孤立而是变成一个理解了上下文的完整结果。主播这个真的是保姆级教学直接从embedding开始讲。可能一些用词不太专业也欢迎大家在评论区给我指正、提建议那我们就开始快乐的学习吧本文讲解Attention Weights的思路是人类可读的文字——embedding后得到其向量表示——q、k、v的获取——Attention Weights和Attention的计算一、人类可读的文字——文字的向量表示首先既然是数学计算那肯定不能用人类的自然语言去计算对吧这也没法算。我们需要把“人类可读的文字”转换为计算机可以计算的“向量”并且这个向量是有意义的比如可以表示词语之间的相似度可以表示文字的含义。这个转换过程就叫做“Embedding”。具体的转换过程以“苹果”这个词为例第 1 步查字典Tokenization - ID模型里有一个巨大的词表。比如词表里有 50,000 个词。“苹果”在词表里的 Index 是1024。“香蕉”的 Index 是2048。此时“苹果”被变成了数字1024。但这还只是个整数 ID不能用来做矩阵乘法。第 2 步查表Lookup Table - Vector这就是Embedding 层干的活。想象有一个巨大的 Excel 表格矩阵名字叫Embedding Matrix。这个表格有 50,000 行对应 50,000 个词。每一行有 512 列假设向量维度是 512。当输入 ID 是1024时计算机会直接跑到这个表格的第 1024 行把这一行那 512 个数字复制出来。Row 1024 [ 0.1, −0.5, 0.9, ..., 0.2 ]这一串数字就是苹果的向量表示。补充你可能会问“Embedding 表里的数字是哪来的”答它们不是瞎写的而是通过大量数据的训练得到的。举个通俗易懂的例子一开始Embedding 表格里全是乱填的数字。随着模型不断阅读海量文章它慢慢学会了为了让预测更准我应该把“苹果”和“香蕉”的向量调整得比较像因为它们经常出现在类似的上下文里而把“苹果”和“卡车”的向量调整得差别很大。二、文字的向量表示——q、k、v的获取有了“苹果”的向量表示下面写为“X苹果”之后我们就可以计算q、k、v了。在计算之前让我们先学习一下什么是q、k、vQ (Query)一个向量代表“我在寻找什么”。K (Key)一组向量代表“数据库里的标签”。也就是“键”V (Value)一组向量代表“数据库里标签对应的的实际内容”。也就是键对应的“值”那么q、k、v要怎么算呢q、k、v的计算过程首先q、k、v都是来源于同一个词这个词这里用于计算的是上一步得到的该词Embedding后的向量要分别乘以三个权重矩阵“乘法”是“矩阵乘法”然后就得到了q、k、v补充你可能又要问了这三个权重矩阵WQ、WK、WV是怎么来的同样的道理这也是模型通过大量的数据学来的结果。具体怎么学的如果感兴趣的话大家可以查查相关的资料欢迎把你查到的结果分享在评论区我们一起学习呀三、q、k、v的获取——Attention Weights和Attention的计算好了终于终于到最后一步了胜利就在眼前我们马上就能揭开Attention Weights和Attention的神秘面纱了激不激动期不期待在Self-Attention自注意力机制中它的核心是大家互相看。也就是我的Q去和你的K、他的K、还有我自己的K进行计算。算出来的权重再去乘我对应的V、你对应的V、他对应的V……以两个词“我”、“爱”为例讲解这个计算过程根据前两步我们的讲解现在已经得到这两个词的q、k、v了此处借助一下亲爱的神经网络老师课件里的图哈嘤嘤嘤老师如果侵权的话我会删除的这张图里有四个词我们这里只有两个词分别是 1 和 2 。先解释图中4个词的情况这个懂了2个词的你也就懂了可以看到图中是 1 发起查询因为是1 的 q 与所有人的 k 相乘分别得到4个 score这个图中未直接写出然后经过Softmax归一化之后就得到了图中的a这 4 个 a 其实就是我们想要的 Attention Weights然后a再分别与各自的v 相乘求和得到b这个叫Attention或者Attention Output。一计算流程示例假设我们只用两个词还是“我”、“爱”。以“我”为例计算 b1的过程1.首先计算scores分数score1,1 q1 * k1score1,2 q1 * k22.经过softmax归一化后得到Attention Weights注意力权重a1,1a1,2 Softmaxscore1,1score1,23.最后计算 Attention注意力b1 a1,1 * v1 a1,2 * v2 计算结束。二有了前面的这个示例最后看——计算公式Attention Weights上面的“a”计算公式Attention Output又称为“Attention”上面的“b”计算公式即Weights * V别被吓到了我们把它拆解开每一部分都对应刚才计算的步骤恭喜看到这里你已经完成全部内容的学习欢迎在评论区补充、指正