澳门威利斯人_威利斯人娱乐「手机版」

来自 威利斯人娱乐 2020-01-19 14:34 的文章
当前位置: 澳门威利斯人 > 威利斯人娱乐 > 正文

注意力机制,阅读笔记

公式角度:

Attention-based RNN in NLP

  • Neural Machine Translation by Jointly Learning to Align and Translate
    那篇杂文算是在NLP中率先个应用attention机制的劳作。他们把attention机制用到了神经网络机译(NMT)上,NMT其实就是一个天下无敌的sequence to sequence模型,约等于贰个encoder to decoder模型,守旧的NMT使用三个奇骏NN,一个EvoqueNN对源语言实行编码,将源语言编码到二个定点维度的中游向量,然后在采纳贰个奥德赛NN举办解码翻译到目的语言,古板的模型如下图:
![](https://upload-images.jianshu.io/upload_images/8573609-9ae349ad743e659e.png)



这篇论文提出了基于attention机制的NMT,模型大致如下图:



![](https://upload-images.jianshu.io/upload_images/8573609-e6da154697eaff7e.png)


图中我并没有把解码器中的所有连线画玩,只画了前两个词,后面的词其实都一样。可以看到基于attention的NMT在传统的基础上,它把源语言端的每个词学到的表达(传统的只有最后一个词后学到的表达)和当前要预测翻译的词联系了起来,这样的联系就是通过他们设计的attention进行的,在模型训练好后,根据attention矩阵,我们就可以得到源语言和目标语言的对齐矩阵了。具体论文的attention设计部分如下:  

![](https://upload-images.jianshu.io/upload_images/8573609-ae1413d98b4de17c.png)


可以看到他们是使用一个感知机公式来将目标语言和源语言的每个词联系了起来,然后通过soft函数将其归一化得到一个概率分布,就是attention矩阵。  

![](https://upload-images.jianshu.io/upload_images/8573609-07e22f3750d6983c.png)



从结果来看相比传统的NMT(RNNsearch是attention
NMT,RNNenc是传统NMT)效果提升了不少,最大的特点还在于它可以可视化对齐,并且在长句的处理上更有优势。
  • Effective Approaches to Attention-based Neural Machine Translation [2]
    那篇杂文是继上意气风发篇杂文后,生龙活虎篇很具代表性的舆论,他们的行事报告了大家attention在CRUISERNN中得以什么实行扩大,那篇故事集对后续种种基于attention的模型在NLP应用起到了非常大的推动成效。在舆论中他们提议了二种attention机制,大器晚成种是大局(global)机制,生机勃勃种是有些(local)机制。
    第意气风发咱们来探视global机制的attention,其实那和上黄金年代篇故事集提议的attention的思绪是风流倜傥律的,它都以对源语言对全体词实行管理,差别的是在测算attention矩阵值的时候,他提议了两种轻易的扩张版本。
![](https://upload-images.jianshu.io/upload_images/8573609-ff54e09cbf33c9a8.png)

![](https://upload-images.jianshu.io/upload_images/8573609-e3ada7a551858428.png)


在他们最后的实验中general的计算方法效果是最好的。  
我们再来看一下他们提出的local版本。主要思路是为了减少attention计算时的耗费,作者在计算attention时并不是去考虑源语言端的所有词,而是根据一个预测函数,先预测当前解码时要对齐的源语言端的位置Pt,然后通过上下文窗口,仅考虑窗口内的词。  

![](https://upload-images.jianshu.io/upload_images/8573609-e466a527b28bf320.png)



里面给出了两种预测方法,local-m和local-p,再计算最后的attention矩阵时,在原来的基础上去乘了一个pt位置相关的高斯分布。作者的实验结果是局部的比全局的attention效果好。  
这篇论文最大的贡献我觉得是首先告诉了我们可以如何扩展attention的计算方式,还有就是局部的attention方法。
  • #### Attention-based CNN in NLP

    进而依照Attention的君越NN模型最初在NLP青海中国广播集团泛应用,不止是类别到行列模型,各个分类难题都足以利用那样的模子。那么在深度学习中与GL450NN相近流行的卷积神经互联网CNN是不是也得以行使attention机制吗?《ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs》 [13]那篇杂文就提议了3中在CNN中选取attention的方法,是attention在CNN中较早的革命性职业。

![](https://upload-images.jianshu.io/upload_images/8573609-a69d9fb7bbc3b306.png)



传统的CNN在构建句对模型时如上图,通过每个单通道处理一个句子,然后学习句子表达,最后一起输入到分类器中。这样的模型在输入分类器前句对间是没有相互联系的,作者们就想通过设计attention机制将不同cnn通道的句对联系起来。  
第一种方法ABCNN0-1是在卷积前进行attention,通过attention矩阵计算出相应句对的attention
feature map,然后连同原来的feature
map一起输入到卷积层。具体的计算方法如下。

图片 1

image.png

第三种方法ABCNN-2是在池化时展开attention,通过attention对卷积后的抒发重新加权,然后再张开池化,原理如下图。

图片 2

其二种正是把前二种艺术一齐用到CNN中,如下图

图片 3

那篇诗歌提供了作者们在CNN中利用attention的思路。以后也有众多选用基于attention的CNN专门的学问,并获得了科学的功能。

总结

通过那篇博文,你应该学学到了attention机制是怎么行使在LSTM/传祺NN模型中来消除体系预测存在的难题。

具体来讲,接受守旧一编写码器-解码器构造的LSTM/大切诺基NN模型存在七个主题材料:无论输入长短都将其编码成叁个恒定长度的向量表示,那使模型对于长输入类别的学习效果相当差(解码效果比非常糟糕)。而attention机制则制服了上述问题,原理是在模型输出时会采纳性地留意考虑输入中的对应相关的新闻。使用attention机制的主意被普及应用在各类体系预测职分上,包含文件翻译、语音识别等。

 

感激原著者Jason Brownlee。原著链接见:Attention in Long Short-Term Memory Recurrent Neural Networks

转载:

 

简易的分布怎么选:(假若各类变量之间交互作用独立切断了富有变量之间的正视关系)1.Bethe随意能附近2.平均场定理雷同(复杂的多元积分造成轻松的多个一元积分卡塔尔

Attention研讨进展

Attention机制最初是在视觉图像领域提出来的,应该是在九几年用脑筋想就提议来了,然而真的火起来应当算是google mind团队的那篇故事集《Recurrent Models of Visual Attention》[14],他们在ENCORENN模型上运用了attention机制来扩充图像分类。随后,Bahdanau等人在舆论《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用相符attention的机制在机译任务司令员翻译和对齐相同的时间实行,他们的干活算是是第二个建议attention机制应用到NLP领域中。接着形似的依附attention机制的大切诺基NN模型扩张起来利用到种种NLP任务中。近日,怎么着在CNN中央银行使attention机制也改成了大家的钻研热门。下图表示了attention商量进展的光景趋向。

图片 4

  • #### Recurrent Models of Visual Attention

    在介绍NLP中的Attention在此以前,小编想大约说一下图像中央银行使attention的思考。就具代表性的那篇随想《Recurrent Models of Visual Attention》 [14],他们切磋的动机其实也是面对人类集中力机制的启发。大家在进行考察图像的时候,其实并非二次就把整幅图像的各类地方像素都看过,超多是基于须求将集中力聚集到图像的特定部分。况兼人类会依附早先观望的图像学习到今后要观看图像集中力应该聚集的职位。下图是那篇杂文的大旨模型暗示图。

    图片 5

该模型是在传统的RNN上加入了attention机制(即红圈圈出来的部分),通过attention去学习一幅图像要处理的部分,每次当前状态,都会根据前一个状态学习得到的要关注的位置*l*和当前输入的图像,去处理注意力部分像素,而不是图像的全部像素。这样的好处就是更少的像素需要处理,减少了任务的复杂度。可以看到图像中应用attention和人类的注意力机制是很类似的,接下来我们看看在NLP中使用的attention。

巨型图片带给的难题

被布满应用于计算机视觉领域的卷积神经互连网模型相近存在近似的主题素材: 对于特别大的图纸输入,模型学习起来相比困难。

因此,后生可畏种启迪式的方法是将要模型做估摸从前先对大型图片张开某种雷同的象征。

“人类的感知有贰个关键的特点是不会及时管理外界的整整输入,相反的,人类会将注意力专心于所选拔的一些来获取所急需的音讯,然后结合不一致时间段的有个别音讯来树立三个里头的光景表示,进而引导眼球的运动及做出决策。”

— Recurrent Models of Visual Attention, 2014

这种启迪式方法某种程度上也足以认为是构思了attention,但在这里篇博文中,这种措施并不以为是根据attention机制的。

依照attention机制的相干散文如下:

  • Recurrent Models of Visual Attention, 2014
  • DRAW: A Recurrent Neural Network For Image Generation, 2014
  • Multiple Object Recognition with Visual Attention, 2014

图片 6**练习多少是生机勃勃对假名,测量试验数据是多余的假名。图从左到右分别是三种训练-测量检验数据大小的拆分格局。**图片 7扭转新品类图片 8**练习多少:外文字母表中的11个假名,供给机器生成同归于三个字母表中的雷同字母**

总结

末尾举办一下计算。Attention在NLP中实际作者以为能够充作是后生可畏种电动加权,它能够把多个你想要联系起来的比不上模块,通过加权的花样张开联络。前段时间主流的总括公式有以下三种:

图片 9

因此陈设三个函数将对象模块mt和源模块ms联系起来,然后经过三个soft函数将其归生机勃勃化获得概率布满。
日前Attention在NLP中生龙活虎度有相近的行使。它有叁个一点都不小的优点正是足以可视化attention矩阵来告诉大家神经互连网在进展职责时关怀了哪些部分。

图片 10

可是在NLP中的attention机制和人类的attention机制依然有所差距,它基本照旧要求总计有所要管理的对象,并额外用二个矩阵去存款和储蓄其权重,其实扩充了花费。并不是像人类同样能够忽视不想关注的片段,只去处理关注的后生可畏都部队分。

参照他事他说加以调查文献
[1] Bahdanau, D., Cho, K. & Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. Iclr 2015 1–15 (2014).
[2] Luong, M. & Manning, C. D. Effective Approaches to Attention-based Neural Machine Translation. 1412–1421 (2015).
[3] Rush, A. M. & Weston, J. A Neural Attention Model for Abstractive Sentence Summarization. EMNLP (2015).
[4] Allamanis, M., Peng, H. & Sutton, C. A Convolutional Attention Network for Extreme Summarization of Source Code. Arxiv (2016).
[5] Hermann, K. M. et al. Teaching Machines to Read and Comprehend. arXiv 1–13 (2015).
[6] Yin, W., Ebert, S. & Schütze, H. Attention-Based Convolutional Neural Network for Machine Comprehension. 7 (2016).
[7] Kadlec, R., Schmid, M., Bajgar, O. & Kleindienst, J. Text Understanding with the Attention Sum Reader Network. arXiv:1603.01547v1 [cs.CL] (2016).
[8] Dhingra, B., Liu, H., Cohen, W. W. & Salakhutdinov, R. Gated-Attention Readers for Text Comprehension. (2016).
[9] Vinyals, O. et al. Grammar as a Foreign Language. arXiv 1–10 (2015).
[10] Wang, L., Cao, Z., De Melo, G. & Liu, Z. Relation Classification via Multi-Level Attention CNNs. Acl 1298–1307 (2016).
[11] Zhou, P. et al. Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification. Proc. 54th Annu. Meet. Assoc. Comput. Linguist. (Volume 2 Short Pap. 207–212 (2016).
[12] Yang, Z. et al. Hierarchical Attention Networks for Document Classification. Naacl (2016).
[13] Yin W, Schütze H, Xiang B, et al. Abcnn: Attention-based convolutional neural network for modeling sentence pairs. arXiv preprint arXiv:1512.05193, 2015.
[14] Mnih V, Heess N, Graves A. Recurrent models of visual attention[C]//Advances in Neural Information Processing Systems. 2014: 2204-2212.

2. Attention在图纸描述上的采纳

与后边启迪式方法分歧的是,基于连串生成的attention机制能够使用在计算机视觉相关的天职上,援助卷积神经互连网重大关切图片的有的有的消息来扭转对应的行列,标准的天职正是对一张图片实行文本描述。

给定一张图纸作为输入,输出对应的Republika Hrvatska语文本描述。Attention机制被用在出口输出种类的各样词时会注意考虑图片中分化的后生可畏都部队分音信。

笔者们提出了风度翩翩种基于attention的主意,该方式在3个正经数量集上都拿到了拔尖的结果……同一时候显现了attention机制能够更加好地赞助大家领悟模型地生成进度,模型学习到的对齐关系与人类的直观认识特其余好像(如下图)。

— Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, 2016

图片 11

Attention在图纸描述任务(输入为图片,输出为描述的文本)上的可视化(图片源于Attend and Tell: Neural Image Caption Generation with Visual Attention, 二零一六)

b) strong shot-geralization

珍视词:集中力机制;Attention机制;自然语言管理;NLP;
原稿链接地址
前日,深度学习的钻研更是深刻,在种种领域也都拿到了无数突破性的拓宽。基于集中力(attention)机制的神经互联网成为了近期神经互联网切磋的贰个吃香,自身近日也学习了有的基于attention机制的神经互联网在自然语言管理(NLP)领域的诗歌,现在来对attention在NLP中的应用举行八个总结,和大家后生可畏道分享。

3. Attention在语义包涵 (Entailment卡塔尔国 中的应用

给定二个用斯拉维尼亚语描述的前提和假设作为输入,输出纵然与前提是还是不是冲突、是或不是相关大概是还是不是创立。

举个例证:

前提:在二个婚礼派对上拍照

假设:有人完婚了

该例子中的借使是确立的。

Attention机制被用于关联要是和前提描述文本之间词与词的关联。

咱俩建议了风姿潇洒种基于LSTM的神经网络模型,和把种种输入文本都独立编码为八个语义向量的模子差别的是,该模型同期读取前提和假使多个描述的公文类别并判断如果是或不是建构。大家在模型中参与了attention机制来寻觅假如和前提文本中词/短语之间的对齐关系。……参与attention机制能够使模型在实践结果上有2.6个点的提拔,那是时下数码集上得到的最棒结果…

— Reasoning about Entailment with Neural Attention, 2016

图片 12

Attention在语义包涵任务(输入是前提文本,输出是只要文本)上的可视化(图片来源Reasoning about Entailment with Neural Attention, 二零一五)

各样生成模型是VAE模型的贰个当然延伸,用T时间段内的黄金年代雨后冬笋隐变量来描述观测变量

4. Attention在语音识别上的应用

给定叁个Republic of Croatia语的话音片段作为输入,输出对应的音素体系。

Attention机制被用于对输出种类的每种音素和输入语音体系中某个特定帧举办关联。

…风流罗曼蒂克种基于attention机制的端到端可练习的语音识别模型,能够结合文本内容和地方音讯来接受输入体系中下四个开展编码的岗位。该模型有一个优点是力所能致辨识长度比操练多少长得多的语音输入。

— Attention-Based Models for Speech Recognition, 2015.

图片 13

Attention在语音识别职责(输入是音帧,输出是音素的岗位)上的可视化(图片来自Attention-Based Models for Speech Recognition, 二〇一六)

图片 14**inference model是把考察数据形成隐含描述的encoder**图片 15generative model是decoder图片 16decoder 认为任何组织——MLP、CNN,本田CR-VNN 或其余想留心打听变分自编码,变分预计,高斯隐变量的能够翻阅下边文献:

一发的开卷

假设你想进一层地上学怎么在LSTM/TiggoNN模型中插足attention机制,可观看以下诗歌:

  • Attention and memory in deep learning and NLP
  • Attention Mechanism
  • Survey on Attention-based Models Applied in NLP
  • What is exactly the attention mechanism introduced to RNN? (来自Quora)
  • What is Attention Mechanism in Neural Networks?

眼前Keras官方还未有曾独立将attention模型的代码开源,上面有部分第三方的贯彻:

  • Deep Language Modeling for Question Answering using Keras
  • Attention Model Available!
  • Keras Attention Mechanism
  • Attention and Augmented Recurrent Neural Networks
  • How to add Attention on top of a Recurrent Layer (Text Classification)
  • Attention Mechanism Implementation Issue
  • Implementing simple neural attention model (for padded inputs)
  • Attention layer requires another PR
  • seq2seq library

不等难度的推理任务实验 weak shot-geralization

长途运输入类别带给的难题

运用守旧一编写码器-解码器的RubiconNN模型先用一些LSTM单元来对输入系列进行学习,编码为一定长度的向量表示;然后再用一些LSTM单元来读取这种向量表示并解码为出口系列。

运用这种协会的模子在不知凡几相比较难的体系预测难题(如文本翻译)上都获得了最佳的结果,由此快速产生了当前的主流情势。

例如:

  • Sequence to Sequence Learning with Neural Networks, 2014
  • Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, 2014

这种结构在众多别的的天地上也收获了理所当然的结果。然则,它存在七个难点在于:输入种类无论长短都会被编码成三个恒定长度的向量表示,而解码则受限于该固定长度的向量表示

以此难点节制了模型的习性,越发是当输入连串相比较长时,模型的性质会变得非常差(在文件翻译义务上表现为待翻译的原有文本长渡过长时翻译品质相当差)。

“二个秘密的标题是,接纳编码器-解码器构造的神经网络模型供给将输入连串中的须求音讯表示为三个一定长度的向量,而当输入种类相当短时则难以保留全数的必备新闻(因为太多),尤其是当输入系列的长度比演练多少汇总的越来越长时。”

— Dzmitry Bahdanau, et al., Neural machine translation by jointly learning to align and translate, 2015

  • 人类专长仅凭单个例子对新定义和经历实行推导。

  • 人类享有单次泛化的力量:境遇新定义,掌握其构造,然后生成这一个定义的有含义的退换。

  • Salakhutdinov et al.发展了叁个组合了玻耳兹曼机和品级狄利克莱进度的可能率模型,能够学学层级概念连串,而且提供了强压的变动模型.

  • Lake et al.等人利用基于组合性(Compositionality卡塔尔、因果关系(CausalityState of Qatar和学会学习(Learning to learnState of Qatar的贝叶斯程序学习完了了依据贝叶斯估摸的单点学习

5. Attention在文书摘要上的利用

给定生机勃勃篇印度语印尼语文章作为输入体系,输出叁个应和的摘要系列。

Attention机制被用于关联输出摘要中的每一个词和输入中的一些特定词。

… 在近太阳菩萨经网络翻译模型的进步底子之上,提议了一个用以转移摘要职务的依照attention的神经互连网模型。通过将那些可能率模型与三个生成式方法相结合来生成出确切的摘要。

— A Neural Attention Model for Abstractive Sentence Summarization, 2015

图片 17

Attention在文件摘要职责(输入为文章,输出为文本摘要)上的可视化(图片源于A Neural Attention Model for Abstractive Sentence Summarization, 2016)

  • Recurrent Models of Visual Attention (2014.06.24)
  • Show, Attend and Tell: Neural Image Caption Generation with Visual Attention (2015.02.10)
  • DRAW: A Recurrent Neural Network For Image Generation (2015.05.20)
  • Teaching Machines to Read and Comprehend (2015.06.04)
  • Learning Wake-Sleep Recurrent Attention Models (2015.09.22)
  • Action Recognition using Visual Attention (2015.10.12)
  • Recursive Recurrent Nets with Attention Modeling for OCR in the Wild (2016.03.09)
  • Sequence to Sequence Learning using Neural Networks
  • Reasoning about Neural Attention
  • A Neural Attention Model for Abstractive Sentence Summarization
  • Neural Machine Translation by Jointly Learning to Align and Translate

使用attention机制

Attention机制的为主思谋是,打破了人生观编码器-解码器构造在编解码时都依据于个中一个一定长度向量的界定

Attention机制的贯彻是经过保留LSTM编码器对输入种类的中游输出结果,然后演习一个模型来对这几个输入实行选拔性的上学而且在模型输出时将出口连串与之实行关联

换多少个角度来讲,输出种类中的每少年老成项的生成概率决计于在输入系列中接纳了怎么着项。

“在文件翻译职责上,使用attention机制的模子每生成一个词时都会在输入类别中寻觅二个与之最相关的词集合。之后模型依据当下的上下文向量 (context vectorsState of Qatar 和全部以前生成出的词来预测下贰个对象词。

… 它将输入种类转化为一批向量的队列并自适应地从当中筛选多少个子集来解码出目标翻译文本。那感到上疑似用于文书翻译的神经网络模型要求“压缩”输入文本中的全数新闻为八个永远长度的向量,无论输入文本的长度。”

— Dzmitry Bahdanau, et al., Neural machine translation by jointly learning to align and translate, 2015

虽说模型使用attention机制之后会追加统计量,不过品质水平能够得到提高。此外,使用attention机制便于明白在模型输出进度中输入类别中的新闻是何许影响最平生成种类的。那推进大家更加好地领略模型的内部运转机制以致对有的特定的输入-输出进行debug。

“散文提出的法子能够直观地观望到生成连串中的各个词与输入体系中有个别词的对齐关系,那足以经过对标注(annotations)权重参数可视化来落到实处…每一种图中矩阵的每黄金年代行表示与标记相关联的权重。由此大家能够看来在变化无穷指标词时,源句子中的地方讯息会被以为更首要。”

— Dzmitry Bahdanau, et al., Neural machine translation by jointly learning to align and translate, 2015

图片 18逐一生成模型图片 19

依照attention模型的施用实例

那生龙活虎部分将列举多少个实际的使用实例,介绍attention机制是何许用在LSTM/奥迪Q7NN模型来展开体系预测的。

generative process使用了writing attention机制,在inference process使用了reading attention机制。

导读

当前选用编码器-解码器 (Encode-Decode卡塔尔构造的模型超级火爆,是因为它在重重天地较别的的观念模型方法都得到了更加好的结果。这种构造的模子日常将输入系列编码成多少个定位长度的向量表示,对于长度非常的短的输入系列来讲,该模型能够学习出对应合理的向量表示。可是,这种模型存在的标题在于:当输入种类相当短时,模型难以学到合理的向量表示

在此篇博文中,大家将商讨参预LSTM/ENVISIONNN模型中的attention机制是怎样克服古板一编写码器-解码器布局存在的主题材料的。

经过翻阅那篇博文,你将会学习到:

  • 观念编码器-解码器布局存在的标题及怎么样将输入连串编码成固定的向量表示;
  • Attention机制是什么征性格很顽强在艰难险阻或巨大压力面前不屈上述难点的,以致在模型输出时是哪些思考输出与输入类别的每少年老成项关系的;
  • 听闻attention机制的LSTM/锐界NN模型的5个应用领域:机译、图片描述、语义满含、语音识别和文书摘要。

让大家开始学习吧。

  • Reading attention:分类等剖断式职分,从图像或许文字中筛选出部分大家必要的音信。
  • Writing attention:是指对出口变量的选用性更新

1. Attention在文件翻译职务上的接受

文本翻译这一个实例在后边早就提过了。

给定一个Slovak语的句子作为输入体系,供给输出翻译为保加阿拉木图语的语句。Attention机制被用在出口输出类别中的每种词时会注意酌量输入连串中的一些被感觉相比较首要的词。

咱俩对原有的编码器-解码器模型进行了校订,使其有叁个模子来对输入内容开展查找,也正是说在转移目的词时会有三个编码器来做这一个事情。那打破了事情发生前的模型是遵照将全方位输入系列强行编码为二个牢固长度向量的界定,同时也让模型在生成下多个指标词时根本酌量输入中有关的新闻。

— Dzmitry Bahdanau, et al., Neural machine translation by jointly learning to align and translate, 2015

图片 20

Attention在文件翻译职务(输入为Türkiye Cumhuriyeti语文本系列,输出为丹麦语文本系列)上的可视化(图影片来源于Dzmitry Bahdanau, et al., Neural machine translation by jointly learning to align and translate, 2015)

隐变量:具有不行直接观测特征综合性变量可能率模型的大旨职分:给定观测数据变量X的尺度下,总括潜在变量Z的后验可能率分布P

  • 潜在空间的维度太⾼,以⾄于⽆法间接总计
  • 后验可能率布满的花样特别复杂,从⽽期待⽆法解析地总括
  • 包涵状态的数量兴许有指数八个,从⽽准确的计算机本事商讨所需的代价⾼

本文由澳门威利斯人发布于威利斯人娱乐,转载请注明出处:注意力机制,阅读笔记

关键词: 澳门威利斯人 笔记 Generalizati Shot 商业机器学习