亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

自然語言處理之基于biLSTM的pytorch立場檢測實現

    前面我已经讲过了LSTM的原理,想要了解的这里有链接

    LSTM理解了,biLSTM其实也就很容易理解了。这个实验,我是根据黑龙家大学nlp实验室的冯志,王潜升师兄的指导以及一篇基于biLSTM的paper实现的,如果想要这个paper的pdf,可以私聊我,一起进步。

    biLSTM是双向循环神经网络,简单的理解就是LSTM正向走一遍,又反向走了一遍而已。而对于立场检测这个实验,在这里我借用此论文的图片:

461

Stance Detection with Bidirectional Conditional Encoding

先说数据文本格式:

700

数据截图

前面是topic(图里的target),中间是针对这个topic的谈论文本,最后是这个文本在这个topic下的立场,格式简化为:

    sentence = topic + text + label

而这里的topic有5种,分别为:

    'Atheism', 'Feminist Movement', 'Hillary Clinton', 'Legalization of Abortion', 'Climate Change is a Real Concern'

而上面biLSTM网络流程图就是选取的topic为Legalization of Abortion的例子。

现在我来结合代码详细解释下这个基于biLSTM网络的立场检测实验:

    首先,把网络搭建好:

662

    其中,LSTM的参数隐藏层大小hiddenSize和隐藏层数量hiddenNum,我用上面的图详细解释下:

435

    hiddenSize是说LSTM一个cell的参数大小,hiddenNum是说这样大网络循环的个数。

网络搭建好了,数据开始在网络中流动:

    假设EmbedSize = 100,hiddenSize = 50

    topic,text分别过Embedding Layer,维度分别为:(1,1,100),(1,17,100)

306

    然后分别经过biLSTM Layer,维度为:(1,1,200),(1,17,200)

269

    因为一会要经过一个maxPooling,所以现在先转置下,维度为(1,200,1),(1,200,17):

332

    然后经过一个激活函数tanh,维度不变为(1,200,1),(1,200,17):

201

    在第三维上,分别经过maxPooling,之后的维度为(1, 200, 1),(1, 200, 1):

381

    然后cat在一起,维度为(1, 400, 1):

372

    一会要经过线性层,可以先将没用的第三维扔掉,维度为(1, 400):

321

    然后经过第一个线性层(400->100),维度为(1,100):

311

    然后再经过一个tanh,维度不变(1,100):

214

    最后,经过最后一个线性层(100->3),维度为(1,3):

273

    你或许有疑问,为什么不直接经过一个线性层呢?因为我们要直接从400->3的话,信息会损失很多,如果分别经过两个400->100, 100->3,这样就不会损失那么多信息了,如果你想用三个线性层也可以,自己感觉调到最佳就好。

    这个整体的数据流图为:

565

    整个也就算讲完了,其实也想把实验结果摆上来的,可是我的电脑是4G的。。太慢了。。但是如果想要源代码的话,可以私聊我,共同进步。


作者:zenRRan
链接:https://www.jianshu.com/p/ec8f424a8ea2


點擊查看更多內容
1人點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消