技术标签: tensorflow nlp rnn 深度学习
tf.nn.bidirectional_dynamic_rnn(
cell_fw,
cell_bw,
inputs,
sequence_length=None,
initial_state_fw=None,
initial_state_bw=None,
dtype=None,
parallel_iterations=None,
swap_memory=False,
time_major=False,
scope=None
)
一个(outputs,output_states)元组,其中:
思想: 利用最后一层的输出(因为最后一层融合了所有的信息) 跟每一层进行相乘得出attention权重,然后利用权重把每一步的结果都加起来得到最终的一个结果
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
# Bi-LSTM(Attention) Parameters
embedding_dim = 2
n_hidden = 5 # number of hidden units in one cell
# 3 words sentences (=sequence_length is 3)
sentences = ["i love you", "he loves me", "she likes baseball", "i hate you", "sorry for that", "this is awful"]
word_list = " ".join(sentences).split()
word_list = list(set(word_list))
word_dict = {
w: i for i, w in enumerate(word_list)}
vocab_size = len(word_dict)
input_batch = []
for sen in sentences:
input_batch.append(np.asarray([word_dict[n] for n in sen.split()]))
target_batch = []
for out in labels:
target_batch.append(np.eye(n_class)[out]) # ONE-HOT : To using Tensor Softmax Loss function
# LSTM Model
X = tf.placeholder(tf.int32, [None, n_step])
Y = tf.placeholder(tf.int32, [None, n_class])
out = tf.Variable(tf.random_normal([n_hidden * 2, n_class]))
embedding = tf.Variable(tf.random_uniform([vocab_size, embedding_dim]))
input = tf.nn.embedding_lookup(embedding, X) # [batch_size, len_seq3, embedding_dim2]
lstm_fw_cell = tf.nn.rnn_cell.LSTMCell(n_hidden) # 5
lstm_bw_cell = tf.nn.rnn_cell.LSTMCell(n_hidden)
# output : [batch_size, len_seq, n_hidden], states : [batch_size, n_hidden]
output, final_state = tf.nn.bidirectional_dynamic_rnn(lstm_fw_cell,lstm_bw_cell, input, dtype=tf.float32)
# Attention
# Training
with tf.Session() as sess:
init = tf.global_variables_initializer()
sess.run(init)
#print(input_batch.shape)
output, final_state = sess.run([output, final_state], feed_dict={
X: input_batch, Y: target_batch})
#print(output.shape())
print("output_fw-----------------------")
print(output[0])
print("output_bw-----------------------")
print(output[1])
print("=-----------------*****************************************------------------=")
print("output_fw_C-----------------------")
print(final_state[0][0])
print("output_fw_H-----------------------")
print(final_state[0][1])
print("output_bw_C-----------------------")
print(final_state[1][0])
print("output_bw_H-----------------------")
print(final_state[1][1])
#结果
output_fw-----------------------
[[[ 0.00394321 -0.02351782 -0.03405523 0.00305696 0.00405202]
[ 0.06117373 -0.08493181 -0.10548183 0.0173593 0.01642234]
[ 0.09302159 -0.14045352 -0.18056425 0.02292664 0.02151979]]
[[ 0.00897689 -0.0114818 -0.01073236 0.0026193 0.00251714]
[-0.01570433 -0.01093796 -0.02816775 -0.00127712 0.00047153]
[ 0.03564881 -0.08152001 -0.12945394 0.01309824 0.01412579]]
[[ 0.0022017 -0.0556691 -0.09676469 0.00533017 0.00813764]
[-0.02163241 -0.03916193 -0.09379555 0.00117761 0.0033054 ]
[-0.02534943 -0.03482693 -0.09665176 0.00129206 0.00241509]]
[[ 0.00394321 -0.02351782 -0.03405523 0.00305696 0.00405202]
[ 0.0251001 -0.04374754 -0.05323521 0.00777274 0.00770803]
[ 0.06088063 -0.10670137 -0.14363492 0.01596653 0.01687609]]
[[-0.02074501 -0.03782491 -0.08010133 0.00106625 0.0042809 ]
[-0.02030762 -0.02580994 -0.06796815 0.00064477 0.00200086]
[ 0.01159763 -0.09142994 -0.1786155 0.01095188 0.01238727]]
[[ 0.03423732 -0.04540066 -0.0511797 0.0099178 0.00961432]
[ 0.03746802 -0.09071141 -0.12944394 0.01133813 0.0131082 ]
[ 0.04090166 -0.07015887 -0.0894173 0.00954981 0.00913159]]]
output_bw-----------------------
[[[ 0.02337044 0.12136219 0.05673089 -0.01224817 0.0593852 ]
[ 0.01874987 0.09703043 0.0713386 -0.05112801 0.09921131]
[ 0.03311865 0.06603951 0.02200164 -0.0013612 0.04199017]]
[[ 0.04622315 0.08167503 -0.02331962 0.02814881 -0.01469414]
[ 0.06475978 0.1021239 -0.02712514 0.05594093 -0.01951348]
[ 0.02701424 0.06634663 0.03368881 -0.01682826 0.05579737]]
[[ 0.17932206 0.11006899 -0.17011283 0.17438392 -0.14428209]
[ 0.13817243 0.08259486 -0.13932668 0.15030426 -0.13008778]
[ 0.06183491 0.04734965 -0.05742453 0.07186026 -0.05271984]]
[[ 0.03479569 0.09810638 0.01812333 0.01501928 0.02510414]
[ 0.02493659 0.08395203 0.03107387 -0.00838013 0.04572592]
[ 0.03311865 0.06603951 0.02200164 -0.0013612 0.04199017]]
[[ 0.16409379 0.1282753 -0.13091424 0.17192362 -0.10831039]
[ 0.09441089 0.10732475 -0.05974932 0.08499315 -0.04574324]
[ 0.06810828 0.07835089 -0.01157835 0.05307872 0.00895631]]
[[ 0.0615179 0.09249893 -0.00614712 0.01541615 0.02442793]
[ 0.07529346 0.07565043 -0.03864583 0.07073426 -0.02094099]
[ 0.01069495 0.01040417 -0.01082753 0.01262293 -0.00998173]]]
=-----------------*****************************************------------------=
output_fw_C-----------------------
[[ 0.18077272 -0.25065544 -0.2970943 0.05401518 0.04332165]
[ 0.0666052 -0.14184129 -0.21055089 0.03050351 0.02707803]
[-0.04982244 -0.06662414 -0.17368984 0.00284229 0.00523079]
[ 0.11556551 -0.18880183 -0.23572075 0.03740995 0.03326564]
[ 0.0214364 -0.15807846 -0.28311607 0.0270236 0.02515054]
[ 0.08471472 -0.13929133 -0.17238948 0.01954564 0.01927523]]
output_fw_H-----------------------
[[ 0.09302159 -0.14045352 -0.18056425 0.02292664 0.02151979]
[ 0.03564881 -0.08152001 -0.12945394 0.01309824 0.01412579]
[-0.02534943 -0.03482693 -0.09665176 0.00129206 0.00241509]
[ 0.06088063 -0.10670137 -0.14363492 0.01596653 0.01687609]
[ 0.01159763 -0.09142994 -0.1786155 0.01095188 0.01238727]
[ 0.04090166 -0.07015887 -0.0894173 0.00954981 0.00913159]]
output_bw_C-----------------------
[[ 0.04923753 0.29065222 0.10612877 -0.02204721 0.12080507]
[ 0.09414361 0.17565773 -0.04700623 0.05542824 -0.02873464]
[ 0.3784477 0.3159748 -0.2940823 0.28821698 -0.27351445]
[ 0.07218795 0.23126517 0.03378158 0.02722929 0.05014303]
[ 0.32902873 0.36530167 -0.22143884 0.27972797 -0.21702379]
[ 0.13681822 0.22507632 -0.01161141 0.02861859 0.04536273]]
output_bw_H-----------------------
[[ 0.02337044 0.12136219 0.05673089 -0.01224817 0.0593852 ]
[ 0.04622315 0.08167503 -0.02331962 0.02814881 -0.01469414]
[ 0.17932206 0.11006899 -0.17011283 0.17438392 -0.14428209]
[ 0.03479569 0.09810638 0.01812333 0.01501928 0.02510414]
[ 0.16409379 0.1282753 -0.13091424 0.17192362 -0.10831039]
[ 0.0615179 0.09249893 -0.00614712 0.01541615 0.02442793]]
文章浏览阅读1.4w次。MV3D论文阅读_mv3d
文章浏览阅读210次。Xcode清除缓存、清理多余证书 1、删除Xcode中多余的证书provisioning profile 手动删除: Xcode6 provisioning profile path: ~/Library/MobileDevice/Provisioning Profiles2、清理Xcode编译项目产生的缓存垃圾 (Xcode永久了,会产生很多项目编译缓
文章浏览阅读8.2k次,点赞3次,收藏71次。TMS320C6000产品是美国TI公司于1997年推出的dsp芯片,该DSP芯片定点、浮点兼容,其中,定点系列是TMS320C62xx系列,浮点系列是TMS320C67xx系列,2000年3月,TI发布新的C64xx内核,主频为1.1GHz,处理速度9000MIPS,在图像处理和流媒体领域得到了广泛的应用。C6000片内有8个并行的处理单元,分为相同的两组。DSP的体系结构采用超长指令字(v...__mpysp2dp
文章浏览阅读1k次。我们经常会看到后缀名为.pt, .pth, .pkl的pytorch模型文件,这几种模型文件在格式上有什么区别吗?其实它们并不是在格式上有区别,只是后缀不同而已(仅此而已),在用torch.save()函数保存模型文件时,各人有不同的喜好,有些人喜欢用.pt后缀,有些人喜欢用.pth或.pkl.用相同的torch.save()语句保存出来的模型文件没有什么不同。在pytorch官方的文档/代码里,..._模型保存为pth
文章浏览阅读1.3k次。笔试常见的三种类型的acm处理string array list
文章浏览阅读1.6w次,点赞19次,收藏44次。P2P下载技术-BT协议与Magnet磁力链接前言传统服务器-客户端文件下载P2P下载最早的应用-NapsterBT-BitTorrentbt的工作原理Magnet磁力链接前言我们在互联网上下载文件时大概几种方式:FTP、HTTP、BT、Magnet磁力链等。浏览器会直接支持FTP和HTTP下载,BT和磁力链下载一般需要专用的下载软件的支持。传统服务器-客户端文件下载FTP,全称File Transfer Protocol,即文件传输协议,顾名思义,它就是一个提供文件传输功能的协议。通过该协议下载_torrent magnet
文章浏览阅读8.2k次,点赞8次,收藏32次。Stm32CubeIDE设置补全快捷键和主题stm32CubeIde的设置,省的自己忘记了。一、主题设置提示:这里可以添加要学的内容例如:1、 help->Eclipse Market->输入"Devstyle"查找主题插件->install安装2、窗口->首选项 找到主题3、按照如下设置完成后会提示重启,重启后效果如下所示二、补全设置用于设置代码的自动补全搜索: key->content assist默认的补全快捷键时alt+/,这里我改成双击两次_cubeide快捷键设置
文章浏览阅读142次。(题目链接:https://www.luogu.com.cn/problem/P2525)#include<bits/stdc++.h>using namespace std;int main(){ int tmp,pos,s,n,number,symbol=1,input[10],data[10],memory[10]; scanf("%d",&n); for(int i=1;i<=n;i++) { scanf("%d",&input[i]);
文章浏览阅读241次,点赞3次,收藏7次。text-overflow:ellipsis(省略号);(如果用clip(裁剪),就没有三个点)nowrap 文本不换行,直到遇到标签【最常用】pre 预格式化文本-保留空格,tab,回车。pre-line 显示回车,不显示换行,空格。做出多的文本省略、显示三个点的效果——容器宽度:width:200px;White-space空余空间。pre-wrap 自然换行。
文章浏览阅读227次。小学信息片段教学设计教学目的:认知目标:掌握含有小数连除问题的解决方法,进一步巩固小数除法,同时体会解决问题策略的多样性。技能目标:在学习的过程中,培养学生的推理概括能力、灵活解决问题的能力。 情感目标:使学生会解决有关小数除法的简单实际问题,体会小数除法的应用价值。教学重点:探究解决问题的方法。教学难点:分析数量关系,引导学生用量的`关系来描述解题思路。教学过程:多媒体课件教学过程:一、揭示课题..._计算机片段教学设计
文章浏览阅读345次。&以及*运算符说明&和*介绍&说明:*说明:代码片段:分析总结:&和*介绍&说明:取址运算符&用来取得其操作数的地址。如果操作数 x 的类型为 T,则表达式 &x 的类型是 T 类型指针(指向 T 的指针)。取址运算符的操作数必须是在内存中可寻址到的地址。换句话说,该运算符只能用于函数或对象(例如左值),而不可以用于位字段,以及那些还未被存储类修饰符 register 声明的内容。当需要初始化指针,以指向某些对象或函数时,需要获得这些对象或函
文章浏览阅读265次。创建一个新的 Excel workbook 对象,并加载已存在的文件(output.xlsx)创建一个新的 sheet,并将第二个 DataFrame 写入其中,并命名。将第一个 DataFrame 写入一个新的 sheet,并命名。保存合并后的 Excel 文件。保存合并后的 Excel 文件。导入包和定义需要保存的文件名。读取第一个 Excel 文件。读取第二个 Excel 文件。删除默认的 Sheet。