机器学习模型以向量（数字数组）作为输入，为了使用文本，需要将字符串转为数字，即向量化。
三种向量化策略
One-hot编码 向量长度等于词汇量，在词汇对应的索引置1，其他置0 例如： The cat sat on the mat. cat (0,1,0,0,0,0) …… 缺点：效率低下，向量稀疏整数编码 用唯一的数字给词编码 例如： The cat sat on the mat. (1,2,3,4,5,6) 缺点： 编码不能表示单词之间的关系；单词之间的相似性与编码的相似性无关，编码的权重组合无意义。词嵌入 高效，密集，且相似的单词具有相似的编码 自动嵌入浮点数密集向量（向量长度需指定），具体的数值是可以训练的参数。高维的嵌入可以捕获单词间的细粒度关系，同时需要更多的数据来学习。Keras提供词嵌入的方法，即Embedding层。 可以将词嵌入看为查找表，它从代表单词的整数索引映射到单词嵌入的密集向量。
embedding_layer = layers.Embedding(1000, 5)创建嵌入层时，嵌入的权重会随机初始化。在训练过程中，通过反向传播逐渐调整嵌入值。经过训练后，词嵌入可以学习编码词之间的相似性。 对于文本或序列，Embedding层的输入为2维整数张量(samples, sequence_length)，每个条目为一个整数序列。 Embedding层可以嵌入可变长度的序列。 返回的张量比输入多一维，嵌入的向量和最后一维对齐。 例如： 输入维度(2,3)，输出维度为(2,3,5)。 为了从可变长度的序列转换为固定的表示形式，可以有多种方法，比如RNN，Attention或pooling层。
首先加载文本数据集。 对于长度不同的文本，使用padded_batch标准化文本的长度。
padded_shapes = ([None],()) train_batches = train_data.shuffle(1000).padded_batch(10, padded_shapes = padded_shapes) test_batches = test_data.shuffle(1000).padded_batch(10, padded_shapes = padded_shapes)通过在句尾补0填充到批处理中例子最长的长度。
使用keras的API创建一个简单的模型 embedding_dim=16 model = keras.Sequential([ layers.Embedding(encoder.vocab_size, embedding_dim), layers.GlobalAveragePooling1D(), layers.Dense(1, activation='sigmoid') ]) model.summary()首先，使用“连续词袋”样式模型，嵌入层采用整数编码的词汇表，并为每个单词索引查找嵌入向量。 然后，GlobalAveragePooling1D()通过对序列维进行平均，为每个样本返回固定长度的输出向量。 固定长度的输出向量通过16个隐藏单元的完全连接层进行管道传输。最后一层与单个输出节点紧密相连。 使用S形激活函数，表示置信度。
编译和训练模型 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) history = model.fit( train_batches, epochs=10, validation_data=test_batches, validation_steps=20)首先，检索学习到的词嵌入。
e = model.layers[0] weights = e.get_weights()[0] print(weights.shape) # shape: (vocab_size, embedding_dim)然后，将权重写入磁盘。使用Embedding Prijector将以制表符分隔的格式上传两个文件：一个向量文件（包含嵌入）和一个元数据文件（包含单词）。
encoder = info.features['text'].encoder import io encoder = info.features['text'].encoder out_v = io.open('vecs.tsv', 'w', encoding='utf-8') out_m = io.open('meta.tsv', 'w', encoding='utf-8') for num, word in enumerate(encoder.subwords): vec = weights[num+1] # skip 0, it's padding. out_m.write(word + "\n") out_v.write('\t'.join([str(x) for x in vec]) + "\n") out_v.close() out_m.close()打开Embedding Prijector，可以搜索单词找到其最近的邻居。
参考链接
