Skip to content

Commit a522fb0

Browse files
添加负采样的相关内容
1 parent 50a1cbc commit a522fb0

File tree

1 file changed

+21
-2
lines changed

1 file changed

+21
-2
lines changed

docs/nlp/README.md

Lines changed: 21 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -15,17 +15,36 @@
1515
3. 篇章分析
1616
4. UNIT:语言理解与交互技术
1717

18-
## 中文 nlp 词向量
18+
## 中文 NLP
19+
20+
> 开源 - 词向量库集合
1921
2022
https://github.com/Embedding/Chinese-Word-Vectors
2123

24+
2225
> 深度学习必学
2326
2427
1. [反向传递](/docs/dl/反向传递.md): https://www.cnblogs.com/charlotte77/p/5629865.html
2528
2. [CNN原理](/docs/dl/CNN原理.md): http://www.cnblogs.com/charlotte77/p/7759802.html
2629
3. [RNN原理](/docs/dl/RNN原理.md): https://blog.csdn.net/qq_39422642/article/details/78676567
2730
4. [LSTM原理](/docs/dl/LSTM原理.md): https://blog.csdn.net/weixin_42111770/article/details/80900575
2831

32+
> [Word2Vec 原理](/docs/nlp/Word2Vec.md):
33+
34+
1. 负采样
35+
36+
介绍:
37+
自然语言处理领域中,判断两个单词是不是一对上下文词(context)与目标词(target),如果是一对,则是正样本,如果不是一对,则是负样本。
38+
采样得到一个上下文词和一个目标词,生成一个正样本(positive example),生成一个负样本(negative example),则是用与正样本相同的上下文词,再在字典中随机选择一个单词,这就是负采样(negative sampling)。
39+
40+
案例:
41+
比如给定一句话“这是去上学的班车”,则对这句话进行正采样,得到上下文“上”和目标词“学”,则这两个字就是正样本。
42+
负样本的采样需要选定同样的“上”,然后在训练的字典中任意取另一个字,如“我”、“梦”、“目”,这一对就构成负样本。
43+
训练需要正样本和负样本同时存在。
44+
45+
优势:
46+
负采样的本质:每次让一个训练样本只更新部分权重,其他权重全部固定;减少计算量;(一定程度上还可以增加随机性)
47+
2948
## nlp 操作流程
3049

3150
[本项目](https://pytorch.apachecn.org/docs/1.0/#/char_rnn_classification_tutorial) 试图通过名字分类问题给大家描述一个基础的深度学习中自然语言处理模型,同时也向大家展示了Pytorch的基本玩法。 其实对于大部分基础的NLP工作,都是类似的套路:
@@ -61,7 +80,7 @@ https://github.com/Embedding/Chinese-Word-Vectors
6180
+ 司法数据文本的 NLP
6281
- http://cail.cipsc.org.cn
6382
+ “达观杯” 文本智能处理挑战赛
64-
- http://www.dcjingsai.com/common/cmpt/%E2%80%9C%E8%BE%BE%E8%A7%82%E6%9D%AF%E2%80%9D%E6%96%87%E6%9C%AC%E6%99%BA%E8%83%BD%E5%A4%84%E7%90%86%E6%8C%91%E6%88%98%E8%B5%9B_%E7%AB%9E%E8%B5%9B%E4%BF%A1%E6%81%AF.html
83+
- http://www.dcjingsai.com/common/cmpt/“达观杯”文本智能处理挑战赛_竞赛信息.html
6584
+ 中文论文摘要数据
6685
- https://biendata.com/competition/smpetst2018
6786
+ 中文问答任务

0 commit comments

Comments
 (0)