Skip to content

Commit 7b65a0a

Browse files
committed
img
1 parent 3d046ca commit 7b65a0a

File tree

1 file changed

+2
-4
lines changed

1 file changed

+2
-4
lines changed

README.md

Lines changed: 2 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -35,17 +35,15 @@ TorchVocab --> Vocab --> WordVocab
3535
python3 -m ipdb test_bert.py -c data/corpus.small -v data/vocab.small -o output/bert.model
3636
```
3737

38-
39-
40-
![1](.\img\1.png)
38+
![](http://ww1.sinaimg.cn/large/006gOeiSly1g5qw6nkhhgj31400u0myh.jpg)
4139

4240
从模型整体上看, 分为两大部分: **MaskedLanguageModel****NextSentencePrediction** ,并且二者都以 **BERT** 为前置模型,在分别加上一个全连接层与 softmax 层来分别获得输出。
4341

4442
这段代码相对很简单,十分容易理解,略过。
4543

4644
### 1. Bert Model
4745

48-
![2](.\img\2.png)
46+
![](http://ww1.sinaimg.cn/large/006gOeiSly1g5qw6wqgjoj31400u0dhz.jpg)
4947

5048
这部分其实就是 Transformer Encoder 部分 + BERT Embedding, 如果不熟悉 Transformer 的同学,恰好可以从此处来加深理解。
5149

0 commit comments

Comments
 (0)