• 文本智能校对大赛
  • 日历
  • 任务描述
  • Baseline介绍
    • 模型
    • 代码结构
    • 使用说明
    • 开始训练
  • 其他公开数据集
  • 相关资源

本次赛题选择网络文本作为输入，从中检测并纠正错误，实现中文文本校对系统。即给定一段文本，校对系统从中检测出错误字词、错误类型，并进行纠正，最终输出校正后的结果。

文本校对又称文本纠错，相关资料可参考自然语言处理方向的语法纠错(Grammatical Error Correction, GEC)任务和中文拼写纠错(Chinese spelling check, CSC)

提供了GECToR作为baseline模型，可参考GECToR论文和GECToR源代码

├── command
│   └── train.sh       # 训练脚本
├── data
├── logs
├── pretrained_model
└── src
    ├── __init__.py
    ├── baseline       # baseline系统
    ├── corrector.py   # 文本校对入口
    ├── evaluate.py    # 指标评估
    ├── metric.py      # 指标计算文件 
    ├── prepare_for_upload.py  # 生成要提交的结果文件
    └── train.py       # 训练入口

• 数据集获取：请于比赛网站获取数据集
• 提供了基础校对系统的baseline，其中baseline模型训练参数说明参考src/baseline/trainer.py
• baseline中的预训练模型支持使用bert类模型，可从HuggingFace下载bert类预训练模型，如: chinese-roberta-wwm-ext等
• baseline仅作参考，参赛队伍可对baseline进行二次开发，或采取其他解决方案。

cd command && sh train.sh

• CGED历年公开数据集：http://www.cged.tech/
• NLPCC2018语法纠错数据集：http://tcci.ccf.org.cn/conference/2018/taskdata.php
• SIGHAN及相关训练集：http://ir.itc.ntnu.edu.tw/lre/sighan8csc.html

• pycorrector
• 中文文本纠错开源项目整理
• PyCorrector文本纠错工具实践和代码详解
• CTC-2021
• Text Correction Papers
• 文本语法纠错不完全调研：学术界 v.s. 工业界最新研究进展
• 知物由学 | “找茬”不如交给AI算法，细说文本纠错的多种实现途径
• 中文文本纠错算法--错别字纠正的二三事
• 中文文本纠错算法走到多远了？
• 平安寿险 AI 团队 | 文本纠错技术探索和实践
• 中文文本纠错（Chinese Text Correction, CTC）相关资源，本资源由哈工大讯飞联合实验室（HFL）王宝鑫和赵红红整理维护。