文章目录
显示

Dialog_Corpus：用于训练中英文对话系统的语料库/Datasets for Training Chatbot System，一个GitHub的项目，作者收集了一些从网络中找到的用于训练中文（英文）聊天机器人的对话语料，主要是一些公开的资料，A姐看了一下有点年纪了，5年前，不过没关系，还是有效的，下面是目录，有需求的可以前往查阅。

中英文对话系统的语料库目录

  1. dgk_shooter_min.conv.zip
    中文电影对白语料，噪音比较大，许多对白问答关系没有对应好

  2. The NUS SMS Corpus
    包含中文和英文短信息语料，据说是世界最大公开的短消息语料

  3. ChatterBot中文基本聊天语料
    ChatterBot聊天引擎提供的一点基本中文聊天语料，量很少，但质量比较高

  4. Datasets for Natural Language Processing
    这是他人收集的自然语言处理相关数据集，主要包含Question Answering，Dialogue Systems， Goal-Oriented Dialogue Systems三部分，都是英文文本。可以使用机器翻译为中文，供中文对话使用

  5. 小黄鸡
    据传这就是小黄鸡的语料：xiaohuangji50w_fenciA.conv.zip （已分词） 和 xiaohuangji50w_nofenci.conv.zip （未分词）

  6. 白鹭时代中文问答语料
    由白鹭时代官方论坛问答板块10,000+ 问题中，选择被标注了“最佳答案”的纪录汇总而成。人工review raw data，给每一个问题，一个可以接受的答案。目前，语料库只包含2907个问答。(备份)

  7. Chat corpus repository
    chat corpus collection from various open sources
    包括：开放字幕、英文电影字幕、中文歌词、英文推文

  8. 保险行业QA语料库
    通过翻译 insuranceQA产生的数据集。train_data含有问题12,889条，数据 141779条，正例：负例 = 1:10； test_data含有问题2,000条，数据 22000条，正例：负例 = 1:10；valid_data含有问题2,000条，数据 22000条，正例：负例 = 1:10

中英文对话系统的语料库地址

Dialog Corpus：https://github.com/candlewill/Dialog_Corpus

原文：https://www.fooliji.com/24361

本文链接：https://www.fooliji.com/24361/

  1. 转载请保留原文链接谢谢！
  2. 本站所有资源文章出自互联网收集整理，本站不参与制作，如果侵犯了您的合法权益，请联系本站我们会及时删除。
  3. 本站发布资源来源于互联网，可能存在水印或者引流等信息，请用户擦亮眼睛自行鉴别，做一个有主见和判断力的用户。
  4. 本站资源仅供研究、学习交流之用，若使用商业用途，请购买正版授权，否则产生的一切后果将由下载用户自行承担。
  5. 联系方式（#替换成@）：feedback#abskoop.com