文章目录
显示

internet-dataset是个互联网数据集的GitHub仓库，是通过作者的搜索引擎sese-engine：sese.yyj.moe运行半年收集到的数据，收集到了不少有用的数据，里面的数据还是有些价值的，于是作者分享了出来。

internet-dataset：互联网数据集 48.9G数据

数据量

数据量正在持续增长中，截至2022年5月大约有48.9G的数据，包含这些内容——

  • 域名数据(2.7G)包含6257636个域名，来自1938617个一级域名。
  • 网页数据(6.4G)包含53294027个网页。其中有标题的网页有48577906个，有介绍的网页有35971682个。
  • 反向索引数据(39.7G)包含17669628个词，每个词对应1~28000个网页。

数据内容

  • 域名级别

    • ip
    • 最后访问时间
    • 访问次数 (搜索引擎爬取该域名下页面的次数，数值越高，其他的字段越可靠)
    • 语种 (fasttext的语种识别结果，对该域名下的所有网页滑动平均)
    • 链接 (该域名下的所有网页的指向其他域名的链接，滑动抽样200个左右)
    • ======下面的属性只针对该域名的首页======
    • 重定向
    • https可用
    • 关键词 (频率最高的词)
    • 结构 (将HTML结构映射到字符串，用于过滤模板生成的大量域名)

  • 网页级别

    • 网页的标题
    • 网页的介绍 (meta description，截断到256字符)

下载地址

你可以选一个自己喜欢的地方下载:

GitHub Release

OneDrive

本文链接：https://www.fooliji.com/21169/

  1. 转载请保留原文链接谢谢！
  2. 本站所有资源文章出自互联网收集整理，本站不参与制作，如果侵犯了您的合法权益，请联系本站我们会及时删除。
  3. 本站发布资源来源于互联网，可能存在水印或者引流等信息，请用户擦亮眼睛自行鉴别，做一个有主见和判断力的用户。
  4. 本站资源仅供研究、学习交流之用，若使用商业用途，请购买正版授权，否则产生的一切后果将由下载用户自行承担。
  5. 联系方式（#替换成@）：feedback#abskoop.com