转自梁博：Common Crawl中文数据提取出来了，做了去黄等处理，发现简体中文压缩数据只有6TB，解压后30TB左右，繁体压缩数据6TB。中文数据到2019年冲到一个最大值，之后就回落了，不知道2020年具体发生了什么事情。。中文网页数据还是有点凋零。是不是有些网站不维护了？

发布时间: 2024-05-23 10:30:15

1分

数据加载中

2

1

0

转自梁博：Common Crawl中文数据提取出来了，做了去黄等处理，发现简体中文压缩数据只有6TB，解压后30TB左右，繁体压缩数据6TB。中文数据到2019年冲到一个最大值，之后就回落了，不知道2020年具体发生了什么事情。。中文网页数据还是有点凋零。是不是有些网站不维护了？
IT技术
( twitter.com )

27天前由宝玉提交

点击图片查看原图

点击图片查看原图

评论加载中...

您可能感兴趣的：更多

1

2

1

1

该文章发布后引发舆论广泛关注，2月26日，一众网络大V跟进并转发此事，26日中午，#北中医梁燕#话题冲上微博热搜，24小时阅读超过百万，26日晚上，微博开始对事件进行干预降温，据梁燕舅舅发文称，关于梁燕事件的微博被平台删帖和禁止加热。同时，微博还下架了#北中医梁燕#话题，各大平台也开始陆续删除…
时政
( twitter.com)

3个月前 • 李老师不是你老师 • -- 点击 0 评论

2

4

3

3

Dog teaching baby how to crawl
时政
( twitter.com)

2个月前 • Science girl • -- 点击 • 下载视频 0 评论

00:00:22

3

2

1

1

梁文博被终身禁赛，赌球是因为“入不敷出”？
大陆资讯
( news.sina.com.cn)

1年前 • 欲念此功必先自宫 • -- 点击 0 评论

4

2

1

1

Funny moment a dog teaches baby how to crawl 🥰
有趣
( twitter.com)

10个月前 • Epoch Animal Lovers • -- 点击 • 下载视频 0 评论

00:00:36

5

2

1

1

“中国斯诺克球手集体假球案”官宣处罚结果：梁文博终身禁赛，颜丙涛5年，赵心童1年8个月
大陆资讯
( www.thecover.cn)

1年前 • 流精岁月 • -- 点击 0 评论

6

2

1

1

Democracy——
Our common pursuit.
时政
( twitter.com)

1个月前 • ❂🇩🇪🇪🇺🌹Ashley Block🍥🇹🇼🏳️‍⚧️❀‍ • -- 点击 0 评论

7

2

1

1

在一宗斯诺克界最大规模的假球案中，中国球员梁文博和李行涉操纵比赛被终身禁赛，另外还有8人受罚。
时政
( www.bbc.com)

1年前 • BBC News 中文 • -- 点击 0 评论

8

2

1

1

第十九届文博会
6月7日至11日，第十九届中国（深圳）国际文化产业博览交易会在深圳举办，为期5天。
自2004年在深圳正式创办以来，文博会展会规模、观众数量、国际化程度等不断攀升，成为推动中国文化产业发展的重要引擎、中华文化走出去…
推特中文圈
( twitter.com)

1年前 • 安安HE（互fo） • -- 点击 0 评论

9

2

1

1

Ukraine and Sweden have more in common than just flag colours. Centuries of common history, a common current strength, and a future in a safe and free Europe.

This is what Ukraine is fighting for, with Sweden’s strong support.

I thank the Swedish Royal Family, Prime Minister…
时政
( twitter.com)

10个月前 • Володимир Зеленський • -- 点击 • 下载视频 0 评论

00:01:17