一元网络论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 88|回复: 0

字节跳动新推出的网络爬虫,积极抓取网络数据。

[复制链接]

3万

主题

3万

帖子

9万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
95940
发表于 2024-10-9 10:27:10 | 显示全部楼层 |阅读模式
字节跳动推出名为 Bytespider 的网络爬虫,该爬虫抓取数据速度惊人,每周抓取活动大幅增长,每日请求量已达 GPTbot 的25倍。Bytespider 甚至无视 robots.txt 规则,以惊人的速度抓取数据,其抓取速度远超谷歌、Meta、亚马逊等公司,引发外界关注。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一元网络论坛

GMT+8, 2024-11-25 22:24 , Processed in 0.066340 second(s), 20 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表