第768章 爬虫

br />
    王小船笑道：“这事也简单，爬虫和网站之间有一个爬取协议，业内叫Robot协议。这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”

    “嗯！”

    周不器点了点头。

    这就是他想要的答案。

    爬虫黑名单！

    王小船似乎看出了什么，试探着说：“老板，你……你要对百度下手吗？”

    周不器道：“我看了一下微知网的数据，过去3个月，有超过1.1亿的访问量，是来自百度。”

    王小船没有惊喜，深吸了口气，忧心忡忡的说：“微知的访问量本来就不高，如果屏蔽了百度，流量就更低了。”

    周不器并不在乎，“微知不需要流量，微知需要的是优质内容。你都说了，百度的算法不如谷歌，很难通过简单的数据处理完成对一些有深度内容的检索，来爬取微知的内容，是简洁途径。有不少用户都是通过百度来访问微知，我们要断了这条线！”

    王小船眨眨眼，“真要屏蔽吗？”

    “当然。”

    “可Robot协议没有法律效力。”

    “啥？”

    “这个协议，是一种行业约束，君子协定，不是法律条文。如果百度真想爬取微知的内容，完全可以通过技术手段跳过协议，强行爬取。”

    周不器若有所思，“君子协定啊……如果强行爬取，有违商业道德？”

    王小船点了点头，“可以这么理解。”

    心中深深的不以为然。

    商业道德？

    这东西是一层窗户纸，一捅就破。

    “如果违反了怎么办？”

    “国外有过类似的案子，违反了协议，也被处罚了。因为法官认为这个协议虽不是法律条文，但作为广泛被接受的行业规则，就应该被遵守。不过国内好像不太行。就像RSS聚合器似的，可以去各个网站上订阅信息。网站拒绝了RSS订阅，依旧可以通过技术手段强行订阅。”

    周不器想了一下，语气轻松，笑着说：“没事，百度在美国上市，不敢玩的太出格。先这么做吧，第一步，微知网屏蔽百度的爬虫。你这边也做准备，我打算一步步的、全面彻底的跟百度切割。”

    王小船睁大眼睛，“全都切割？”

    周不器淡淡地道：“对！”

    “这行吗？”

    “你觉得切割了，对谁的危害更大？”

    “这……”

    王小船有些犹豫，不太好说。

    周不器冷冷的道：“紫微星不主动欺负别人，却也不会任人欺负。百度从校内网挖了十几个人，把一个满建制的小组都给挖走了。不亮亮肌肉，李大老板以为我脾气好，好说话呢！”

    都屏蔽了，当然对微点搜索最有利。

    可王小船格局没这么小，不认为这是个好主意，好心的提示一句，“咱们自身的利益也会受损。百度是最大的搜索引擎，是流量分发平台。”

    周不器却很有信心，“平台的优势是轻量级，劣势是容易被人卡脖子。联想电脑品牌这么响，你知道联想最怕什么吗？最怕微软的系统授权和英特尔的芯片断供。每一次发生分歧，都要支付一大笔钱。如果把百度比作联想电脑，紫微星就需要成为最大的零配件供应商。微知、朋友网、校内网，接下来，我们还会有今日头条和微博。比比看！”

    ();

    网页版章节内容慢，请下载爱阅小说app阅读最新内容

    “沈兄！”

    “嗯！”

    沈长青走在路上，有遇到相熟的人，彼此都会打个招呼，或是点头。

    但不管是谁。

    每个人脸上都没有多余的表情，仿佛对什么都很是淡漠。

    对此。

    沈长青已是习以为常。

    因为这里是镇魔司，乃是维护大秦稳定的一个机构，主要的职责就是斩杀妖魔诡怪，当然也有一些别的副业。

    可以说。

    镇魔司中，每一个人手上都沾染了许多的鲜血。

    当一个人见惯了生死，那么对很多事情，都会变得淡漠。

    刚开始来到这个世界的时候，沈长青有些不适应，可久而久之也就习惯了。

    镇魔司很大。

    能够留在镇魔司的人，都是实力强横的高手，或者是有成为高手潜质的人。

    沈长青属于后者。

    其中镇魔司一共分为两个职业，一为镇守使，一为除魔使。

    任何一人进入镇魔司，都是从最低层次的除魔使开始，

    网站即将关闭，下载爱阅app免费看最新内容

    然后一步步晋升，最终有望成为镇守使。

    沈长青的前身，就是镇魔司中的一个见习除魔使，也是除魔使中最低级的那种。

    拥有前身的记忆。

    他对于镇魔司的环境，也是非常的熟悉。

    没有用太长时间，沈长青就在一处阁楼面前停下。

    跟镇魔司其他充满肃杀的地方不同，此处阁楼好像是鹤立鸡群一般，在满是血腥的镇魔司中，呈现出不一样的宁静。

    此时阁楼大门敞开，偶尔有人进出。

    沈长青仅仅是迟疑了一下，就跨步走了进去。

    进入阁楼。

    环境便是徒然一变。

    一阵墨香夹杂着微弱的血腥味道扑面而来，让他眉头本能的一皱，但又很快舒展。

    镇魔司每个人身上那种血腥的味道，几乎是没有办法清洗干净。

    请退出转码页面，请下载爱阅小说app阅读最新章节。

    新为你提供最快的大时代之巅更新，第768章爬虫免费阅读。https://www.biqupai.com