以后羊毛区发帖全部设置通用模版好了。弄一个通用的前缀。
为什么要弄前缀,金水虽是爬虫爬帖,但是它也有选择性的爬,看到一个帖子标题确认是大毛以后,它会立刻爬走,因为如果每个帖子都爬,它爬虫吃数据也承受不了要瘫痪。如果每个帖子都加了前缀以后,它爬,要么把所有帖子都爬走,要么就人工审核一个一个帖子看,选择有用的爬走。不管它怎么选,这一举动,都为它挑选羊毛增加了不少成本,时间成本,人工审核成本,以及他们收集爬虫数据的服务器内存扩容成本。
至于前缀,比如帖子前面二十个字统一设置“金水别偷,金水别偷,金水别偷,金水别偷,金水别偷”。后面才是帖子正文。等级低的看帖,在不点进帖子详细内容的情况下只能看到前面的二十个字。等级高的,不点进帖子的前提下,可以见到前面30个字。时间上也可以自由发挥,比如早九点到晚九点发的帖子,有前缀。晚九点到早九点发的帖子,没有前缀。或者一个小时有前缀,再过一个小时又没有前缀。整体思路就是,一切以增加金水爬帖成本为原则。@卡农110
|
|