磁力搜索原理是什么,BT蚂蚁采用的是那种爬虫原理,为什么数据采集比一般的快?

磁力搜索原理是什么,BT蚂蚁采用的是那种爬虫原理,为什么数据采集比一般的快?

磁力链接中含有一个BT种子的唯一身份标识,通过这个标识可以在DHT网络中搜索到拥有这个种子资源的其他peer。

一个实现了DHT协议的BT客户端或是服务器叫做节点,在DHT网络中存在着许多节点,节点根据DHT协议进行通信,有四种通信内容:“你在吗?”、“你知道离某节点(逻辑上,非地理上)很近的其他节点吗?”、“你知道有人在下载某种子吗?”、“我开始下载这个种子了。”

一个DHT爬虫就是一个功能完整的DHT节点,它在收到第三种和第四种消息时,会记录下这个种子的标识,这样就获得了一条磁力链接。

接下来爬虫会去找出这条磁力链接对应的种子,从中解析出磁力链接所代表的文件内容。有的爬虫直接到一些网站上去获取,另一些则自己实现了一部分BT协议,可以从其他peer那里得到种子。

DHT爬虫在DHT协议的实现上可以玩一些把戏,以让更多更广的节点能认识自己,这样它就能收到更多的请求,拿到更多的种子标识。这种把戏玩得好的爬虫,获取信息的速度就要优于其它爬虫。