互联网前期，网站数量有限，百度权重千牛帮所以人工整理是可行的，洪正维比方就有DMOZ这样的人工编辑的网站数据库，分门别类的整理好各种网址。后来全球网站数量爆炸性添加，人工整理就不实际了，所以有了网络爬虫(也叫蜘蛛)替代人工去拜访抓取网站，这便是最原始的搜索引擎。尽管互联网是一个网状结构，可是抓取整个...