零基础如何学爬虫技术?
零基础。。。负基础都是有可能的,区别就是需要付出的时间与精力成本的多少罢了。。。
首先你得先学一门编程语言,理解编程的思维,然后再打爬虫知识的基础,
打个比方,想使用方程组或者微积分解决问题,你总得先学加减乘除;
只是为了爬虫的话,那python的确是目前较好的选择;
对于python我没什么发言权,但是抛开获取源数据补充一点就是:
爬虫的目的是数据,看题主的意思是要继续往大数据分析方向走的,那么数据存储也是重中之重,数据库数据储存这块其实水也是很深的,数据量大的话还是推荐使用mongo存储与普通批量查询和处理,同步solr方便进行分词查询;
当然这就已经是你拿到数据的后话了;
★☆★:这一点应该是最重要的,爬虫是节省人工的时间去获取数据,遵循的也是所见即所得,不管怎么说,在别人的网站上获取有价值的数据总得怀着感激的心情,爬虫代码友善一点,采集频率不是 必要的情况下尽量放缓,不要给目标网站造成过大的压力,这是底线
回答请先登录