爬虫岗位一定需要学习js逆向吗?
1.selenium可以做分布式,那requests为啥不能做分布式,同样配置的机器,selenium不会比requests快的,性能差。
2.再说现在有现成的scrapy框架,目前行业里开源框架,没有一个比scrapy好的,开源多。
3.有些人不用框架,那像aiohttp这种异步请求模块,selenium怎么比,性能差距更大。
4.市场上需求不是会一个selenium就行,不是我们对它不屑一顾,是它满足不了市场的需求,市场对它不屑一顾。
5.就算用selenium抓数据,遇到稍微有点反爬虫的网站,selenium也没办法,还不是需要补充selenium的环境。要明白selenium和正常的浏览器请求是有差异的,别人网站稍微一检测,就没有办法的。既然都要补环境了,那为啥不js逆向呢?
6.app的爬虫,selenium怎么爬?java逆向、so逆向、hook等等,selenium的应用场景太少,满足不了市场需求。
7.学习js逆向是需要时间,但是不去学,永远不会!