为什么不用node写爬虫（为什么没有nodejs的web爬虫）
本文目录
- 为什么没有nodejs的web爬虫
- 为什么python爬虫比js火
- Python，Node.js 哪个比较适合写爬虫
- 面试官问我为什么不用nodejs
- Python和nodeJS哪个更适合做爬虫
- 现在用node写网页爬虫用phantomjs和jsdom各有什么利弊
为什么没有nodejs的web爬虫
可以使用Elasticsearch的几乎所有的操作，都可以通过RESTful APIs完成。Elasticsearch 默认使用9200 端口。
***隐藏网址***
为什么python爬虫比js火
1、基础语言知识对比。对于Python和Node.js两种编程语言来说，Python是一种高级编程语言，而Node.js是一种基于JavaScript的开发框架。
2、在编程思维上，Python更加注重面向对象编程思想，数据类型的处理、字符串操作、列表等，而Node.js则更加注重事件驱动、异步编程思想。
3、数据爬取效率对比。对于爬虫效率，Python使用多线程或多进程处理，它的协程能够很好地支持IO密集型任务，非常适合在网络爬虫中使用。而Node.js则由于单线程，能够很好地支持异步编程和事件编程，，但是在 CPU 密集型计算方面性能略低。
Python，Node.js 哪个比较适合写爬虫
主要看你定义的“爬虫”干什么用。
1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。
当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。
2、如果是定向爬取，且主要目标是解析js动态生成的内容
此时候，页面内容是有js/ajax动态生成的，用普通的请求页面-》解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。
此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs ，当然诸如selenium之类的也可以考虑。
3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素时候
大规模爬虫爬取涉及诸多问题：多线程并发、I/O机制、分布式爬取、消息通讯、判重机制、任务调度等等，此时候语言和所用框架的选取就具有极大意义了。
PHP对多线程、异步支持较差，不建议采用。
NodeJS：对一些垂直网站爬取倒可以，但由于分布式爬取、消息通讯等支持较弱，根据自己情况判断。
Python：强烈建议，对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多：支持xpath；基于twisted，性能不错；有较好的调试工具；
此种情况下，如果还需要做js动态内容的解析，casperjs就不适合了，只有基于诸如chrome V8引擎之类自己做js引擎。
至于C、C++虽然性能不错，但不推荐，尤其是考虑到成本等诸多因素；对于大部分公司还是建议基于一些开源的框架来做，不要自己发明轮子，做一个简单的爬虫容易，但要做一个完备的爬虫挺难的。
像我搭建的微信公众号内容聚合的网站 就是基于Scrapy做的，当然还涉及消息队列等。可以参考下图：
具体内容可以参考 一个任务调度分发服务的架构
面试官问我为什么不用nodejs
一般来说面试我都记下印象深刻的面试题，其他感觉都没什么好记的，但是今天这个面试的过程感觉是我职业生涯中比较有意思的一次面试，遂分享出来。
今天顶着大太阳出去面试，找了好久终于找到了这家公司的位置，貌似是集体办公区域，就是一层楼有N个公司在办公，也没什么隔断。心想创业公司吧，这样也正常。在这之前已经面过三家公司都挺顺利，公司规模都还可以，还有一家一面也是过了等二面。之所以来这家公司面呢是因为对公司的产品还挺感兴趣的，想来看看。
然后到地方后面试官先给了我一份卷子做，都是些很简单的题，写完后等了好久面试官来了，开始进行面试。面试官先看了下我的简历，然后说你怎么两年才做这么4个项目，尤其是第一家才1个项目。我说外包公司项目多，没必要挨个写上，写上最近一家公司的项目，和之前公司代表性的项目就行了。然后他就教育了我一番，说怎么写这么点儿呢，很容易让人觉得你啥都没做，做过的都得写上。我之前一直以为我这种两年多经验的写一页简历足够了，不过他说了下我觉得确实可以考虑考虑多写一些。。。不过老实说我在想。。难道他毕业四五年了还把刚毕业的项目往简历上写？
吐槽完项目。面试官不知道为什么看着我的简历以为是培训班出来的，然后就旁敲侧击的问我毕业是否有参加过什么培训啊。我满脸黑线，我简历写的我第一份工作毕业就进去的，而且我项目都是专业领域性很强的项目，这是从哪儿看出来的。然后这面试官又问我那你大学都学什么课程啊，我又耐着性子解释了一圈。然后他看问不出啥的就没问了。然后就问了一个项目有关的正常问题。开始问我技术了。最后问我有什么想问的，我就照例问了下公司技术栈，然后他说后端用java nodeJs ，我就问为什么后端会用两种技术栈？ 然后他回答道，这么用肯定是处于公司技术考量啊，巴拉巴拉的，反正最后也没说个明白为啥会用两种技术。。然后这个时候提了一嘴既然采用nodeJs是觉得更加方便为什么不考虑考虑使用Python。老实说我觉得我这句话作为大家都是技术人员，技术探讨性的问题应该很正常吧，结果这句话不知道为什么又把他戳高潮了，他直接回到 为什么要用Python？我在严肃的和你讲公司技术栈，你觉得这样好吗？ 你觉得这样提问好吗？你这样随意的一问觉得合适吗？
最后伴随着这几个疑问，面试结束了。。。老实说我被面的有点稀奇古怪的，尽管他问的问题我觉得我应该全都回答上了，但看他的样子似乎很不高兴。。。面完后我的内心状态应该如下吧
Python和nodeJS哪个更适合做爬虫
nodeJS当然也可以写爬虫，但我更推荐用Python写爬虫，最主要的原因是库多，requests，xml，beautifulsoup，selenium，scrapy等都是爬虫利器，只要几行代码就可以实现大部分功能。
实际上爬虫写到后面关注的是效率和防爬攻防的问题，如随机headers处理、IP代理池，验证码识别等，需要在这些细节上去考量。
现在用node写网页爬虫用phantomjs和jsdom各有什么利弊
phantomjs实际上就是一个浏览器，只是不显示界面，可以执行页面的js脚本等。
jsdom主要是方便解析html文本，相当于对字符串进行分析。
phantomjs对资源的要求和消耗都比较大，如果需要的内容从网页源代码中可以解析出来，推荐用jsdom，如果页面复杂，推荐用phantomjs
更多文章：
form表单制作（为什么制作的form表单会在网页显示中多出一行）
2026年10月11日 09:10
teammate（teammate,company,partner）
2026年10月11日 06:10
javascript arraybuffer（javascript可以把base64编码转换成二进制代码吗求示例代码！）
2026年10月11日 04:00
text函数公式（excel中round和text函数的区别是什么）
2026年10月11日 03:50
2026年10月11日 02:40
google chrome打不开（chrome浏览器打不开怎么回事 浏览器打不开的处理方法）
2026年10月11日 02:00
websocket整合springboot（Springboot整合Websocket遇到的坑）
2026年10月11日 01:40
2026年10月11日 00:40
drawerlayout（android 怎样让drawerlayout设置的侧滑菜单的内容充满屏幕）
2026年10月10日 19:20
xor四位数怎么运算（单片机怎样用C语言实现4个数字间的异或）
2026年10月10日 17:50
