Python爬取猫眼「碟中谍」全部评论

  • 时间:
  • 浏览:1

昨天晚上都看碟中谍后,有点硬小激动,之后 完正完正都是了这片文章。

朋友将猫眼上碟中谍的完正评论保存下来,用于后期分析~

总共评论3W条左右。

最后效果

请求地址中的参数:

当朋友将评论页面向上拖,后台请求中变都看了朋友你会的接口地址:http://m.maoyan.com/mmdb/comments/movie/341737.json?_v_=yes&offset=15&startTime=2018-09-02%2013%3A33%3A14

skr~skr~~

评论算保存完了,近期会再做有另一个关于此次数据的可视化分析。另外阿汤哥真心太帅了,全程打肾上腺素,各位还没去看的赶紧~

其实 正常来说到这儿就差太多了,按照以往的套路循环传入offset参数就好了,不过当我爬到第67页的以前,就将会不返回值了,为啥会 会 是67,6715=11505,猫眼应该是控制了每个startTime必须往前取11150条评论,太多必须换个思路,将每页最早三根评论的时间作为startTime传入,offset固定15就好了。

猫眼PC网页必须查看热门评论,必须在手机端页面不可以查看完正评论。朋友用chrome手机模式打开碟中谍6的页面,之后 找到了完正评论入口: