爬虫经典老四步:
1.分析网页
2.对网页发送请求,获取响应
3.提取解析数据
4.保存数据
本案例所用到的模块:
一、分析网页
b站有两种找到接口的情况,如果你是在主页搜索输入需要搜索的内容的话,网站会自动跳转到另一个页面,经过分析,这个页面里面的数据,获取到的数据是html的源码数据,这次本案例不对html这个源码数据进行讲解。我们需要找到的是b站的另一个有数据的接口,这个接口里面的数据是json数据,这个接口如果你直接找,是找不到的,有个方法,你只需要在翻页的地方,点击访问下一页的数据就可以找到这个接口了,如图: 通过分析这个接口网址,我们可以看到这是一个这个网址里面的数据是json数据:
数据网址有了,现在就是分析这个网址了,我们可以看到这个网址里面有很多参数:
page这个参数就是网页翻页需要的参数,keyword这个参数就是需要搜索的内容,也就是说我们在这里输入自己想找的内容,就会有关于这个内容的信息。
通过上面的一系列分析,我的思路是,对接口地址发送请求,获取到响应数据,提取出每个视频的url地址,然后通过you-get这个模块工具,进行下载视频。
二、构建params参数
三、通过构建好的参数,发送请求,获取响应
四、解析提取每个视频的url地址
五、通过you-get模块下载视频
因为如果要用you-get这个模块下载视频,需要在命令行下输入命令才能执行,所以我会先通过sys这个模块里面的sys.argv这个内置方法,该方法可以让代码在命令行下输入命令执行,然后就可以执行you-get了,you-get模块有一个好处,就是不需要提取视频的名字,它会自动帮你解析出来视频的名字,然后自动命名到你保存的视频中。
效果展示:
可以看到它会有自己的进度条显示,有该视频信息的显示,有该视频的清晰度,这个就是you-get的强大之处。目前You-Get可以下载的网站有很多,比如国外的Youtube、Vimeo、Tumblr、Instagram等,国内的爱奇艺、优酷、乐视、哔哩哔哩,感兴趣的可以自己试试。