炼数成金 门户 大数据 Python 查看内容

Python爬虫系列:使用selenium+Edge查询指定城市天气情况

2018-3-14 11:52| 发布者: 炼数成金_小数| 查看: 17335| 评论: 0|原作者: 董付国|来自: Python小屋

摘要: 话说,国外有个网站可以免费查询指定城市的当前天气情况:那是不是可以写个爬虫程序,自动调用网站的功能来实现天气查询呢?毕竟在网页上已经清清楚楚地显示了这些数据。按惯例,查看源码,却发现啥也木有。再仔细检 ...

Python Java Hadoop 操作系统 正则表达式

话说,国外有个网站http://openweathermap.org/可以免费查询指定城市的当前天气情况:

那是不是可以写个爬虫程序,自动调用网站的功能来实现天气查询呢?毕竟在网页上已经清清楚楚地显示了这些数据。按惯例,查看源码,却发现啥也木有。

再仔细检查,发现这个网站是使用JavaScript动态获取并显示天气数据的:

继续查找和分析,原来数据都是在这里的。

看起来好像很麻烦的样子,还是换个思路吧,等有时间再慢慢分析如何提取这样的数据。回到网站首页,发现该网站还提供了API接口,可以直接调用并以JSON格式返回指定城市的天气数据,但是需要首先拥有一个API key才行:

如何获取这个API key呢,答案是注册一个账号:

然而,注册账号时会调用google的验证服务,除非采取特殊手段,否则不会成功,原因不解释。

两条路都不太顺畅啊,还是再换个思路吧。按道理讲,只要是在网页上显示出来的数据,理论上都应该是可以提取出来的。如果能够模拟浏览器的渲染过程,得到渲染后的前端代码,应该就可以了。

那么怎么模拟呢?让我们拿出一个大杀器,selenium,通过这个扩展库可以驱动几个主流浏览器并调用其功能,这里我们选择使用Edge。
首先,查看一下本地计算机Windows操作系统的内部版本号,以我的Win10为例,步骤为:依次单击开始==>设置==>系统==>关于,找到下图中的操作系统内部版本号:

然后打开网址https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/,下载合适版本的驱动,并放到Python安装目录下:

接下来,来到命令提示符环境,使用pip安装扩展库selenium:

最后编写如下Python代码,查询指定城市的天气情况:

上面代码中的正则表达式是根据driver.page_cource的内容编写的,可以自行分析并逐步尝试,代码运行结果如下(运行过程会稍微慢一点):

和网页上的数据对比一下:

内容完全一致。当然,如果使用更整洁的格式查看天气数据,可以使用正则表达式从程序结果中进行二次提取,不再赘述。

欢迎加入本站公开兴趣群
软件开发技术群
兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流
QQ群:26931708

Hadoop源代码研究群
兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop
QQ群:288410967 

鲜花

握手

雷人

路过

鸡蛋

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-10-17 17:36 , Processed in 0.105068 second(s), 23 queries .