第8次课-Python爬虫

专业资料 > IT&计算机 > 计算机软件及应用 > 文档预览

40 页 1016 浏览 12 收藏 4.9分

摘要:使用Python编写网络爬虫什么是网络爬虫网页结构准备工作使用requests库获取网页源代码使用正则表达式实现翻页功能使用Xpath进行页面定位使用chromedriver进行模拟浏览器操作•百度贴吧爬虫进阶实例•使用chromedriver爬取微信公众号文章•总结••••••••什么是网络爬虫网络爬虫(WebSpider)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。它可以通过程序设计来获取指定网页中的指定信息，如百度贴吧的帖子信息，新闻网站的新闻文章等等。获取到的数据多用于大数据分析场景，因此编写网络爬虫是从事大数据分析行业的必备技能之一。•网页结构在编写网络爬虫之前，首先要对网页结构有一定的了解。大多数网页使用HTML(超文本标记语言)进行编写，通过获取网页源代码，我们就可以看到这个页面的HTML信息。下面以Chrome浏览器为例，介绍查看网页源代码的方法：如图所示，打开一个网页，右键单击空白处，在右键菜单中有一个查看源代码选项，通过点击查看源代码，我们就可以看到这个页面的HTML代码。•网页结构浏览器会在新打开的标签页中显示该网页的源代码，此时我们就会发现，比如我们想要获取这个页面所有帖子的题目，都可以在网页源代码中找到。而网络爬虫的主要工作原理，就是在网页源代码中把我们想要的内容抽取出来。HTML语言中是通过不同的标签来编写网页的，不同的标签对应着网页中不同的元素，有些标签之间可以嵌套，有些标签通过class属性来指定自己的类别，有些标签通过id属性来唯一标示自己，常用的有：<div>标签，用来标定一块区域；<p>标签，

温馨提示：当前文档最多只能预览 8 页，若文档总页数超出了 8 页，请下载原文档以浏览全部内容。

下载文档到电脑，方便使用

下载文档

当前文档最多只能预览 8 页
还有 5 页可预览，继续阅读

本文档由匿名用户于 2019-07-02 02:09:26上传分享

下载原文档(3.42 MB)

你可能在找

天津python培训班：让全能python做你的小棉袄

天津python培训班：让全能python做你的小棉袄最近直降的气温让人丧失爬出被窝的勇气，好想拥有一个温暖的怀抱……朋友醒醒！这样的取暖不存在的，拥有python倒是很有可能。记住！全能的python就是这样一件小棉袄，它新手友好、功能强大、高效灵活，带你走向数据分析、人工智能、网站开发……python说：靠近我，给你温暖。懂AI的python，如此温油在国内，python是人工智能的第YI语言在GitHub年度报告中，Python超越Java成为一位受欢迎语言。

4.7 分 3 页 | 318.13 KB | 2021-03-23 14:27
2018年Python主流框架

www.oldboyedu.com老男孩IT教育，只培养技术精英2018年Python主流框架Python是一门优雅的编程语言，被广泛应用在Web开发、游戏开发、人工智能、云计算开发、大数据开发、数据分析、科学运算、爬虫、自动化运维、自动化测试等领域，Python在各领域的应用最方便的就是使用框架，可以让程序员以更少的代码实现自定义功能，还可以将更多的精力集中在业务逻辑上，更加的轻松便利！ 2018年主流的Python框架有以下5种：1.DjangoDjango是一个开源的Web应用框架，由Python写成，支持许多数据库引擎可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python

4.9 分 2 页 | 161.03 KB | 2022-04-11 23:09
2020年统编版四年级语文上册期末总复习

统编版四年级语文上册期末总复习一、课本知识点1.《观潮》一文是按照潮来前、潮来时、潮去后的时间顺序来描写钱塘江大潮的。2.《花牛歌》的作者是徐志摩，《秋晚的江上》的作者是诗人刘大白。 3.著名作家巴金写的《繁星》，按照时间顺序，介绍了自己三次在不同时间，不同地点，观看繁星的感受。4.《一个豆荚里的五粒豆》作者是丹麦的安徒生。5. 课文引用这句古诗，表现了现代科学技术成就在变化之快、变化之大。7.

3.0 分 11 页 | 162.00 KB | 2020-01-10 20:16
8-年后重登王座-Python-再度成为-TIOBE-年度编程语言

www.newer2001.com8年后重登王座，Python再度成为TIOBE年度编程语言全球知名的编程语言流行度排行榜网站TIOBE于昨日宣布：Python成为2018年度编程语言，理由如下：2018 年，Python语言上升了3.62％，其次是VisualBasic.NET（+3.20%）和Java（+2.69%）。 Python已成为当今大学中最常被教授的首选语言，在统计、AI编程、脚本编写、系统测试等领域均排名第一。此外，Python还在Web编程和科学计算领域处于领先地位。

4.7 分 6 页 | 274.00 KB | 2022-04-12 23:12
Python基础语法合集

一、萌新语法输入和输出print()#打印括号的内容#第一种：不带引号，让计算机读懂括号里的内容，打印最终的结果>>>print(1+1)2#第二种：带单引号，计算机无须理解，原样复述引号中的内容>>> print('秋水共长天一色')秋水共长天一色#第三种：带双引号，作用和单引号一样；当打印内容中有单引号时，可以使用双引号>>>print("Let'sgo")Let'sgo>>>print('Let\ 'sgo')Let'sgo#也可以使用转义字符+单引号(\')来实现单引号#第四种：带三引号，实现换行>>>print('''python小课最好的python课程''')pyton小课最好的python

3.0 分 24 页 | 82.08 KB | 2020-02-06 21:43
《我要的是葫芦》课文

《我要的是葫芦》课文导读：从前，有个人种了一棵葫芦。细长的葫芦藤上长满了绿叶，开出了几朵雪白的小花。花谢以后，藤上挂了几个小葫芦。多么可爱的小葫芦哇！那个人每天都要去看几次。有一天，他看见叶子上爬着一些蚜虫，心里想，有几个虫子怕什么！他盯着小葫芦自言自语地说：“我的小葫芦，快长啊，快长啊！长得赛过大南瓜才好呢！” 一个邻居看见了，对他说：“你别光盯着葫芦了，叶子上生了蚜虫，快治一治吧！”那个人感到很奇怪，他说：“什么？叶子上的虫还用治？我要的是葫芦。”没过几天，叶子上的蚜虫更多了。

5.0 分 5 页 | 21.52 KB | 2020-11-11 11:15
智慧树知到2020《Python语言应用》期末考试答案

1.Random.randint（7，12）产生的数据可以是2.已知变量tIndex="python",则tIndex[4]=().3.random.uniform（a，b）的作用是4.给定字典d，以下选项中对 m=[[1,2],[3,4]]，有列表a=[[row[i]forrowinm]foriinrange(2)]，则a[0][0]是6.range(0,10,3)产生序列的索引编号为2的数是多少7.基本的Python 8.4&5的运行结果是9.python里自带的绘画库是10.程序流程图中表示判断的图形是（）11.下面代码的输出结果是x=10y=3print(divmod(x,y))12.下列库中（）是默认包含在python3.6

5.0 分 22 页 | 1.23 MB | 2020-06-20 13:59
python嵌入c++总结

Python嵌入C++接口总结零、目录一、二、三、四、环境配置程序架构Python和C++里的数据结构切换遇到的一些问题一、环境配置1、首先在properties里面的include.path添加python /include2、其次在properties里的library.path添加python/libs3、个将python里的python2.6.lib修修修修python26_d.lib，因为原来库文件里面的那 lib不是debug版的，需要只需要修改名字就行了；或者修改头文件里面的配置python2.6.lib在python安装目录里的python/libs里面4、然后在properties里面的linker

4.8 分 5 页 | 88.43 KB | 2022-08-31 23:14
可爱的毛毛虫.

可爱的毛毛虫时间：2018-08-0209:24:17|作者：展浩翔今天，我们一家三口去公园玩，看到了路边的花和嫩绿的草，我的心里别提有多高兴了。突然，我在一棵杨树的树枝上看见一只毛毛虫，它全身绿色，有很多脚。我就不由自主地离近点看，正看着的时候，爸爸过来了，看了看我，说：“你想养这个毛毛虫吧？”说罢，就把毛毛虫从叶子上拿下来给了我。我小心翼翼地把它捧回家后，妈妈对我说：“毛毛虫过一段时间后，会变成蝴蝶。”我一听，兴奋极了。我知道蝴蝶是由毛毛虫变的，但我想亲眼见证毛毛虫变成蝴蝶的过程。之后，我找了一个透明的杯子，把毛毛虫放了进去。

4.8 分 1 页 | 15.06 KB | 2021-02-08 22:23
《虫鸟歌》教学设计-(西师版二年级下册)

八毛八文库(www.8doc8.com)--两亿文档等你下载,什么都有,不信你来搜《虫鸟歌》教学设计(西师版二年级下册)教学内容：西师大版小学语文二年级下册教材《虫鸟歌》。教学准备：ppt课件教学课时：第一课时教学过程：一、激发兴趣，导入新课。1．孩子们，告诉大家一个好消息，一群可爱的小动物要来咱们班做客，你们高兴么吗？想认识它们吗？ (多媒体课件：依次出示8种小动物的图片，让学生依次叫出它们的名字。)八毛八文库(www.8doc8.com)--两亿文档等你下载,什么都有,不信你来搜2.孩子们，你们真棒，能叫出它们的名字。

3.0 分 4 页 | 18.58 KB | 2019-02-21 00:57