Curriculum Framework

课程大纲

Lesson 1

认识网页基本结构

课程内容:

本节课主要学习HTML网页的基础知识,为学习爬虫知识作准备,并制作第一个简单的html网页

知识点:

1. 初识网页
2. 常见标签及属性
3. 常用的字符实体

Lesson 2

CSS选择器

课程内容:

本节课主要学习css的知识,以通过css对第一节课制作的网页进行渲染,使网页更加美观。

知识点:

1. css三种书写方式
2. css选择器
3. 常用属性

Lesson 3

网页结构进阶

课程内容:

本节课主要学习html网页结构的知识,并实现一个网页的布局。

知识点:

1. 块元素、内联元素
2. 元素的定位方式

Lesson 4

第一个爬虫

课程内容:

本节课开始正式学习爬虫知识,讲解了爬虫的请求方法以及简单介绍了HTTP通信的相关知识。并实现第一个爬虫:爬取百度主页的基本信息。

知识点:

1. requests库介绍
2. URL和HTTP协议
3. HTTP请求过程

Lesson 5

处理响应

课程内容:

本节课主要学习对爬虫获取的请求结果进行处理,包括服务器对爬虫的响应状态码以及对爬虫获取到的数据进行编解码的方法。并实现爬取网页的图片和音乐。

知识点:

1. 响应组成部分
2. response状态码

3. response内容
4. 编解码

Lesson 6

爬虫模拟浏览器客户端

课程内容:

本节课主要讲解爬虫如何模拟浏览器向服务器发送请求,以及浏览器开发者工具的使用。

知识点:

1. 模拟浏览器
2. 开发者模式的使用

Lesson 7

提取数据的方法

课程内容:

本节课主要学习数据提取的方法,并实现爬取中国大学的排名信息。

知识点:

1. HTML文档结构树
2. 使用BeautifulSoup提取数据

Lesson 8

爬取学习资料

课程内容:

本节课以爬取短文学网的抒情散文为案例,讲解如何对多个页面进行url组合,实现爬虫的多页爬取,以及爬虫从列表页进入详情页爬取数据的方法。

知识点:

1. 网页的url组合
2. 爬虫从列表页进入详情页爬取数据

Lesson 9

刷选电影

课程内容:

本节课以爬取豆瓣热门电影为案例,讲解了网页中的ajax异步加载技术实现原理,如何爬取ajax类型网页,以及对json的提取方法,最后将提取的信息保存为csv文件。

知识点:

1. ajax技术的简单介绍
2. 提取json数据
3. 用csv文件进行数据存储

Lesson 10

天气查询系统(一)

课程内容:

本案例利用爬虫为天气查询系统提供实时数据支持,本节课主要学习GUI的应用以及其功能标签,制作一个天气查询客户端的界面。

知识点:

1. 介绍GUI的相关知识
2. 功能标签

Lesson 11

天气查询系统(二)

课程内容:

本节课主要利用爬虫获取中国天气的天气预报数据,为天气查询系统的后台提供实时数据支撑。

知识点:

1.图形化界面编程和爬虫的交互

Lesson 12

天气查询系统(三)

课程内容:

本节课主要对天气查询系统的性能进行完善,锻炼学生的思维创造能力,最后会用pyinstaller将代码生成可执行文件。

知识点:

1. 对天气查询系统进行性能优化。
2. 使用pyinstaller生成可执行文件

继续了解 Python Level5