（新版）Python 分布式爬虫与 JS 逆向进阶实战

1-走近 Python 爬虫开发/

[ 16M] 1-1 爬虫能解决什么问题

[4.4M] 1-2 为什么要学习 python 爬虫开发

[7.8M] 1-3 课程内容介绍、学习目标

[5.4M] 1-4 [必看]行有行规，爬虫有虫规

2-爬虫开发，你准备好了吗？/

[ 22M] 2-1 环境准备：搭建爬虫开发环境

[ 21M] 2-2 方法准备：好的学习方法，让编程事半功倍

[ 19M] 2-3 心态准备：克除浮躁，港大学霸带你一路坚持下去

3-如何及时抓取最新的网页数据？/

[ 36M] 3-1 爬虫请求的基础：HTTP 基础知识

[ 26M] 3-2 Requests 模块请求网页数据

[ 22M] 3-3 携带 Headers 请求头，模拟真人请求

[ 24M] 3-4 设置 Proxy 代理 IP，突破 IP 封锁

4-如何提取网页数据？/

[ 16M] 4-1 如何提取网页关键数据？

[ 25M] 4-2 第一种方法：正则表达式解析数据

[ 41M] 4-3 [补充]正则表达式语法基础（一）

[ 35M] 4-4 [补充]正则表达式语法基础（二）

[ 72M] 4-5 [实战] 电影天堂：爬取电影详情页

[ 39M] 4-6 [实战] 电影天堂：全站分页数据爬取

[ 35M] 4-7 第二种方法：XPath 解析数据

[ 57M] 4-8 [补充]XPath 语法基础

[ 43M] 4-9 [实战]纵横中文网：爬取小说详情页

[ 38M] 4-10 [实战]纵横中文网：排行榜全部小说爬取

5-如何存储抓取到的数据？/

[7.7M] 5-1 如何持久化存储数据？主流的数据存储方式？

[9.0M] 5-2 MongoDB 数据库概述

[ 38M] 5-3 MongoDB 安装配置（MacOS）

[ 21M] 5-4 MongoDB 安装配置（Windows）

[ 26M] 5-5 Python 连接 MongoDB 数据库

[ 40M] 5-6 [实战]豆瓣网：爬取电影排行榜数据

[ 16M] 5-7 [实战]豆瓣网：获取下滑加载的翻页数据

[ 16M] 5-8 [实战]豆瓣网：将数据存入 MongoDB 数据库

6-Scrapy 框架快速爬取海量数据/

[3.4M] 6-1 如何高效爬取海量数据？

[ 28M] 6-2 第一个 Scrapy 爬虫项目

[5.8M] 6-3 Scrapy 框架架构梳理

[ 30M] 6-4 Scrapy + XPath 解析数据

[ 16M] 6-5 通过 Pipelines 管道实现数据保存

[ 12M] 6-6 Scrapy + MongoDB 数据持久化存储

[ 13M] 6-7 Middleware 中间件，处理引擎与下载器之间的请求及响应

[ 14M] 6-8 Scrapy 伪装爬虫手段一：设置动态 User-Agent

[ 14M] 6-9 Scrapy 伪装爬虫手段二：设置代理 IP

[ 55M] 6-10 [实战]豆瓣图书：Scrapy + 伪装爬虫爬取新书速递

[ 46M] 6-11 [实战]豆瓣图书：新书速递数据解析、存储

[ 33M] 6-12 CrawlSpider 爬虫，为全站爬取而生的 Scrapy 爬虫子类

[ 44M] 6-13 [实战]聚美优品：CrawlSpider 爬取并储存商品信息

7-Scrapy-Redis 分布式爬虫，让爬取效率更高/

[2.3M] 7-1 如何让爬取效率更高？

[8.0M] 7-2 什么是 Scrapy-Redis 分布式爬虫？

[7.3M] 7-3 Redis 数据库概述

[ 18M] 7-4 Redis 数据库安装配置（MacOS）

[ 20M] 7-5 Redis 数据库安装配置（Windows）

[ 27M] 7-6 Python 操作 Redis 数据库

[ 57M] 7-7 从零实现一个简单的分布式爬虫

[ 14M] 7-8 Redis 数据保存至 MongoDB 数据库

[ 63M] 7-9 [实战]京东商城：分布式爬虫（一）

[ 23M] 7-10 [实战]京东商城：分布式爬虫（二）

8-Scrapy + Selenium 框架模拟登录/

[ 14M] 8-1 通过 Cookie 和 Session 实现用户登陆的原理

[ 18M] 8-2 模拟登录方法一：Requests 模块 + Cookie 实现登录

[ 25M] 8-3 Cookie + Session 实现登录并获取数据

[ 11M] 8-4 模拟登录方法二：Selenium 实现自动化登录

[ 17M] 8-5 [补充]Selenium 基础：安装配置

[ 24M] 8-6 [补充]Selenium 基础：元素定位方法

[ 18M] 8-7 [补充]Selenium 基础：元素交互

[ 21M] 8-8 Scrapy + Selenium 实现登录

[ 32M] 8-9 Scrapy + Selenium 登录后抓取数据

9-OpenCV 图像识别技术搞定验证码识别之前置基础/

[7.4M] 9-1 什么是 OpenCV 图像识别技术？

[ 12M] 9-2 OpenCV 图像基础操作

[ 15M] 9-3 修改图像像素与色彩

[7.1M] 9-4 修改图像 region of interest 指定区域

[ 25M] 9-5 图像数值运算、二值化处理

[8.0M] 9-6 图像平滑处理

[ 18M] 9-7 形态学图像处理

[ 11M] 9-8 滑块验证码的基础：模版匹配

10-OpenCV 图片验证码识别与滑块验证码识别/

[ 24M] 10-1 百度 OCR 文字识别云服务

[ 14M] 10-2 [实战]维普网：获取图片验证码

[ 25M] 10-3 [实战]维普网：OpenCV + OCR 识别验证码

[ 23M] 10-4 [实战]维普网：Selenium 登录并获取数据

[ 16M] 10-5 [实战]维普网：处理识别出错的问题

[6.8M] 10-6 滑块验证码识别逻辑梳理

[ 44M] 10-7 [实战]猎聘网：获取滑块验证码

[ 22M] 10-8 [实战]猎聘网：OpenCV 计算滑动距离

[ 39M] 10-9 [实战]猎聘网：Selenium 模拟滑动轨迹

[ 17M] 10-10 [实战]猎聘网：处理识别出错的问题

11-EasyDL 机器学习识别验证码与云码平台一站式识别/

[ 10M] 11-1 EasyDL 机器学习基础

[ 32M] 11-2 [实战]京东商城：批量获取验证码图片

[ 13M] 11-3 [实战]京东商城：信息标注 & 训练模型

[ 23M] 11-4 [实战]京东商城：调用 EasyDL API 接口识别验证码

[7.8M] 11-5 云码平台使用基础

[ 32M] 11-6 [实战]豆瓣网：获取验证码图片

[ 18M] 11-7 [实战]豆瓣网：云码平台滑块验证码识别

12-爬虫与反爬的对抗之文字加密/

[ 34M] 12-1 常见的反爬手段介绍

[ 14M] 12-2 常见文字加解密方式有哪些？

[7.1M] 12-3 [补充]文字加解密基础：二进制与十六进制

[ 11M] 12-4 [补充]文字加解密基础：ASCII & UTF-8 & Unicode 编码

[7.8M] 12-5 [补充]文字加解密基础：Python 实现 Encode & Decode 编码转换

[ 14M] 12-6 破解 Unicode 与 HTML 字符实体加密

[ 33M] 12-7 破解 CSS 偏移文字加密

[ 36M] 12-8 [实战]ZiRoom：破解 CSS 偏移文字加密

[ 48M] 12-9 [实战]ZiRoom：获取租房信息数据

13-爬虫与反爬的对抗之 JS 逆向/

[ 34M] 13-1 常见五种 JS 加密手段揭秘

[8.3M] 13-2 Python Js2Py 库运行 JS 代码

[ 27M] 13-3 JS 逆向一：Js2py 破解基础 JS 加密

[ 12M] 13-4 JS 逆向二：Python 重构 JS 加密流程

[ 40M] 13-5 [实战]巨潮资讯：Js2py 破解 JS 加密获取股票信息

[ 14M] 13-6 [补充]Base64 编码原理

[ 27M] 13-7 JS 逆向三：重构 JS Base64 编码问题，破解 JS Base64 加密

[ 22M] 13-8 [实战]巨潮资讯：破解 JS Base64 加密获取巨潮资讯数据

[ 12M] 13-9 [补充]Hash 哈希算法原理

[ 19M] 13-10 JS 逆向四：破解 Md5 和 SHA 哈希加密

[ 48M] 13-11 [实战]千千音乐：JS 逆向破解音乐mp3参数哈希加密

14-爬虫与反爬的对抗之 JS 逆向进阶/

@

[ 22M] 14-1 [补充]AES 对称加密算法原理

[ 19M] 14-2 JS 逆向进阶一：破解 AES 加密

[ 65M] 14-3 [实战]发现报告网：破解 AES 加密，逆向解析发现报告登录参数

[ 20M] 14-4 [补充]RSA 非对称加密算法原理

[ 22M] 14-5 JS 逆向进阶二：破解 RSA 加密

[ 35M] 14-6 [实战]36氪：破解 RSA 加密，逆向解析36氪登录参数

[ 15M] 14-7 JS 逆向进阶 三：解决多个请求使用相同加密算法的情况

[ 60M] 14-8 [实战]新榜：破解多请求相同算法，获取自媒体数据

[ 17M] 14-9 JS 逆向进阶四：破解参数混合加密

[ 86M] 14-10 [实战]网易云音乐：破解混合加密， 下载 mp3 歌曲

[ 15M] 14-11 JS 逆向进阶五：解决密钥需要额外获取的情况

[ 18M] 14-12 JS 逆向进阶六：基础 JS 混淆加密破解

[ 75M] 14-13 [实战]喜马拉雅：破解 JS 混淆加密，下载有声书 mp3

15-[综合实战]Scrapy-Redis+验证码识别+Selenium爬取海量数据/

[ 15M] 15-1 项目介绍 & 目标站点分析

[ 52M] 15-2 获取视频播放、点赞、收藏数据（上）

[ 47M] 15-3 获取视频播放、点赞、收藏数据（下）

[ 16M] 15-4 项目修改为 Scrapy-Redis 分布式爬虫

[ 12M] 15-5 MongoDB 数据库储存数据

[ 62M] 15-6 通过云码平台识别点选验证码

[ 26M] 15-7 Selenium 点击验证码实现登录

[ 49M] 15-8 JS 逆向实现视频自动点赞

[ 75M] 15-9 分析音视频下载接口

[ 11M] 15-10 Scrapy-Redis 分布式批量视频下载

16-[拓展]视频网站数据分析/

[认准一手完整 www.ukoou.com]

[4.0M] 16-1 爬取数据之后如何处理数据？

[ 20M] 16-2 存储 MongoDB 中播放、点赞、收藏等数据至表格中

[ 10M] 16-3 数据分析进阶学习路线

17-[加餐]爬虫高频面试题/

[ 13M] 17-1 谈谈爬虫开发的基本流程

[4.0M] 17-2 为什么 requests 请求需要带上 header？

[3.5M] 17-3 robots.txt 协议文件有什么作用？

[9.5M] 17-4 简述 Scrapy 框架的基本结构

[ 13M] 17-5 常见的反爬措施及应对方法

[7.1M] 17-6 URL 链接的结构