Python爬虫入门教程学习

开始学习Python爬虫,B站视频:BV1ZT4y1d7JM

2022/4/4日开始学习计划在本周末学习完(不学了,一是学习到熟练应用需要经历一段就比较长的时间,二是我现在有完善成熟的爬虫软件使用)

第一章 爬虫

1.1前期准备

1.2第一个爬虫程序

# 爬虫:就是通过编写程序获取网上的资源

#爬虫:程序模拟浏览器,输入一个网址,来获取该网址中的资源或者内容
from urllib.request import urlopen
url="http://网址"
resp=urlopen(url)

with open("mybaidu.html",mode="w",encoding="utf-8") as f:
    f.write(resp.read().decode("utf-8"))
    print("over!")

爬下的数据乱码问题:Python的语句open:ios默认utf-8,Windows默认是gbk

解决方法加一个encoding="utf-8"

1.3 requests入门

requests安装:本地终端安装输入   pip install requests

import requests#引用requests
url = "网址"#地址栏的请求一定是get
headers={
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1 Edg/100.0.4896.60"
}
resp = requests.get(url,headers=headers)
print(resp)
print(resp.text)

 

第二章 数据解析与提取

2.1、数据解析概述

三种解析方式:

1、Re解析
2、bs4解析
3、xpath解析

三种解析方式可以混合使用,完全以结果为导向

版权声明:
微信公众号:上岸联萌(免费发布公职类相关考试资料/公告,行测公基每日刷题,打卡~)
标题:《Python爬虫入门教程学习》
链接:https://www.shangan100.com/onepiece/381.html
本站部分内容转载自网络公开资料,文章版权归作者所有,未经允许请勿转载,如有侵权联系删除。
THE END
分享
二维码
打赏
海报
Python爬虫入门教程学习
开始学习Python爬虫,B站视频:BV1ZT4y1d7JM 2022/4/4日开始学习计划在本周末学习完(不学了,一是学习到熟练应用需要经历一段就比较长的时间,二是我现在有完……
<<上一篇
下一篇>>
文章目录
关闭
目 录