魔爪文学

手机浏览器扫描二维码访问

第77章 爬虫抓取的第一份数据 教辅价格（第1页）

四月初，距离高考不足百日。空气里弥漫着焦灼和最后冲刺的味道。但古民的时间表上，除了复习，还挤出了一条窄缝，用于一项新的技能实验——网络爬虫。这是他在“数据分析入门”后，自然延伸的下一步。数据分析的前提是“有数据”，而互联网是最大的、免费的、但非结构化的数据金矿。爬虫，就是开矿的“机械臂”。他想验证，自己能否用这个新工具，解决一个实际且与他现有业务相关的问题。

他选择的目标是：抓取主流电商平台（京东、当当）上，初中数学教辅材料的价格、销量、评价等公开信息。动机明确：

1.业务相关：他正在与周老师合作开发初中数学知识产品。了解市场上同类竞品的定价、受欢迎程度、用户反馈，是产品定位和定价策略的关键输入。之前靠手动搜索和零星观察，效率低且不系统。

2.技能验证：爬虫是数据分析“获取-分析-呈现”链条的第一环。他需要实践，从“有数据”过渡到“能自己拿数据”。

3.风险可控：教辅信息是公开商品数据，抓取用于个人研究分析，风险低。且目标网站（京东、当当）结构相对规范，适合入门练习。

他制定了简单的“爬虫初战”计划：

目标：从京东和当当网站，各抓取约200条初中数学教辅书籍的核心信息（书名、价格、店铺、评价数、好评率等），存储为结构化数据（CSV），并进行初步分析。

工具：Python+requests（发送HTTP请求）+BeautifulSoup（解析HTmL）+pandas（存储和分析）。这是最经典的入门组合。

预期时间：一周的课余时间，主要用于学习爬虫基础和调试。

第一天：理论学习与环境准备。

他快速浏览了爬虫基础教程，理解了核心概念：发送HTTP请求模拟浏览器访问->接收服务器返回的HTmL页面->用解析库（如BeautifulSoup）从HTmL中提取目标数据->保存数据。难点在于：1.分析目标网页结构，找到数据所在的HTmL标签和属性。2.处理反爬机制（如请求头设置、简单验证码、访问频率控制）。3.数据清洗（提取的文本常包含多余空格、符号等）。

他用浏览器的“开发者工具”（F12）查看京东搜索“初中数学教辅”的结果页。密密麻麻的HTmL标签让他眼花缭乱，但通过“检查元素”功能点击具体的书名、价格，他逐渐锁定了数据所在的标签类别和class名称。这是一个需要耐心和细心的“侦探”工作。

第二、三天：编写第一个爬虫脚本（京东）。

他先尝试抓取单页数据。代码大致如下：

importrequests

frombs4importBeautifulSoup

importpandaspd

importtime

headers={'User-Agent':'mozilla5.0...'}#模拟浏览器请求头

url='初中数学教辅...'#搜索URL

response=url，headers=headers

soup=BeautifulSoup，''

books=

foritemi_all'div'，class_='gl-i-wrap':#根据实际class调整

try:

title='div'，class_='p-name'.eget_textstrip=True

price='div'，class_='p-price'._text

shop='div'，class_='p-shop'._textstrip=Truei'div'，class_='p-shop'else'未知'

#评价数有时在另一个标签里，需要更复杂的查找

mit='div'，class_='p-mit'._textstrip=Truei'div'，class_='p-mit'else'0'

[title，price，shop，mit]

;

exceptAttributeErrore:

printf“解析错误:{e}，跳过此项“

continue

df=pd.dataFramebooks，columns=['书名'，'价格'，'店铺'，'评价数']

df.to_csv'jd_math_books_'，index=False，encoding='utf-8-sig'

短短几十行代码，他调试了大半天。问题层出不穷：标签class名不准确、某些商品信息缺失导致find返回None进而引发AttributeError、价格符号和评价文本中夹杂着“￥”、“+”等需要清洗的字符、以及最棘手的——京东的部分商品信息是通过JavaScript动态加载的，直接请求HTmL页面获取不到。他不得不学习使用requests抓取实际的接口数据（通过开发者工具查work中的XHR请求），这比解析静态HTmL复杂得多。

第四、五天：优化、多页抓取与当当网适配。

解决动态加载问题后，他增加了循环，尝试抓取前5页数据（约100条）。他加入了1，3在每次请求之间随机休眠1-3秒，避免访问过快触发反爬。数据存储也从单页覆盖改为追加模式。

接着，他用类似的方法分析当当网的结构，编写了适配的爬虫脚本。当当的反爬似乎弱一些，但页面结构也略有不同，需要调整选择器。

第六天：数据清洗与初步分析。

他成功抓取了京东156条、当当189条有效数据。但原始数据很“脏”：价格是字符串“￥39.80”，需要提取数字；评价数可能是“2万+”，需要转换为近似数值（如20000）；店铺名有冗余信息。他用pandas进行了清洗：

#价格清洗

df['价格']=df['价格'].str.replace'￥'，''.astypefloat

#评价数清洗（简化处理，将“万+”乘以10000）

请关闭浏览器阅读模式后查看本章节，否则将出现无法翻页或章节内容丢失等现象。