2.4.3. 获取p节点内容

上一步我们已经获取到了我们的主要内容，然后总结可以看出我们想要的文本内容在P节点中，那么现在就来获取它。

部分代码：

soup=BeautifulSoup(htmlText,"html.parser")"获取div节点的内容"div_node=soup.find('div',class_='content')"获取P节点内容"p_node=div_node.find_all('p')forcontentinp_node:print(content.get_text())

结果：

/usr/bin/python3.7/home/baldwin/PycharmProjects/IAmADog/spider/Spider.py1、将你放进我心里最重要的位置，用心来刻你的名字。2、爱是踏破红尘望穿秋水；爱是一生一世冥冥轮回；爱你，我不问理由。3、拽你入怀，予你一世相伴，拥你入怀，护你一世平安。4、何止是野心，我预谋了一辈子的念想，从遇见你开始，不见黄土不死心。5、我后来想了想，我不耽误你，还会有别人耽误你，那我不甘心，还是我来耽误你吧。......69、有时，爱也是种伤害，残忍的人句子大全http://Www.1juzI.coM/，选择伤害别人，善良的人，选择伤害自己。......Processfinishedwithexitcode0

4、处理数据

注意一下第69剧，这里面有网站的链接，把这个一起发给女神不就露馅了么，现在得想办法给她删掉。同时情话前面的编号也得删掉。

删除特定标签

我们会查看一下数据就会发现，所有的链接都是在U标签里的，那我们可以直接在获取到div标签内容后就把u标签删掉

"删除特定标签u"[s.extract()forsindiv_node('u')]

删除序号

我们发现，序号与情话之间是用顿号分割的，那么我们可以将每个P标签下的内容用split分割并且取出第二个元素就好了。

部分代码：

"获取P节点内容"p_node=div_node.find_all('p')forcontentinp_node:"以’、‘分割，并且取出第2个元素"text=content.get_text().split("、",1)[1]print(text)

结果：

/usr/bin/python3.7/home/baldwin/PycharmProjects/IAmADog/spider/Spider.py将你放进我心里最重要的位置，用心来刻你的名字。爱是踏破红尘望穿秋水；爱是一生一世冥冥轮回；爱你，我不问理由。拽你入怀，予你一世相伴，拥你入怀，护你一世平安。何止是野心，我预谋了一辈子的念想，从遇见你开始，不见黄土不死心。我后来想了想，我不耽误你，还会有别人耽误你，那我不甘心，还是我来耽误你吧。......Processfinishedwithexitcode0

nice啊，到这一步你已经把我们需要的情话都提取出来了！！！

封装数据备用

这样一句一句的也不好处理啊！不如把它放到list里，等下定时任务的时候可以用的时候取出来就好。

部分代码：

sentenceList=list()......"获取P节点内容"p_node=div_node.find_all('p')forcontentinp_node:"以’、‘分割，并且取出第2个元素"text=content.get_text().split("、",1)[1]"追加到list尾部"sentenceList.append(text)

print(sentenceList)：

/usr/bin/python3.7/home/baldwin/PycharmProjects/IAmADog/spider/Spider.py['将你放进我心里最重要的位置，用心来刻你的名字。','爱是踏破红尘望穿秋水；爱是一生一世冥冥轮回；爱你，我不问理由。','拽你入怀，予你一世相伴，拥你入怀，护你一世平安。','何止是野心，我预谋了一辈子的念想，从遇见你开始，不见黄土不死心。',......]Processfinishedwithexitcode0

5、封装（爬虫代码最终）

爬虫是做好了，但是总觉得乖乖的，我等下还得在其他地方用，不如这里以面向对象的思想把爬虫封装一下。

importurllib.requestfrombs4importBeautifulSoupimportchardetdef__getHtml(url):"""私有方法：获取网页html文本资源:paramurl:网页链接:return:网页文本资源"""html=urllib.request.urlopen(url).read()charset=chardet.detect(html).get("encoding")htmlText=html.decode(charset,errors='ignore')returnhtmlTextdef__sloveHtml(htmlText):"""私有方法：解析HtmlText:paramhtmlText:传入的资源"""sentenceList=list()soup=BeautifulSoup(htmlText,"html.parser")"获取content节点的内容"div_node=soup.find('div',class_='content')"删除特定标签u"[s.extract()forsindiv_node('u')]"获取P节点内容"p_node=div_node.find_all('p')forcontentinp_node:"以’、‘分割，并且取出第2个元素"text=content.get_text().split("、",1)[1]"追加到list尾部"sentenceList.append(text)returnsentenceListdefgetSentenceList(url):"""Spider提供的公用方法，提供情话list:paramurl:获取情话的地址:return:情话list"""return__sloveHtml(__getHtml(url))

爬虫总结

这一部分主要用到的类库有：BeautifulSoup，urllib，chardet。

主要思想：封装

手机短信发送发送

本来想用微信或者QQ发送来着，但是时隔两年，qqbot、itchat、wxpy等第三方库都失效了，没办法就来用手机短信发送好了。

1. Twilio

Twilio是一个做成开放插件的电话跟踪服务（call-tracking service）

Twilio公司致力于帮助开发者在其应用里融入电话、短信等功能，该公司周二又推出了一项称为Twilio Client的新服务，可帮助开发者整合灵活而低成本的网络电话（VoIP）功能。

VoIP即Skype和谷歌电话等服务使用的技术，要提供VoIP服务通常需要准备相应的基础设备，而Twilio Client免除了开发者的这一麻烦，可让他们便捷地在应用里加入网络电话元素。

安装

安装过程比较简单，直接pip就好：

sudopip3installtwilio

等待安装完成

SuccessfullybuilttwilioInstallingcollectedpackages:PyJWT,twilioSuccessfullyinstalledPyJWT-1.7.1twilio-6.38.1

注册并获取三个重要参数

参考文章：https://zhuanlan.zhihu.com/p/67716042

简单代码实现发送短信实验

代码：

fromtwilio.restimportClient#导包account_sid='你的account_sid'auth_token='你的auth_token'client=Client(account_sid,auth_token)message=client.messages.create(from_='+×××××××××',body='亲爱的H，以后我每天都会给你发送一条信息哦！！！',to='你要发送到的手机号（以+86开头）')print(message.sid)

控制台输出：

/usr/bin/python3.7/home/baldwin/PycharmProjects/IAmADog/qqsend/Send.pySMfe64f40f2ac24b8ca82121d57147312cProcessfinishedwithexitcode0

手机接收短信：

OK！到这里我们已经简单实现了发送短信的功能，现在要去把这个功能封装一下。

实现发送短信的功能

封装代码：

fromtwilio.restimportClient#导包defsendSMSMsg(content,tel):"""向某个手机号发送短信内容:paramcontent:短信内容:paramtel:手机号"""account_sid='你的account_sid'auth_token='你的auth_token'client=Client(account_sid,auth_token)client.messages.create(from_='+18634171608',body=content,to=tel)print('Send:',content,'totel:',tel,'syccessfully!!!')if__name__=='__main__':sendSMSMsg("Hello?","+×××××××××")

测试结果：

/usr/bin/python3.7/home/baldwin/PycharmProjects/IAmADog/qqsend/Send.pySend:Hello?totel:+8618436354553syccessfully!!!Processfinishedwithexitcode0

手机接收短信：

发送短信总结

1. 注册twilio
2. 获取三个参数：account_sid，auth_token，TRIAL NUMBER
3. 引入twilio
4. 设置你要发送到的手机号和内容

操作还算是比较简单的，这部分主要用到twilio库。

定时发送短信

这一步算是我们的主程序了，在这一部分里，我们要使用之前的代码先获取情话list，再设置定时任务，每天固定的时间点把短信发到女神手机上。

Python定时任务

Python 中的定时任务框架还挺多的，我们现在的需求是每天早上8点钟执行一个任务，在不到这个时间的时候不发送信息，为了简便理解，我打算直接循环扫描系统当前时间，如果到了我们需要的那个时间点，就发送，不到的时候就一直扫描

代码实现

importtimewhileTrue:#刷新time_now=time.strftime("%H:%M:%S",time.localtime())#此处设置每天定时的时间iftime_now=="15:29:00":#需要执行的动作print('定时任务执行一次')time.sleep(2)#因为以秒定时，所以暂停2秒，使之不会在1秒内执行多次

结果：

/usr/bin/python3.7/home/baldwin/PycharmProjects/IAmADog/DoWork.py定时任务执行一次Traceback(mostrecentcalllast):File"/home/baldwin/PycharmProjects/IAmADog/DoWork.py",line7,intime_now=time.strftime("%H:%M:%S",time.localtime())KeyboardInterruptProcessfinishedwithexitcode1

我是15：28：00的时候运行程序的，在设置时刻确实是执行了程序。

下面的异常是因为我手动退出了程序，这里不用管他。

具体实现发送情话

我们这里整理一下具体需求：

1.定时间点发送（上面已经实现了）

2.每次发送的时候从list中取出一个句子，下一次取出下一条，不能重复

3.list中的句子发送完毕之后要发短信通知我

取句子

思路：设置一个全局变量index，代表着下一条要发送的句子的下标，每次发送短信后，下标要增加1

发送完毕通知管理员

思路：每次进入任务但是发送短信之前都要比较index的值与list的长度（现在想起来，设计程序的时候用栈来储存数据会更好），如果index已经越界，直接给管理员发短信通知。

实现

fromspiderimportSpiderfromsendimportSendimporttimeTIME_TO_DO='08:30:00'#发送时间点MSG_SUFFIX='\n来自你的小可爱——Baldwin'#短信后缀SOURCE_URL='http://www.1juzi.com/new/150542.html'#情话资源地址SEND_TO_TEL='+8618436354553'#女神的手机号SEND_TO_ME='舔狗，给女神发的短信已经用光了，快来更新！！！'MY_TEL='+8618436354553'#舔狗手机号index=0#下一条短信的下标sentenceList=Spider.getSentenceList(SOURCE_URL)#情话列表whileTrue:#刷新time_now=time.strftime("%H:%M:%S",time.localtime())#此处设置每天定时的时间iftime_now==TIME_TO_DO:#需要执行的动作#判断当前list有没有用光ifindex>=len(sentenceList):#用光了就短信通知我Send.sendSMSMsg(SEND_TO_ME,MY_TEL)#跳出break#给女神发短信content=sentenceList[index]+MSG_SUFFIXSend.sendSMSMsg(content,SEND_TO_TEL)#下标加一index+=1#因为以秒定时，所以暂停2秒，使之不会在1秒内执行多次time.sleep(2)

debug模式下的各项测试：

短信发送测试

在idea debug模式下可以对time_now参数进行设置，把它设置成我们在前面要发送短信的那个时间点，成功进行了短信发送：

管理员通知测试

同样的在debug模式下，设置index的值为len(sentenceList)，程序进入通知管理员模块中，这里不再演示。

封装

fromspiderimportSpiderfromsendimportSendimporttimeTIME_TO_DO='08:30:00'#发送时间点MSG_SUFFIX='\n来自你的小可爱——Baldwin'#短信后缀SOURCE_URL='http://www.1juzi.com/new/150542.html'#情话资源地址SEND_TO_TEL='+8618436354553'#女神的手机号SEND_TO_ME='舔狗，给女神发的短信已经用光了，快来更新！！！'MY_TEL='+8618436354553'#舔狗手机号defdoSend():index=0#下一条短信的下标sentenceList=Spider.getSentenceList(SOURCE_URL)#情话列表whileTrue:#刷新time_now=time.strftime("%H:%M:%S",time.localtime())#此处设置每天定时的时间iftime_now==TIME_TO_DO:#需要执行的动作#判断当前list有没有用光ifindex>=len(sentenceList):#用光了就短信通知我Send.sendSMSMsg(SEND_TO_ME,MY_TEL)#跳出break#给女神发短信content=sentenceList[index]+MSG_SUFFIXSend.sendSMSMsg(content,SEND_TO_TEL)#下标加一index+=1#因为以秒定时，所以暂停2秒，使之不会在1秒内执行多次time.sleep(2)#主程序入口if__name__=='__main__':doSend()

小总结

这部分主要用到的模块：time，然后记得要把前两个我们自己做的模块导入进来。

总结

这个程序相对来说还算是比较容易的，只要跟着文章一步步来基本上不互出问题。

最后只要运行我们最后一个模块中主程序入口就好了，你也可以按照自己需求修改配置达到不同的效果。

我现在就去告诉女神去。

嘿嘿！女神秒回的，开心！

更多的python学习教程也会继续为大家更新！

本文关键词：佰草集的护肤品适合什么年龄，佰草集适合什么年龄，佰草集每个系列适合哪个年龄阶段，佰草集的护肤品怎么样适合哪个年龄段，佰草集适合哪个年龄段用。这就是关于《佰草集适合什么年龄，佰草集适合哪个年龄段（每天定时给女神发一句情话）》的所有内容，希望对您能有所帮助！

本文链接：https://bk.89qw.com/a-662568