2.4.3. 获取p节点内容

上一步我们已经获取到了我们的主要内容，然后总结可以看出我们想要的文本内容在P节点中，那么现在就来获取它。

部分代码：

soup = BeautifulSoup(htmlText,"html.parser")"获取div节点的内容"div_node = soup.find('div', class_='content')"获取P节点内容"p_node = div_node.find_all('p')for content in p_node:print(content.get_text())

结果：

/usr/bin/python3.7 /home/baldwin/PycharmProjects/IAmADog/spider/Spider.py1、将你放进我心里最重要的位置，用心来刻你的名字。2、爱是踏破红尘望穿秋水；爱是一生一世冥冥轮回；爱你，我不问理由。3、拽你入怀，予你一世相伴，拥你入怀，护你一世平安。4、何止是野心，我预谋了一辈子的念想，从遇见你开始，不见黄土不死心。5、我后来想了想，我不耽误你，还会有别人耽误你，那我不甘心，还是我来耽误你吧。......69、有时，爱也是种伤害，残忍的人句子大全http://Www.1juzI.coM/，选择伤害别人，善良的人，选择伤害自己。......Process finished with exit code 0

4、处理数据

注意一下第69剧，这里面有网站的链接，把这个一起发给女神不就露馅了么，现在得想办法给她删掉。同时情话前面的编号也得删掉。

删除特定标签

我们会查看一下数据就会发现，所有的链接都是在U标签里的，那我们可以直接在获取到div标签内容后就把u标签删掉

"删除特定标签u"[s.extract() for s in div_node('u')]

删除序号

我们发现，序号与情话之间是用顿号分割的，那么我们可以将每个P标签下的内容用split分割并且取出第二个元素就好了。

部分代码：

"获取P节点内容"p_node = div_node.find_all('p')for content in p_node:    "以’、‘分割，并且取出第2个元素"    text = content.get_text().split("、",1)[1]    print(text)

结果：

/usr/bin/python3.7 /home/baldwin/PycharmProjects/IAmADog/spider/Spider.py将你放进我心里最重要的位置，用心来刻你的名字。爱是踏破红尘望穿秋水；爱是一生一世冥冥轮回；爱你，我不问理由。拽你入怀，予你一世相伴，拥你入怀，护你一世平安。何止是野心，我预谋了一辈子的念想，从遇见你开始，不见黄土不死心。我后来想了想，我不耽误你，还会有别人耽误你，那我不甘心，还是我来耽误你吧。......Process finished with exit code 0

nice啊，到这一步你已经把我们需要的情话都提取出来了！！！

封装数据备用

这样一句一句的也不好处理啊！不如把它放到list里，等下定时任务的时候可以用的时候取出来就好。

部分代码：

sentenceList = list()......"获取P节点内容"p_node = div_node.find_all('p')for content in p_node:    "以’、‘分割，并且取出第2个元素"    text = content.get_text().split("、", 1)[1]    "追加到list尾部"    sentenceList.append(text)

print(sentenceList)：

/usr/bin/python3.7 /home/baldwin/PycharmProjects/IAmADog/spider/Spider.py['将你放进我心里最重要的位置，用心来刻你的名字。', '爱是踏破红尘望穿秋水；爱是一生一世冥冥轮回；爱你，我不问理由。', '拽你入怀，予你一世相伴，拥你入怀，护你一世平安。', '何止是野心，我预谋了一辈子的念想，从遇见你开始，不见黄土不死心。',  ......]Process finished with exit code 0

5、封装（爬虫代码最终）

爬虫是做好了，但是总觉得乖乖的，我等下还得在其他地方用，不如这里以面向对象的思想把爬虫封装一下。

import urllib.requestfrom bs4 import BeautifulSoupimport chardetdef __getHtml(url):    """    私有方法：获取网页html文本资源    :param url: 网页链接    :return: 网页文本资源    """    html = urllib.request.urlopen(url).read()    charset = chardet.detect(html).get("encoding")    htmlText = html.decode(charset, errors='ignore')    return htmlTextdef __sloveHtml(htmlText):    """    私有方法：解析HtmlText    :param htmlText: 传入的资源    """    sentenceList = list()    soup = BeautifulSoup(htmlText, "html.parser")    "获取content节点的内容"    div_node = soup.find('div', class_='content')    "删除特定标签u"    [s.extract() for s in div_node('u')]    "获取P节点内容"    p_node = div_node.find_all('p')    for content in p_node:        "以’、‘分割，并且取出第2个元素"        text = content.get_text().split("、", 1)[1]        "追加到list尾部"        sentenceList.append(text)    return sentenceListdef getSentenceList(url):    """    Spider提供的公用方法，提供情话list    :param url: 获取情话的地址    :return: 情话list    """    return __sloveHtml(__getHtml(url))

爬虫总结

这一部分主要用到的类库有：BeautifulSoup，urllib，chardet。

主要思想：封装

手机短信发送发送

本来想用微信或者QQ发送来着，但是时隔两年，qqbot、itchat、wxpy等第三方库都失效了，没办法就来用手机短信发送好了。

1. Twilio

Twilio是一个做成开放插件的电话跟踪服务（call-tracking service）

Twilio公司致力于帮助开发者在其应用里融入电话、短信等功能，该公司周二又推出了一项称为Twilio Client的新服务，可帮助开发者整合灵活而低成本的网络电话（VoIP）功能。

VoIP即Skype和谷歌电话等服务使用的技术，要提供VoIP服务通常需要准备相应的基础设备，而Twilio Client免除了开发者的这一麻烦，可让他们便捷地在应用里加入网络电话元素。

安装

安装过程比较简单，直接pip就好：

sudo pip3 install twilio

等待安装完成

Successfully built twilioInstalling collected packages: PyJWT, twilioSuccessfully installed PyJWT-1.7.1 twilio-6.38.1

注册并获取三个重要参数

参考文章：https://zhuanlan.zhihu.com/p/67716042

简单代码实现发送短信实验

代码：

from twilio.rest import Client  # 导包account_sid = '你的account_sid'auth_token = '你的auth_token'client = Client(account_sid, auth_token)message = client.messages.create(    from_='+×××××××××',    body='亲爱的H，以后我每天都会给你发送一条信息哦！！！',    to='你要发送到的手机号（以+86开头）')print(message.sid)

控制台输出：

/usr/bin/python3.7 /home/baldwin/PycharmProjects/IAmADog/qqsend/Send.pySMfe64f40f2ac24b8ca82121d57147312cProcess finished with exit code 0

手机接收短信：

OK！到这里我们已经简单实现了发送短信的功能，现在要去把这个功能封装一下。

实现发送短信的功能

封装代码：

from twilio.rest import Client  # 导包def sendSMSMsg(content, tel):    """        向某个手机号发送短信内容    :param content: 短信内容    :param tel: 手机号    """    account_sid = '你的account_sid'    auth_token = '你的auth_token'    client = Client(account_sid, auth_token)    client.messages.create(        from_='+18634171608',        body=content,        to=tel    )    print('Send :', content, 'to tel:', tel, 'syccessfully!!!')if __name__ == '__main__':    sendSMSMsg("Hello?" ,"+×××××××××")

测试结果：

/usr/bin/python3.7 /home/baldwin/PycharmProjects/IAmADog/qqsend/Send.pySend : Hello? to tel: +8618436354553 syccessfully!!!Process finished with exit code 0

手机接收短信：

发送短信总结

1. 注册twilio
2. 获取三个参数：account_sid，auth_token，TRIAL NUMBER
3. 引入twilio
4. 设置你要发送到的手机号和内容

操作还算是比较简单的，这部分主要用到twilio库。

定时发送短信

这一步算是我们的主程序了，在这一部分里，我们要使用之前的代码先获取情话list，再设置定时任务，每天固定的时间点把短信发到女神手机上。

Python定时任务

Python 中的定时任务框架还挺多的，我们现在的需求是每天早上8点钟执行一个任务，在不到这个时间的时候不发送信息，为了简便理解，我打算直接循环扫描系统当前时间，如果到了我们需要的那个时间点，就发送，不到的时候就一直扫描

代码实现

import timewhile True:    # 刷新    time_now = time.strftime("%H:%M:%S", time.localtime())    # 此处设置每天定时的时间    if time_now == "15:29:00":        # 需要执行的动作        print('定时任务执行一次')        time.sleep(2)  # 因为以秒定时，所以暂停2秒，使之不会在1秒内执行多次

结果：

/usr/bin/python3.7 /home/baldwin/PycharmProjects/IAmADog/DoWork.py定时任务执行一次Traceback (most recent call last):File "/home/baldwin/PycharmProjects/IAmADog/DoWork.py", line 7, in     time_now = time.strftime("%H:%M:%S", time.localtime())KeyboardInterruptProcess finished with exit code 1

我是15：28：00的时候运行程序的，在设置时刻确实是执行了程序。

下面的异常是因为我手动退出了程序，这里不用管他。

具体实现发送情话

我们这里整理一下具体需求：

1.定时间点发送（上面已经实现了）

2.每次发送的时候从list中取出一个句子，下一次取出下一条，不能重复

3.list中的句子发送完毕之后要发短信通知我

取句子

思路：设置一个全局变量index，代表着下一条要发送的句子的下标，每次发送短信后，下标要增加1

发送完毕通知管理员

思路：每次进入任务但是发送短信之前都要比较index的值与list的长度（现在想起来，设计程序的时候用栈来储存数据会更好），如果index已经越界，直接给管理员发短信通知。

实现

from spider import Spiderfrom send import Sendimport timeTIME_TO_DO = '08:30:00'  # 发送时间点MSG_SUFFIX = '\n来自你的小可爱——Baldwin'  # 短信后缀SOURCE_URL = 'http://www.1juzi.com/new/150542.html'  # 情话资源地址SEND_TO_TEL = '+8618436354553'  # 女神的手机号SEND_TO_ME = '舔狗，给女神发的短信已经用光了，快来更新！！！'MY_TEL = '+8618436354553'  # 舔狗手机号index = 0  # 下一条短信的下标sentenceList = Spider.getSentenceList(SOURCE_URL)  # 情话列表while True:    # 刷新    time_now = time.strftime("%H:%M:%S", time.localtime())    # 此处设置每天定时的时间    if time_now == TIME_TO_DO:        # 需要执行的动作        # 判断当前list有没有用光        if index >= len(sentenceList):            # 用光了就短信通知我            Send.sendSMSMsg(SEND_TO_ME, MY_TEL)            # 跳出            break        # 给女神发短信        content = sentenceList[index] + MSG_SUFFIX        Send.sendSMSMsg(content, SEND_TO_TEL)        # 下标加一        index += 1        # 因为以秒定时，所以暂停2秒，使之不会在1秒内执行多次        time.sleep(2)

debug模式下的各项测试：

短信发送测试

在idea debug模式下可以对time_now参数进行设置，把它设置成我们在前面要发送短信的那个时间点，成功进行了短信发送：

管理员通知测试

同样的在debug模式下，设置index的值为len(sentenceList)，程序进入通知管理员模块中，这里不再演示。

封装

from spider import Spiderfrom send import Sendimport timeTIME_TO_DO = '08:30:00'  # 发送时间点MSG_SUFFIX = '\n来自你的小可爱——Baldwin'  # 短信后缀SOURCE_URL = 'http://www.1juzi.com/new/150542.html'  # 情话资源地址SEND_TO_TEL = '+8618436354553'  # 女神的手机号SEND_TO_ME = '舔狗，给女神发的短信已经用光了，快来更新！！！'MY_TEL = '+8618436354553'  # 舔狗手机号def doSend():    index = 0  # 下一条短信的下标    sentenceList = Spider.getSentenceList(SOURCE_URL)  # 情话列表    while True:        # 刷新        time_now = time.strftime("%H:%M:%S", time.localtime())        # 此处设置每天定时的时间        if time_now == TIME_TO_DO:            # 需要执行的动作            # 判断当前list有没有用光            if index >= len(sentenceList):                # 用光了就短信通知我                Send.sendSMSMsg(SEND_TO_ME, MY_TEL)                # 跳出                break            # 给女神发短信            content = sentenceList[index] + MSG_SUFFIX            Send.sendSMSMsg(content, SEND_TO_TEL)            # 下标加一            index += 1            # 因为以秒定时，所以暂停2秒，使之不会在1秒内执行多次            time.sleep(2)# 主程序入口if __name__ == '__main__':    doSend()

小总结

这部分主要用到的模块：time，然后记得要把前两个我们自己做的模块导入进来。

总结

这个程序相对来说还算是比较容易的，只要跟着文章一步步来基本上不互出问题。

最后只要运行我们最后一个模块中主程序入口就好了，你也可以按照自己需求修改配置达到不同的效果。

我现在就去告诉女神去。

嘿嘿！女神秒回的，开心！

更多的python学习教程也会继续为大家更新！

本文关键词：蚕结茧要多久出来，蚕结茧后几天破茧，蚕结茧后多长时间出来，蚕结茧后多久出来产卵，蚕结茧以后多久出来。这就是关于《蚕结茧后几天蚕蛾从茧中钻出来，蚕结茧后多久出来（每天定时给女神发一句情话）》的所有内容，希望对您能有所帮助！

本文链接：https://bk.89qw.com/a-699125