Python运维-日志记录、FTP、邮件提醒-编程知识

本章目录如下：

五、日志记录

5.1、日志模块简介

5.2、logging模块的配置与使用

六、搭建FTP服务器与客户端

6.1、FTP服务器模式

6.2、搭建服务器

6.3、编写FTP客户端程序

七、邮件提醒

7.1、发送邮件

7.2、接收邮件

7.3、实例：将报警信息实时发送至邮箱

五、日志记录

通过Python的标准库logging模块定制自己多样化的记录日志需求

5.1、日志模块简介

日志模块的第一个例子：简单将日志打印到屏幕：

 import logginglogging.debug('debug message')logging.info('info message')logging.warning('warning message')logging.error('error message')logging.critical('critical message')

默认只显示大于等于WARNING级别的日志，日志级别等级：CRITICAL>ERROR>WARNING>INFO>DEBUG。默认的日志格式：日志级别为Logger，名称为用户输出消息。

各日志级别代表的含义：

DEBUG：调试时的信息打印
INFO：正常的日志信息记录
WARNING：发生了警告信息，但程序仍能正常工作
ERROR：发生了错误，部分功能已不正常
CRITICAL：发生严重错误，程序可能已崩溃

第二个例子：将日志信息记录至文件：

 import logginglogging.basicConfig(filename='./lx_log1.log')logging.debug('debug message')logging.info('info message')logging.warning('warning message')logging.error('error message')logging.critical('critical message')# 默认的写log文件的方式是追加

5.2、logging模块的配置与使用

5.2.1、logging模块

通过logging模块的配置改变log文件的写入方式、日志级别、时间戳等信息。例：

 logging.basicConfig(level=logging.DEBUG,format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',# 日志的格式datefmt="%Y-%m-%d %H:%M:S",     # 时间格式 filename='./lx_log1.log',       # 指定文件位置filemode='w')                   # 指定写入方式

可在logging.basicConfig()函数中通过具体参数来更改logging模块的默认行为：

参数	行为
filename	用指定的文件名创建FileHandler，这样日志会被存储在指定的文件中
filemode	文件打开方式，在指定了filename时用这个参数，默认为a（追加）
format	指定handler使用的日志显示格式
datefmt	指定日期时间格式
level	设置rootlogger的日志级别
stream	用指定的stream创建StreamHandler。

format参数中可能用到的格式化串：

参数	功能
%(name)s	Logger的名字
%(levelno)s	数字形式的日志级别
%(levelname)s	文本形式的日志级别
%(pathname)s	调用日志输出函数的模块的完整路径名，可能没有
%(filename)s	调用日志输出函数的模块的文件名
%(module)s	调用日志输出函数的模块名
%(funcName)s	调用日志输出函数的函数名
%(lineno)d	调用日志输出函数的语句所在代码行
%(created)f	当前时间，用UNIX标准表示时间的浮点数
%(relativeCreated)d	输出日志信息时，自Logger创建以来的毫秒数
%(asctime)s	字符串形式的当期时间
%(thread)d	线程ID，可能没有
%(threadName)s	线程名，可能没有
%(process)d	进程ID，可能没有
%(message)s	用户输出的消息

实例：

import logginglogging.basicConfig(level=logging.DEBUG,format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',# 日志的格式datefmt="%Y-%m-%d %H:%M:S",     # 时间格式filename='./lx_log1.log',       # 指定文件位置filemode='w')                   # 指定写入方式logging.debug('debug message')logging.info('info message')logging.warning('warning message')logging.error('error message')logging.critical('critical message')

5.2.2、四个器

logger：记录器，应用程序代码能直接使用的接口
handler：处理器，将（记录器产生的）日志记录发送至合适的目的地
filter：过滤器，提供了更好的粒度控制，可以决定输出哪些日志记录
formatter：格式化器，指明了最终输出中日志记录的布局

日志时间信息在记录器、处理器、过滤器、格式化器之间通过一个日志记录实例来传递。通过调用记录器实例的方法来记录日志，每一个记录器实例都有一个名字，名字相当于命名空间，是一个树状结构。

例如，一个记录器叫scan，记录器scan,tex、scan.html、scan.pdf的父节点。比较好的是：

 logger = logging.getLogger(__name__)

logger和handler的工作流程：

实例：将日志信息显示在终端的同时也在文件中记录：

 import loggingdef my_logger(log_file):# 实例化记录器，__name__:获取当前文件的名称，名称为任意，也可为空logger = logging.getLogger(__name__)print(logger.name)      # 打印logger的名称logger.setLevel(logging.INFO)   # 设置logger的日志级别为DEBUG，以便记录所有级别的日志# 创建两个处理器，一个负责将日志输出到终端，一个负责输出到文件，并分别设置它们的日志级别ch = logging.StreamHandler()    # 终端（控制台）ch.setLevel(logging.DEBUG)fh = logging.FileHandler(filename=log_file,mode="a",encoding="utf-8")   # 文件fh.setLevel(logging.WARNING)# 创建一个格式化器，可以创建不同的格式化器用于不同的handler，这里我们使用一个formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")# 设置两个handler的格式化器ch.setFormatter(formatter)fh.setFormatter(formatter)# 为logger添加两个handlerlogger.addHandler(ch)logger.addHandler(fh)# 在程序中记录日志if __name__ == '__main__':logger = my_logger("test1.log")logger.debug("这是一个debug日志")logger.info("这是一个info日志")logger.warning("这是一个warning日志")logger.error("这是一个error日志")

handler的日志级别以logger的日志级别为基础，logger的日志级别为INFO，低于INFO级别的（如DEBUG）不会出现在handler中。handler中的日志级别高于logger，则只显示更高级别的日志信息。如低于或等于logger的日志级别，则显示logger的日志级别及以上信息。

除了StreamHandler（终端处理器）和FileHandler（文件处理器）外，还有其他Handler子类（了解）：

Handler子类	说明
BaseRotatingHandler	循环日志处理器的基类，不能被直接实例化，可使用RotatingFileHandler和TimeRotatingFileHandler
RotatingFileHandler	将日志文件记录至磁盘文件，可以设置每个日志文件的最大占用空间
TimeRotatingFileHandler	将日志文件记录至磁盘文件，按固定的时间间隔来循环记录日志
SocketHandler	可以将日志信息发送到TCP/IP套接字
DatagramHandler	可以将日志信息发送到UDP套接字
SMTPHandler	可以将日志文件发送至邮箱
SysLogHandler	系统日志记录器，可以将日志文件发送至UNIX系统日志，也可以是一个远程机器
NTEventLogHandler	Windows系统事件日志处理器，可以将日志文件发送到Windows系统事件日志
MemoryHandler	实例向内存中的缓冲区发送消息，只要满足特定条件，缓冲区就会被刷新
HTTPHandler	使用GET或POST方法向HTTP服务器发送消息
WatchedFileandler	WatchedFileandler实例监视它们登录到的文件，如果文件发生更改，则使用文件名关闭并重新打开，只适用unix系统
QueueHandler	QueueHandler实例向队列发送消息，比如在队列或多处理模块中实现的消息
NullHandler	NullHandler实例不适用错误信息，库开发人员使用日志记录，但希望避免在库用户未配置日志记录时显示“日志记录器XXX无法找到任何处理程序”信息

日志的配置信息也可以源于配置文件：示例：

 import loggingimport logging.configlogging.config.fileConfig('logging.conf')# 创建一个loggerlogger = logging.getLogger('simpleExample')# 日志记录logger.debug("debug message")logger.info("info message")logger.warning('warning message')logger.error('error message')logger.critical('critical message')

下面是配置文件信息logging.conf：

 [loggers]keys=root,simpleExample[handlers]keys=consoleHandler[formatters]keys=simpleFormatter[logger_root]level=DEBUGhandlers=consoleHandler[logger_simpleExample]level=DEBUGhandlers=consoleHandlerqualname=simpleExamplepropagate=0[handler_consoleHandler]class=StreamHandlerlevel=DEBUGformatters=simpleFormatterargs=(sys.stdout,)[formatter_simpleFormatter]format = %(asctime)s -%(name)s -%(levelname)s - %(message)sdatefmt=%Y-%m-%d %H:%M:%S

六、搭建FTP服务器与客户端

6.1、FTP服务器模式

FTP（File Transfer Protocal，文件传输协议）运行在TCP协议上，使用两个端口，即数据端口和命令端口，也称控制端口。默认20是数据端口，21是命令端口

FTP有两种传输模式：主动模式和被动模式

6.1.1、主动模式

客户端首先从任意的非特殊端口n（大于1023的端口，也就是客户端的命令端口）连接FTP服务的命令端口（21），向服务器发出命令PORT n+1，告诉服务器使用n+1端口作为数据端口进行数据传输，然后在n+1端口监听。

服务器收到PORT n+1后向客户端返回一个“ACK”，然后服务器从它自己的数据端口（20）到客户端先前指定的数据端口（n+1）端口的连接，最后客户端向服务器返回一个‘ACK’，过程结束，如图：

6.1.2、被动模式

服务端发起到客户端的连接，为被动模式，又称PASV，当客户端通知服务器处于被动模式才启用。命令连接和数据连接都是由客户端发起。当开启一个FTP连接时，客户端打开任意两个的非特权本地端口（大于1023）。

第一个端口连接服务器的21端口，但与主动方式的FTP不同，客户端不会提交PORT命令并允许服务器来回连接数据端口，而是提交PASV命令。这会使服务器开启一个任意的非特权端口，并发送PORT P命令给客户端，然后客户端发起从本地端口N+1到服务器的端口P的连接用来传送数据，如图：

6.2、搭建服务器

Python使用pyftpdlib模块进行搭建

pip install pyftpdlib

6.2.1、快速搭建一个简单的FTP服务器

python -m pyftpdlib -p 21

执行该命令所在的目录下建立一个端口为21的供下载文件的FTP服务器（Linux系统需要root用户才能使用21端口，windows系统可能是乱码，解决方法：

 # 首先找到pyftpdlib来源：import pyftpdlibprint(pyftpdlib.__path__)# 打开filesystems.py文件，找到yield line.encode('utf-8',self.cmd_channel.unicode_errors)# 将utf-8修改为gbk# 打开handlers.py，找到：return bytes.decode('utf-8',self.unicode_errors)# 同样修改为 gbk

6.2.2、搭建一个具有访问权限。可配置相关信息的FTP服务器

from pyftpdlib.authorizers import DummyAuthorizerfrom pyftpdlib.handlers import FTPHandler,ThrottledDTPHandlerfrom pyftpdlib.servers import FTPServerfrom pyftpdlib.log import LogFormatterimport logging# 记录日志，默认情况下日志仅输出到屏幕（终端），这里既输出到屏幕又输出到文件，方便日志查看logger = logging.getLogger()logger.setLevel(logging.INFO)ch = logging.StreamHandler()fh = logging.FileHandler(filename='myftpserver.log',encoding='utf-8')ch.setFormatter(LogFormatter())fh.setFormatter(LogFormatter())logger.addHandler(ch)logger.addHandler(fh)# 实例化虚拟用户，这是FTP验证的首要条件authorizer = DummyAuthorizer()# 添加用户权限和路径，括号内的参数是（用户名、密码、用户目录、权限），可以为不同的用户添加不同的目录和权限authorizer.add_user("user","12345","d:/",perm="elradfmw")# 添加匿名用户，只需要路径authorizer.add_anonymous("d:/")# 初始化ftp句柄handler = FTPHandlerhandler.authorizer = authorizer# 添加被动端口范围handler.passive_ports = range(2000,2333)# 下载上传速度设置dtp_handler = ThrottledDTPHandlerdtp_handler.read_limit = 300 * 1024 # 300kb/sdtp_handler.write_limit = 300 * 1024 # 300kb/shandler.dtp_handler = dtp_handler# 监听ip和端口，linux里需要root用户才能使用21端口server = FTPServer(("0.0.0.0",21),handler)# 最大连接数server.max_cons = 150server.max_cons_per_ip = 15# 开启服务，自带日志打印信息server.serve_forever()

该目录下会生成一个myftpserver.log日志文件，windows进入cmd输入ftp [主机IP]登录该FTP服务器并列出目录（dir命令）进行测试。成功！！说明搭建完成，可自行修改用户权限：

读权限	说明	写权限	说明
e	改变文件目录	a	文件上传
l	列出文件	d	删除文件
r	从服务器接收文件	f	文件重命名
		m	创建文件
		w	写权限
		M	文件传输方式

6.3、编写FTP客户端程序

 from ftplib import FTP# 登录FTPftp = FTP(host='localhost',user='user',passwd='12345')# 设置编码方式，由于在windows系统上，设置编码为gbkftp.encoding='gbk'# 切换目录ftp.cwd('test')# 列出文件夹的内容ftp.retrlines('LIST')   # ftp.dir()# 下载文件 note.txtftp.retrbinary('RETR note.txt',open('note.txt','wb').write)# 上传文件 server.pyftp.storbinary('STOR server.py',open('server.py','rb'))# 查看目录下的文件详情for f in ftp.mlsd(path='/test'):print(f)

七、邮件提醒

7.1、发送邮件

目前发送邮件的协议是SMTP（Simple Mail Transfer Protocal，简单邮件传输协议），是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。

python内置的smtplib提供了一种很方便的途径发送电子邮件，可以发送纯文本邮件。HTML邮件及带附件的邮件。Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件

Python创建SMTP对象语法：

 import smtplibsmtpObj = smtplib.SMTP([host[,port[,local_hostname]]])# 参数说明host：SMTP服务器主机，可以指定主机的IP地址或域名，是可选参数port：如果提供了host参数，就需要指定SMTP服务器使用的端口号，一般为25local_hostname：如果SMTP在本主机上，那么只需要指定服务器地址为localhost即可

Python SMTP对象使用sendmail方法发送邮件，其语法：

 SMTP.sendmail(from_addr,to_addrs,msg[,mail_options,rcpt_options])# 参数说明from_addr：邮件发送者地址to_addrs：字符串列表，邮件发送地址msg：发送消息

构造简单的文本邮件：

使用SMTP发送邮件之前，确保所用邮箱的SMTP服务已开启：例如QQ邮箱：

 from email.mime.text import MIMETextmessage = MIMEText('Python 邮件发送测试...','plain','utf-8')# 第一个参数是邮箱正文# 第二个参数是MIME的subtype，传入plain，最终的MIME就是'text/plain'# 最后一定要用UTF-8编码保证多语言兼容性

7.1.1、一封简单的邮件

示例：发送第一封简单的邮件（可以自行将重要信息放置在配置文件进行读取）：

 import smtplibfrom email.mime.text import MIMEText# 第三方SMTP服务mail_host = 'smtp.qq.com'  # 设置服务器mail_user = '你的邮箱用户名'  # 用户名mail_pass = '你的邮箱口令密码'  # 口令# 发件人sender = 'XXX@qq.com'# 接收者列表receivers = ["XXX@qq.com","XXX@qq.com"]# 构造正文message = MIMEText("这是正文：邮件正文...","plain","utf-8")message["From"] = sender    # 发件人。必须构造message["To"] = ";".join(receivers) # 收件人列表，不是必须的message["Subject"] = "这是主题：SMTP邮件测试"try:smtpObj = smtplib.SMTP()smtpObj.connect(mail_host,587)  # 587为QQ邮箱发送的端口号，163邮箱为25smtpObj.login(mail_user,mail_pass)smtpObj.sendmail(sender,receivers,message.as_string())print("发送成功！！")except smtplib.SMTPException as e:print(f"发送失败，错误原因：{e}")

HTML格式的邮件例子如下：

 # 修改上述正文部分message = MIMEText('<html><body><h1>这是正文标题</h1> \<p>正文内容 <a href="#">超链接</a>...</p> \</body></html>',"plain","utf-8")

7.1.2、带图片及附件的邮件

 import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.mime.image import MIMEImagefrom email.header import Header# 第三方SMTP服务mail_host = 'smtp.qq.com'  # 设置服务器mail_user = '你的邮箱用户名'  # 用户名mail_pass = '你的邮箱口令密码'  # 口令# 发件人sender = 'XXX@qq.com'# 接收者receivers = ["XXX@qq.com",""]message = MIMEMultipart()message["From"] = sender    # 发件人。必须构造message["To"] = ";".join(receivers) # 收件人列表，不是必须的message["Subject"] = "这是主题：SMTP邮件测试"# 构造正文message.attach(MIMEText('<p>这是正文：图片及附件发送测试</p><p>图片演示</p><p><img src="cid:image1"></p>',"html","utf-8"))# 指定图片为当前目录fp = open("XXX.jpg","rb")msgImage = MIMEImage(fp.read())fp.close()# 定义图片ID，在HTML文本中引用msgImage.add_header("Content-ID","<image1>")message.attach(msgImage)# 添加附件1，当前目录下的simple.logatt1 = MIMEText(open("simple.log","rb").read(),"base64","utf-8")att1["Content-Type"] = "application/octet-stream"# 这里的filename可以随便写，写什么名字，邮件中就显示什么名字att1["Content-Disposition"] = 'attachment;filename="simple.log"'    # 法1message.attach(att1)# 添加附件2，当前目录下的test.txtatt2 = MIMEText(open("test.txt","rb").read(),"base64","utf-8")att2["Content-Type"] = "application/octet-stream"# 这里的filename可以随便写，写什么名字，邮件中就显示什么名字att2.add_header("Content-Disposition","attachment",filename=("gbk","","测试.txt"))    # 法2message.attach(att2)try:smtpObj = smtplib.SMTP()smtpObj.connect(mail_host,587)smtpObj.login(mail_user,mail_pass)smtpObj.sendmail(sender,receivers,message.as_string())print("发送成功！！")except smtplib.SMTPException as e:print(f"发送失败，错误原因：{e}")

7.2、接收邮件

接收邮件的协议有POP3（Post Office Protocal）和IMAP（Internet Message Access Protocal），Python内置poplib模块实现了POP3协议。

收取邮件分以下两步：

用poplib模块把邮件的原始文本下载到本地
用email模块解析原始文本，还原为邮件对象

示例：

 import poplibfrom email.parser import Parserfrom email.header import decode_headerfrom email.utils import parseaddr# 输入邮件地址、口令和POP3服务器地址email = "邮件地址"password = "口令"pop3_server = "pop.qq.com"# 连接到POP3服务器，如果开启ss1，就使用poplib.POP3_SSLserver = poplib.POP3_SSL(pop3_server)# 可以打开或关闭调试信息server.set_debuglevel(1)# 可选：打印POP3服务器的欢迎文字print(server.getwelcome().decode("utf-8"))# 身份认证server.user(email)server.pass_(password)# stat()返回邮件数量和占用空间print("邮件数量：%s个。大小：%.2fMB" % (server.stat()[0],server.stat()[1] / 1024 / 1024))# list()返回所有邮件的编号resp, mails, octets = server.list()# 可以查看返回的列表，类似[b'1 8293',b'2 2184',...]# 获取最新一封邮件，注意索引号从1开始，最新的邮件索引即为邮件的总个数index = len(mails)resp, lines, octets = server.retr(index)# lines存储了邮件的原始文本的每一行可以获得整个邮件的原始文本msg_content = b"\r\n".join(lines).decode("utf-8")# 稍后解析出邮件msg = Parser().parsestr(msg_content)def decode_str(s):value,charset = decode_header(s)[0]if charset:value = value.decode(charset)return valuedef print_address(address_header):name, addr = parseaddr(decode_str(address_header))print(f"{name} <{addr}>")print("解析获取到的邮件内容如下：\n-------------------begin-----------------")# 打印发件人信息print_address(msg.get('From', ''))# 打印收件人信息print_address(msg.get('To', ''))# 打印主题信息print(decode_str(msg["Subject"]))# 打印第一条正文信息if msg.is_multipart():part0 = msg.get_payload(0)content = part0.get_payload(decode=True)print(content.decode(part0.get_content_charset()) if part0.get_content_charset() else content.decode())else:print(msg.get_payload(decode=True).decode(msg.get_content_charset()) if msg.get_content_charset() else msg.get_payload(decode=True))print("------------------end------------------")server.quit()

7.3、实例：将报警信息实时发送至邮箱

相比短信报警，邮件报警是一个非常低成本的解决办法。

报警信息实时发送至邮箱，需求说明如下：

文本文件txt约定格式：第一行为收件人，以逗号分隔；第二行为主题，第三行至最后一行为正文内容，最后一行若是文件，则以附件发送，支持多个附件，以逗号分隔：例如
```
 xxx@163.com,yyy@163.com xxx程序报警... /home/log/xxx.log,/tmp/yyy/log
```
持续监控目录A下的txt文件，如果有新增或修改，则读取文本中的内容并发送邮件
有报警需求的程序可生成第一点中格式的文本文件并传送至目录A即可

涉及Python知识点：文件编码、读文件操作、watchdog模块应用及邮件发送