Sublarge

// 安全研究 · 2025-06-01

Python进阶与常用库:探索高效编程的奥秘

本文介绍了Python中常用模块的功能与应用。os模块提供文件和目录操作,包括路径管理、文件属性和系统交互;hashlib支持数据加密与哈希计算,用于安全校验;base64实现二进制数据编码;logging模块提供灵活的日志记录功能;装饰器则用于增强函数行为,如权限验证和性能监控。这些工具覆盖了文件处理、安全加密、数据编码和程序调试等常见开发需求,是Python程序员必备的实用技能。

一、文件与目录操作:os模块

os模块是Python标准库中用于与操作系统交互的核心工具,提供了丰富的文件和目录操作方法。通过os,开发者可以轻松实现文件路径处理、环境变量获取、目录管理等功能。

1.1 核心功能与方法

以下是os模块中常用的方法及其功能:

  • 路径操作:

    • os.path.abspath(path):返回给定路径的绝对路径。例如,os.path.abspath('.')可以获取当前工作目录的完整路径。
    • os.path.exists(path):检查路径是否存在,返回布尔值。
    • os.path.isfile(path) 和 os.path.isdir(path):分别判断路径是否为文件或目录。
    • os.path.join(*paths):拼接路径,自动适配不同操作系统的路径分隔符,例如os.path.join("just", "do", "python")生成just/do/python(Linux)或just\do\python(Windows)。
  • 文件属性:

    • os.path.getatime(path)、os.path.getmtime(path)、os.path.getctime(path):分别返回文件的最后访问时间、修改时间和创建时间(时间戳格式)。
    • os.path.getsize(path):获取文件大小(字节为单位)。
  • 目录与文件管理:

    • os.mkdir(dirname):创建目录,目录已存在时会抛出异常。
    • os.rmdir(dirname):删除空目录。
    • os.listdir(path):列出指定目录下的所有文件和子目录。
    • os.rename(src, dst):重命名文件或目录。
    • os.remove(path):删除文件。
  • 系统交互:

    • os.system(command):执行系统命令,如os.system('pwd')在Linux中打印当前工作目录。
    • os.getcwd():获取当前工作目录路径。
    • os.environ:获取系统环境变量,如os.environ['PATH']。

1.2 应用示例:批量重命名文件

假设你有一个目录,包含多个文件,需要将所有.txt文件重命名为.bak后缀。以下是一个使用os模块的实现:

import os

def rename_txt_to_bak(directory):
    for filename in os.listdir(directory):
        if filename.endswith('.txt'):
            old_path = os.path.join(directory, filename)
            new_path = os.path.join(directory, filename.replace('.txt', '.bak'))
            os.rename(old_path, new_path)
            print(f'Renamed: {old_path} -> {new_path}')

# 示例调用
rename_txt_to_bak('./my_folder')
python12 行

这个脚本通过os.listdir遍历目录,检查文件后缀并使用os.rename进行重命名,展示了os模块在文件管理中的强大能力。


二、数据加密与哈希:hashlib模块

hashlib模块提供了多种哈希算法(如MD5、SHA1、SHA256),用于数据加密、校验和安全验证。哈希算法将任意长度的数据映射为固定长度的摘要,常用于文件完整性校验、密码存储等场景。

2.1 常用哈希算法

  • MD5:快速但安全性较低,适用于文件校验。
  • SHA1:比MD5更安全,但仍不推荐用于高安全场景。
  • SHA256:更安全的算法,广泛用于现代应用。

2.2 示例:计算字符串和文件的哈希值

以下代码展示如何使用hashlib计算字符串和文件的MD5值:

import hashlib

# 计算字符串MD5
text = "hello".encode('utf-8')
md5_hash = hashlib.md5(text).hexdigest()
print(f"MD5 of 'hello': {md5_hash}")

# 计算文件MD5
def get_file_md5(filename):
    md5 = hashlib.md5()
    with open(filename, 'rb') as f:
        md5.update(f.read())
    return md5.hexdigest()

print(f"MD5 of 'example.txt': {get_file_md5('example.txt')}")
python15 行

2.3 应用场景

  • 文件完整性校验:在文件传输后,比较文件的MD5值以确保未被篡改。
  • 密码存储:将用户密码哈希后存储,避免明文泄露(建议结合盐值和更安全的算法如bcrypt)。

三、数据编码:base64模块

base64模块用于将二进制数据编码为可打印的ASCII字符,常用于数据传输(如邮件附件)或存储。base64编码将二进制数据转换为由64个字符(A-Z、a-z、0-9、+、/)组成的字符串。

3.1 示例:编码与解码

import base64

# 编码
data = b'hello'
encoded = base64.b64encode(data)
print(f"Encoded: {encoded.decode()}")  # 输出:aGVsbG8=

# 解码
decoded = base64.b64decode(encoded)
print(f"Decoded: {decoded.decode()}")  # 输出:hello
python10 行

3.2 应用场景

  • 邮件附件:将图片或文件编码为Base64后嵌入邮件。
  • API数据传输:在JSON中传输二进制数据时,使用Base64编码。

四、日志记录:logging模块

logging模块是Python标准库中用于日志记录的强大工具,支持灵活的日志输出(控制台、文件等)和多种日志级别(DEBUG、INFO、WARNING、ERROR、CRITICAL)。

4.1 基本用法

以下是一个简单的日志记录示例:

import logging

# 配置日志
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    filename='app.log',
    filemode='a'
)

# 记录不同级别的日志
logging.debug('Debug message')
logging.info('Info message')
logging.warning('Warning message')
logging.error('Error message')
logging.critical('Critical message')
python16 行

4.2 彩色日志:结合colorlog

通过colorlog库,可以为控制台日志添加颜色,提升可读性:

4.3 应用场景

  • 调试与监控:记录程序运行状态,便于排查问题。
  • 生产环境:将日志写入文件,用于事后分析。

五、装饰器:增强函数功能

装饰器是Python中用于扩展函数行为的强大工具,允许在不修改原函数代码的情况下添加新功能。装饰器常用于日志记录、权限验证、性能分析等场景。

5.1 简单装饰器示例

以下是一个用于记录函数执行时间的装饰器:

5.2 复杂示例:权限验证与日志记录

以下是一个结合权限验证和操作日志记录的装饰器示例:


六、系统交互与监控:sys和psutil

6.1 sys模块

sys模块提供了与Python解释器交互的功能,适用于获取系统信息或控制程序行为。

  • 常用功能:
    • sys.argv:获取命令行参数,sys.argv[0]为脚本路径。
    • sys.version:获取Python解释器版本。
    • sys.exit():中断程序执行。

示例:获取命令行参数

import sys

print(f"Script name: {sys.argv[0]}")
if len(sys.argv) > 1:
    print(f"Arguments: {sys.argv[1:]}")
python5 行

6.2 psutil模块

psutil是一个跨平台的系统监控库,可获取CPU、内存、磁盘、网络等信息,适用于性能分析和进程管理。

  • 安装:pip install psutil
  • 功能:监控系统资源、进程管理(如psutil.cpu_percent()、psutil.Process().memory_info())。

示例:监控CPU使用率

import psutil

print(f"CPU Usage: {psutil.cpu_percent(interval=1)}%")
print(f"Memory Usage: {psutil.virtual_memory().percent}%")
python4 行

七、时间处理:time模块

time模块用于处理时间相关操作,如获取时间戳、格式化日期等。

7.1 常用功能

  • time.time():返回当前时间戳。
  • time.strftime(format, time_tuple):格式化时间,如%Y-%m-%d %H:%M:%S。
  • time.mktime(time_tuple):将格式化时间转换为时间戳。

示例:时间格式化

import time

# 当前时间
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))

# 时间戳转格式化时间
timestamp = time.time()
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(timestamp)))
python8 行

八、邮件发送:smtplib模块

smtplib模块用于发送邮件,支持SMTP协议。结合email模块,可以构造复杂的邮件内容。

8.1 示例:发送简单邮件


九、高效数据结构:collections模块

collections模块提供了多种扩展数据结构,优化了内置容器(如dict、list)的性能和使用体验。

9.1 常用数据结构

  • namedtuple:创建带有命名字段的元组,便于访问。
  • deque:双端队列,支持高效的头尾操作。
  • Counter:统计元素出现次数。
  • defaultdict:为不存在的键提供默认值。
  • ChainMap:链式合并多个字典。

示例:使用Counter统计字符频率

from collections import Counter

text = "aaadminad67uyghijknm"
counter = Counter(text)
print(counter)  # 输出:Counter({'a': 4, 'd': 3, ...})
print(counter.most_common(2))  # 输出:[('a', 4), ('d', 3)]
python6 行

十、终端美化:rich模块

rich是一个强大的终端美化库,支持彩色文本、表格、进度条和Markdown渲染。

  • 安装:pip install rich
  • 功能:彩色输出、表格、进度条、Markdown渲染等。

示例:创建进度条

from rich.progress import Progress
import time

with Progress() as progress:
    task = progress.add_task("Downloading...", total=100)
    for _ in range(100):
        progress.update(task, advance=1)
        time.sleep(0.1)
python8 行

十一、数据库操作:pymysql与sqlite3

11.1 MySQL操作:pymysql

pymysql是Python操作MySQL数据库的常用库。

示例:创建表并插入数据

11.2 SQLite操作:sqlite3

sqlite3是Python内置的轻量级数据库模块,适合小型项目。

示例:创建表并查询数据


十二、调试利器:pdb模块

pdb是Python内置的调试工具,支持交互式调试、断点管理等。

12.1 调试方法

  • 代码内调试:在代码中插入pdb.set_trace()。
  • 命令行调试:运行python -m pdb script.py。
  • 异常调试:捕获异常后调用pdb.post_mortem()。

示例:设置断点调试

import pdb

def add(a, b):
    pdb.set_trace()  # 设置断点
    return a + b

print(add(1, 2))
python7 行

12.2 常用命令

  • n:执行下一行。
  • s:步入函数。
  • c:继续执行到下一个断点。
  • b <line>:设置断点。
  • p <variable>:查看变量值。

原文 https://blog.csdn.net/2301_79518550/article/details/148367328