Python中的多线程经常用于IO密集型任务，如网络请求，其中DNS查询是常见的一种场景。由于全局解释器锁（GIL）的存在，Python的多线程并不适合计算密集型任务，但对于IO密集型任务，如DNS查询，多线程可以显著提高性能。那么如果遇到下面的问题，可以通过这样的解决方法解决。
1、问题背景
原有 Python DNS 搜索代码在扫描大范围 IP 地址时速度较慢，需要进行优化以提高性能。同时，使用多线程会导致写入文件时出现问题，需要找到一种方法来解决这个问题。
2、解决方案
- 优化 DNS 查询过程：
- 优化 DNS 查询包的生成和发送过程，减少不必要的操作。
- 调整超时时间以减少等待时间。
- 优化多线程处理：
- 使用线程池来管理线程，提高线程利用率。
- 使用锁来控制对文件写入的访问，避免多线程写入冲突。
- 使用异步 I/O：
- 将文件写入操作改为异步 I/O，以提高 I/O 性能。
- 代码示例：
import socket
import struct
import threading
import os
import sys
import time
import asyncio# 基本 DNS 头部结构，用于 1 个查询
def build_dns_query(host):packet = struct.pack("!HHHHHH", 0x0001, 0x0100, 1, 0, 0, 0)for name in host:query = struct.pack("!b" + str(len(name)) + "s", len(name), name)packet = packet + querypacket = packet + struct.pack("!bHH", 0, 1, 1)return packet# 测试查询，用于 www.google.com
TEST_QUERY = build_dns_query(["www", "google", "com"])
DNS_PORT = 53
TIMEOUT = 2# 扫描服务器的 DNS
async def scan_dns(addr, timeout):reader, writer = await asyncio.open_connection(addr, DNS_PORT)# 发送 DNS 查询请求send_count = writer.write(TEST_QUERY)if send_count <= 0:return False# 等待响应try:data = await reader.read(1024)except asyncio.TimeoutError:return Falsereturn True# 将 IP 地址解析为整型元组
def extract_ip(ip):partip = ip.split(".")if len(partip) != 4:print("Invalid IP address:", ip)try:ip_tuple = (int(partip[0]), int(partip[1]), int(partip[2]), int(partip[3]))except ValueError:print("Invalid IP address:", ip)return ip_tuple# 主函数
async def main(start_ip, end_ip):# 存储找到的 DNS 服务器found_dns = []# 扫描所有 IP 地址for i0 in range(start_ip[0], end_ip[0] + 1):for i1 in range(start_ip[1], end_ip[1] + 1):for i2 in range(start_ip[2], end_ip[2] + 1):for i3 in range(start_ip[3], end_ip[3] + 1):# 构建 IP 地址ip_addr = f"{i0}.{i1}.{i2}.{i3}"print(f"Scanning {ip_addr}...", end=" ")# 扫描地址ret = await scan_dns(ip_addr, TIMEOUT)if ret:found_dns.append(ip_addr)print("Found!")await write_file(ip_addr)else:print("")print("Found DNS servers:", found_dns)# 写入文件
async def write_file(ip_addr):file = open("dns_servers.txt", "a")file.write(ip_addr + "\n")file.close()if __name__ == "__main__":if len(sys.argv) < 3:print("Usage: python dnsfind.py <start_ip> <end_ip>")exit()# 转换 IP 地址到整型元组start_ip = extract_ip(sys.argv[1])end_ip = extract_ip(sys.argv[2])# 执行主函数asyncio.run(main(start_ip, end_ip))
根据你的应用和机器的具体情况调整线程池的大小。对于高并发的DNS查询，使用异步IO（如asyncio库）可能比多线程更有效率。例如dnspython提供的异步解析功能，可能比使用socket.gethostbyname更高效。实现这些优化策略后，你应该能够显著提高Python程序中DNS查询的性能。如果有更好的建议欢迎评论区留言讨论。
