在本文中，我们将介绍如何使用 TensorFlow 框架，结合 卷积神经网络（CNN） 和 递归神经网络（RNN） 模型构建一个验证码识别系统。验证码（CAPTCHA）通常包含字母、数字或其组合，目的是防止自动化的恶意行为。通过深度学习，尤其是 CNN 和 RNN 的结合，可以实现对验证码图像的高效识别。
- 环境准备
在开始构建模型之前，确保已经安装了必要的 Python 库。可以使用以下命令来安装：
bash
更多内容访问ttocr.com或联系1436423940
pip install tensorflow numpy opencv-python pillow
TensorFlow：用于构建和训练深度学习模型。
NumPy：用于数据处理。
OpenCV：用于图像加载和预处理。
Pillow：用于图像处理。
2. 数据准备与预处理
验证码图像是由多个字符构成的，因此，我们需要将图像转化为适合神经网络处理的格式。常见的步骤包括：灰度化、缩放、归一化以及标签的编码。
(1) 数据集加载与预处理
我们首先定义一个数据集类来加载图像并进行预处理。这里，我们假设每个验证码都是由4个字符组成。
python
import os
import cv2
import numpy as np
from tensorflow.keras.utils import Sequence
class CaptchaDataset(Sequence):
def init(self, image_dir, char_set, batch_size=32, image_size=(128, 64), sequence_length=4):
self.image_dir = image_dir
self.image_paths = [os.path.join(image_dir, fname) for fname in os.listdir(image_dir)]
self.char_set = char_set
self.batch_size = batch_size
self.image_size = image_size
self.sequence_length = sequence_length
def __len__(self):return len(self.image_paths) // self.batch_sizedef __getitem__(self, index):batch_paths = self.image_paths[index * self.batch_size:(index + 1) * self.batch_size]images = []labels = []for path in batch_paths:# 读取图像并进行灰度化img = cv2.imread(path, cv2.IMREAD_GRAYSCALE)img = cv2.resize(img, self.image_size)img = img.astype('float32') / 255.0 # 归一化处理# 获取标签：文件名作为标签label = os.path.basename(path).split('.')[0]label_encoded = [self.char_set.index(c) for c in label]images.append(img)labels.append(label_encoded)# 转换为numpy数组并返回return np.array(images).reshape(self.batch_size, *self.image_size, 1), np.array(labels)
字符集定义：包含大写字母和数字
char_set = "ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789"
初始化数据集
train_dataset = CaptchaDataset(image_dir="captcha_images", char_set=char_set, batch_size=32)
(2) 标签编码
验证码中的每个字符将通过索引转换为数字。例如，“A” 对应 0，“B” 对应 1，以此类推。标签长度通常是固定的，我们假设验证码包含4个字符。
- 构建 CNN+RNN 模型
为了识别验证码中的字符，我们将构建一个结合了 卷积神经网络（CNN） 和 递归神经网络（RNN） 的模型。CNN 用于提取图像特征，而 RNN（特别是 LSTM）用于处理字符序列。
(1) 定义模型架构
python
import tensorflow as tf
from tensorflow.keras import layers, models
def build_captcha_model(input_shape=(64, 128, 1), num_classes=36, sequence_length=4):
model = models.Sequential()
# 卷积层1
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=input_shape))
model.add(layers.MaxPooling2D((2, 2)))# 卷积层2
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))# 卷积层3
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))# 扁平化层
model.add(layers.Flatten())# LSTM层
model.add(layers.Reshape((sequence_length, 128))) # 将数据重塑为LSTM可接受的形状
model.add(layers.LSTM(128, return_sequences=True))# 全连接层
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dense(num_classes, activation='softmax'))return model
构建模型
num_classes = len(char_set) # 字符集大小，包含26个字母和10个数字
sequence_length = 4 # 假设验证码长度为4
model = build_captcha_model(input_shape=(64, 128, 1), num_classes=num_classes, sequence_length=sequence_length)
编译模型
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.summary()
(2) 模型架构解释
卷积层（Conv2D）：用于提取图像中的空间特征，逐步加深网络深度。
池化层（MaxPooling2D）：用于减少图像的空间维度，减小计算量。
LSTM层：将卷积层提取的特征输入到递归神经网络中，学习字符序列的时间依赖性。
全连接层（Dense）：用于将 LSTM 输出映射到字符类别空间。
Softmax层：将输出转换为每个字符的类别概率。
4. 模型训练
我们使用交叉熵损失函数（sparse_categorical_crossentropy）和 Adam 优化器进行模型训练。
(1) 训练代码
python
训练模型
epochs = 10
model.fit(train_dataset, epochs=epochs, steps_per_epoch=len(train_dataset), verbose=1)
(2) 训练过程
数据加载：通过自定义数据集类，训练数据会被加载并进行批处理。
模型训练：模型在训练集上进行训练，计算损失并优化网络权重。
5. 模型评估与预测
在训练完成后，我们可以在测试集上评估模型的性能，并进行预测。
(1) 评估模型
python
使用测试集评估模型
test_dataset = CaptchaDataset(image_dir="test_captcha_images", char_set=char_set, batch_size=32)
loss, accuracy = model.evaluate(test_dataset, steps=len(test_dataset), verbose=1)
print(f"Test Accuracy: {accuracy * 100:.2f}%")
(2) 进行预测
通过以下函数，我们可以对单张验证码图像进行预测。
python
def predict_captcha(model, img_path, char_set, sequence_length=4):
img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
img = cv2.resize(img, (128, 64))
img = img.astype('float32') / 255.0
img = img.reshape(1, 64, 128, 1) # 调整图像形状
# 预测
pred = model.predict(img)
pred_label = ''.join([char_set[np.argmax(pred[0][i])] for i in range(sequence_length)])return pred_label
测试预测
test_image_path = "captcha_images/test1.png"
predicted_label = predict_captcha(model, test_image_path, char_set)
print(f"Predicted CAPTCHA label: {predicted_label}")
