为了应对这一挑战，图像文本识别（OCR）技术逐渐在软件测试领域崭露头角。OCR技术是一种能够将图像中的文字内容转化为可编辑、可搜索的文本格式的技术。它利用计算机视觉和模式识别的方法，对图像中的文字进行定位、分割和识别，从而实现文字信息的自动提取。
（图片来自网络侵删）将OCR技术融合到界面自动化测试中，具有显著的优势和潜力。首先，OCR技术可以自动捕捉和识别GUI中的文本信息，无需人工干预即可获取到准确的文本内容、文本定位信息，极大地提高了测试效率和准确性。其次，OCR技术能够处理动态变化的文本信息，使得测试脚本能够更加灵活地应对GUI的变化进行识别和结果校验。
图像文本识别的Python 实现PaddleOCR 作为一款开源、免费、高效、精准的OCR工具，凭借其多语种支持、高精度、易用性和高效性等特点，在各个领域得到了广泛的应用。随着技术的不断进步和应用需求的日益增长，PaddleOCR将在自动化处理和智能识别领域发挥更大的作用。
接下来，将使用 PaddleOCR 离线模型对下图进行文本识别。
文本识别结果如下图：
代码示例：
示例中 Python 版本及依赖库
# Python 3.10Pillow==10.4.0paddleocr==2.8.0opencv-python==4.10.0.84paddlepaddle==2.6.1以下代码为示例代码，首先通过opencv-python 对图像进行预处理，然后使用paddleocr 库识别图像中所有文本信息，输出文本的五点定位坐标、可信度值。
#!/usr/bin/env python# -- coding: UTF-8 --import osfrom PIL import Imagefrom paddleocr.tools.infer.utility import draw_ocrfrom paddleocr import PaddleOCRimport cv2# 本地模型地址from config.deployment_config import INFERENCE_MODEL_PATHdef ocr_preprocess(_image_file_path): image = cv2.imread(_image_file_path) # 将输入图像转为灰度图 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 对灰度图使用 Ostu 算法 ret, th = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU) image_pro = Image.fromarray(cv2.copyMakeBorder(th, 25, 25, 25, 25, cv2.BORDER_CONSTANT, value=[255, 255, 255])) image_pro_path = os.path.join(os.path.dirname(_image_file_path), f"tmp_{os.path.basename(_image_file_path)}") image_pro.save(image_pro_path)# 初始化 ocr = PaddleOCR( det_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'det_infer'), rec_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'rec_infer'), cls_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'cls_infer'), use_space_char=True, use_angle_cls=True, lang="ch", use_gpu=False) ocr_result = ocr.ocr(image_pro_path) # 图像中标注识别结果 image = Image.open(image_pro_path).convert('RGB') boxes = [line[0] for line in ocr_result[0]] txts = [line[1][0] for line in ocr_result[0]] scores = [line[1][1] for line in ocr_result[0]] ocr_image_result_show = draw_ocr(image, boxes, txts, scores, drop_score=0.8, font_path="simsun.ttc") ocr_image_path = os.path.join(os.path.dirname(_image_file_path), f"ocr_{os.path.basename(_image_file_path)}") Image.fromarray(ocr_image_result_show).save(ocr_image_path) text_cor_coordinate = {}# 遍历识别结果，获取坐标、可信度信息 for line in ocr_result: for word_info in line: # 获取识别结果的文字信息 text_info = word_info[1][0] # 获取文字的坐标（中心点） x1, y1 = word_info[0][0] x2, y2 = word_info[0][2] target_coords = ((x1 + x2) / 2, (y1 + y2) / 2) text_cor_coordinate[text_info] = { 'left_top': (x1, y2), 'right_top': (x2, y2), 'left_bottom': (x1, y1), 'right_bottom': (x2, y1), 'center': target_coords, 'score': word_info[1][1] } return text_cor_coordinateif __name__ == '__main__': result = ocr_preprocess("WX20240708.png") print(result)输出结果：
图像文本识别与UI自动化测试的融合思路
{ "功能性测试质量目标之缺陷探测率O-DDP": { "center": [ 492.5, 161.0 ], "left_bottom": [ 235.0, 150.0 ], "left_top": [ 235.0, 172.0 ], "right_bottom": [ 750.0, 150.0 ], "right_top": [ 750.0, 172.0 ], "score": 0.9388514757156372 }, ...}测试执行阶段的融合——获取文本坐标，驱动测试执行。
在使用selenium 进行界面自动化测试时，通常会使用元素定位的方式驱动相关的点击、输入等操作。除此之外，也可以通过传递页面坐标，使用ActionChains 方法实现相关操作的驱动。
首先，通过OCR 识别获取指定文本的坐标位置。然后，selenium ActionChains 实现操作驱动，驱动后续进行相关键鼠操作。
from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsdr = webdriver.Chrome()dr.get('http://www.baidu.com')# 鼠标右键点击ActionChains(dr)\ .move_by_offset(200, 300)\ .context_click()\ .perform()除此之外，除了selenium 的解决方案，OCR识别也可以与pyautogui 进行融合。
首先，通过OCR 识别获取指定文本的坐标位置，然后，通过pyautogui.moveTo 实现鼠标移动，驱动后续进行相关键鼠操作。如
import pyautoguidef mouse_move_click(x, y, duration=0.25): """ 先移动再单击左键 Args: x: x轴坐标 y: y轴坐标 duration: 持续时间 Returns: """ pyautogui.moveTo(x=x, y=y) time.sleep(0.5) pyautogui.click()测试校验阶段的融合——获取文本内容，驱动测试校验。
可通过精确、模糊、正则表达式等方式灵活的校验期望结果与识别结果。
特定文本类型的提取，可通过特定规则对OCR识别结果中的内容进行定向提取，再与期望结果进行比对。
可设计文本识别的可信度阈值，只有当识别的结果可信度大于设定阈值时，才会进行后续的相关校验。
