之前写过一篇文章 随记-点选验证码 ，当时借助了 ddddocr 完成了ocr 识别，这篇文章算是对之前的补充。
本次更换了新的方案：
- 通过 ultralytics（YOLO8）训练自己的模型
- 吐槽一句：标注真是一件耗时的事情啊，自己标注了 1600张图片
- 准确率：因为标注的样本以及刚刚接触 ultralytics 的原因，准确率较低。
验证码示例
我将一张完整的验证码图片，划分为两部分 verify 和 target。
- target 包含了 文字和顺序信息两部分
- verify 包含了文字和坐标信息两部分
示例
效果
target
verify
主要代码
def run(image_base_path):
driver.get('https://www.bilibili.com/')
# 点击 头像
click_element(driver, """ //div[@class="header-login-entry"] """)
# 点击 短信登录
click_element(driver, """ //div[@class="login-tab-item"] """)
# 输入 手机号
input_element(driver, """ //div[@class="login-sms-wp__cid"]/../input """, "15266666666")
# 点击 获取验证码
click_element(driver, """ //div[@class="login-sms-wp__cid"]/../div[@class="login-sms-send clickable "] """)
style_value = get_element_value(driver, """ //div[@class="geetest_widget"]//div[@class="geetest_tip_img"] """, "style", 10)
target_image_path, verify_image_path = save_image(image_base_path, style_value)
print(target_image_path, verify_image_path)
results_list = []
# 预测 target
model = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/target_600.pt")
results_list.extend(model([target_image_path]))
# 预测 verify
model = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/verify_1000.pt")
results_list.extend(model([verify_image_path]))
for result in results_list:
boxes = result.boxes # Boxes object for bounding box outputs
masks = result.masks # Masks object for segmentation masks outputs
keypoints = result.keypoints # Keypoints object for pose outputs
probs = result.probs # Probs object for classification outputs
obb = result.obb # Oriented boxes object for OBB outputs
label_index = list(boxes.cls.numpy().astype(int))
label_conf = list(boxes.conf.numpy())
# 输出label 和 置信度
for index, value in enumerate(label_index):
print(f"label:{result.names[value]}, conf:{label_conf[index]}")
result.show() # display to screen
result.save(filename="result.jpg") # save to disk
到此结 DragonFangQy 2024.06.01
本博文仅供学习参考之用，不得用于其他任何目的。如有任何内容侵犯到您的隐私或权益，敬请立即联系我，我将及时删除或修正相关内容。感谢您的理解与支持，期待与您共同维护一个友善、尊重知识产权的网络环境。
