【java】opencv + Tesseract(tess4j) 实现图片处理验证码识别
1.opencv for java 环境搭建和测试
- 到OpenCV官网下载你需要的版本,运行安装,记住安装目录。
- 打开上一步安装的位置,依次打开如下图位置,复制
opencv-{version}.jar
、x64包下对应的dll
到项目里,放在同级
- 在maven里添加opencv依赖(位置看清楚、版本号改成自己下载的版本,别傻乎乎复制)
<dependency>
<groupId>org</groupId>
<artifactId>opencv</artifactId>
<scope>system</scope>
<systemPath>${project.basedir}\src\main\resources\lib\opencv\opencv-460.jar</systemPath>
</dependency>
- 测试代码(记得改链接库地址,别复制)
//先静态代码块加载opencv库链接文件和动态库
static {
// 解决awt报错问题
System.setProperty("java.awt.headless", "false");
// 加载动态库
URL url = ClassLoader.getSystemResource("lib/opencv/opencv_java460.dll");
System.load(url.getPath());
}
/**
* 高斯滤波
*/
public static void GaussianBlur(String path, String resultPath) {
// 加载时灰度
Mat src = Imgcodecs.imread(path);
Mat dst = src.clone();
Imgproc.GaussianBlur(src, dst, new Size(9, 9), 0, 0, Core.BORDER_DEFAULT);
imwrite(resultPath, dst);
}
- 以上准备工作做完就可以开始对图片进行处理了,包括二值化、灰度化、高斯滤波、降噪等都可实现,此处不再列举事例
2. Tesseract 识别准备工作、环境配置、模型训练
介绍
Tesseract-OCR支持中文识别,并且开源和提供全套的训练工具,是快速低成本开发的首选。而Tess4j则是Tesseract在Java PC上的应用。在英文和数字识别中性能还是不错的,但是在中文识别中,无论速度还是识别率还是较弱,建议有条件的话,针对场景进行训练,会获得较好结果。
先在maven添加依赖
<dependency>
<groupId>net.sourceforge.tess4j</groupId>
<artifactId>tess4j</artifactId>
<version>4.3.1</version>
</dependency>
2.1 使用官方训练集(省事,但是准确率低)
- https://github.com/tesseract-ocr/tessdata 去官方git下载需要的训练集,(如:eng.traineddata 是英文字符集)
- 下载完成即可开始测试,测试代码
public class test {
public static void main(String[] args) throws Exception {
// 需要识别的图片
String resolve = "D:\\Process.jpg";
// 训练集所在的文件夹,不需要精确到文件名
String dataPath = "C:\\Users\\me\\Downloads";
System.out.println(getImgCode(resolve, dataPath));
}
public static String getImgCode(String path, String dataPath) {
try {
// 指定识别图片路径
File imageFile = new File(path);
BufferedImage img = ImageIO.read(imageFile);
Tesseract tessInst = new Tesseract();
tessInst.setDatapath(dataPath);
tessInst.setLanguage("eng");
String result = tessInst.doOCR(img);
System.out.println("result:--->" + result);
return result;
} catch (Exception e) {
e.printStackTrace();
}
return "";
}
}
- 对于整齐无干扰的图片识别效果可以,但是一旦有干扰或者不规整,识别结果都一言难尽。因此,我们需要自己训练适合自己的集合来使用。
2.2 自己使用tesseract 训练
2.2.1 准备工作
- 先点这里去官网下载jTessBoxEditor ,安装,记住自己的安装目录。
- 打开我的电脑右键-> 环境变量->系统环境变量,在path变量处双击,新增一行,值为上一步安装的目录位置,如:D:\Tesseract_OCR。再返回新增变量,名字:
TESSDATA_PREFIX
,值:{你的安装目录}\tessdata
- 在控制台输入
tesseract -v
即可查看是否配置成功
2.2.2 使用
Merge样本文件
- 打开第一步的安装目录,打开
jTessBoxEditorFX.jar
,工具栏依次打开【Tools】>【Merge TIFF】,如图。打开你的训练图片所在文件夹,
- 将样本文件全部选上。这里是没有界面化的提示的,选中后,点击【打开】,立马就是输入合成后的文件名界面,输入文件名,如:
num.font.exp0.tif
。点击【保存】,文件名一定要注意格式,具体如下: -
【格式】:[lang].[fontname].exp[num].tif
【说明】:lang为语言名称,fontname为字体名称,num为序号;在tesseract中,一定要注意格式
生成BOX文件
- 打开 cmd 并切换至上一步
tif
所在目录。输入下面命令,生成文件名为:num.font.exp0.box
的box文件。注意,一定要生成在上一步tif
同目录,方便后续操作
tesseract num.font.exp0.tif num.font.exp0 batch.nochop makebox
【语法】:tesseract [lang].[fontname].exp[num].tif [lang].[fontname].exp[num] batch.nochop makebox
【语法】:lang为语言名称,fontname为字体名称,num为序号;在tesseract中,一定要注意格式
定义配置文件
- 在如上目录,新建font_properties.txt,删除后缀。用notepad++ 或者记事本编辑,写入内容:
font 0 0 0 0 0
【语法】:<fontname> <italic> <bold> <fixed> <serif> <fraktur>
【语法】:fontname为字体名称(上步命名的格式中定义好的,保持同步,不要输入错),italic为斜体,bold为黑体字,
fixed为默认字体,serif为衬线字体,fraktur德文黑字体,
1和0代表有和无,精细区分时可使用
字符矫正
- 打开 jTessBoxEditor>【BOX Editor】> 【Open】,打开
num.font.exp0.tif
;矫正【Char】上的字符 - 如图所示,如果有没识别出来的字符,点击菜单栏 —> insert 回车。然后点箭头位置,选中新增字符的框。点击红框位置,调整到该字符对应位置即可,点击 菜单栏 ->save。即可自动覆盖之前的box文件。如有多个box文件,可点击下方的换页符,分别处理。处理结束记得点击保存。
执行批处理文件,生成训练集
- 【注意】:执行该批处理文件前,先要目录下创建font_properties文件 ,也就是上边定义配置文件那步
- 在目标目录下,新建一个txt文件,复制下方代码,重命名为
do.bat
echo Run Tesseract for Training..
tesseract.exe num.font.exp0.tif num.font.exp0 nobatch box.train
echo Compute the Character Set..
unicharset_extractor.exe num.font.exp0.box
mftraining -F font_properties -U unicharset -O num.unicharset num.font.exp0.tr
echo Clustering..
cntraining.exe num.font.exp0.tr
echo Rename Files..
rename normproto num.normproto
rename inttemp num.inttemp
rename pffmtable num.pffmtable
rename shapetable num.shapetable
echo Create Tessdata..
combine_tessdata.exe num.
echo. & pause
-
记得把
bat
文件中tif
文件名、box
文件名改成自己的,如图
-
把生成的
.traineddata
后缀文件,复制到 Tesseract-OCR 安装目录下的 tessdata 文件夹
-
测试一下,cmd进入测试图片路径, 输入 如下命令
格式:tesseract {需要识别的图片} {输出文本} -l {训练集名称}
tesseract test1.jpg result -l num
-
运行结果:
-
可以看到,经过简单训练后已经可以识别出需要的结果了。如果这个训练的集合够大,那准确率肯定会很高。