引言

• 本插件是基于百度EasyEdge开发的AutojsPro插件，插件完全免费
• 模型是PP-OCRv3，识别速度挺快，准确率也还不错
• 已在安卓13、安卓14机型测试，目前没发现有啥问题
• 经测试不支持雷电9模拟器，其它模拟器和云机自行测试
• 若需定制脚本或者界面请移步 软件|源码定制 页

QQ交流群

Autojs、按键精灵、易语言、懒人精灵等自动化编程学习交流，知识探讨，共同进步！欢迎萌新与大佬们的加入!

自动化编程学习交流群:606759894

插件界面

待补充...过几天

插件下载

版本1.0.0测试版已经发在群文件了，有需要的可以加群下载测试。

对接视频教程（附实战）

待录制...过几天

权限相关

注：需要手动授予下面两个权限，经测试，如果不授予，就无法初始化插件，注意对象是AutojsPro，而不是插件，应用打包了，那就是打包后的应用需要授权。如果实在找不到权限，那就所有权限都给了！

• 读取手机状态和身份
  android.permission.READ_PHONE_STATE
• 写入外部存储
  android.permission.WRITE_EXTERNAL_STORAGE

Autojs对接代码

插件JSON返回示例

• text：识别到的文本
• region：文本所在范围：左上角x，左上角y，右上角x，右上角y
• confidence：置信度

[
  { text: '道无涯',
    region: [173, 666, 302, 1133],
    confidence: 0.91
  },
  { text: '插件',
    region: [298, 674, 1161, 1076],
    confidence: 0.94
  }
]

读取本地图片进行识别读取本地图片进行识别

/***
 * 作者: 道无涯i，脚本定制联系：daowuya02
 * 日期: 2024-09-25 21:22:29
 * 功能: 读取本地图片进行OCR识别代码示例
 * 必填参数1：imagePath，图片路径
 * 必填参数2：confidence，识别置信度
 */

var ppOCR = $plugins.load("com.daowuya.ppocrv3");
//初始化，加载模型，只需要加载一次
ppOCR.init()

var imagePath = "/storage/emulated/0/daowuya.png"
var confidence = 0.3

var ocr_image = null
ocr_image = images.read(imagePath)
var result = ppOCR.ocr(ocr_image.bitmap, confidence)
console.log(result)

// 识别完回收图片，防止内存泄漏
ocr_image.recycle()
ocr_image = null

events.on("exit", function () {
    //脚本退出或者不需要识别时调用，卸载模型，释放内存
    ppOCR.exit()
    if(ocr_image){
        ocr_image.recycle()
    }
});

实时截屏识别并绘制

/***
 * 作者: 道无涯i，脚本定制联系：daowuya02
 * 日期: 2024-09-25 21:22:29
 * 功能: 实时截屏进行OCR识别代码示例
 * 必填参数：confidence，识别置信度
 * 注意：使用下面代码前，请在根目录创建drawFloaty.js，并将文章文末的【附录：drawFloaty.js】内容黏贴并保存
 */

var ppOCR = $plugins.load("com.daowuya.ppocrv3");
//初始化，加载模型，只需要加载一次
ppOCR.init()

// 绘制初始化
var drawFloaty = require('./drawFloaty.js');
drawFloaty.init({
    statusBarHeight: drawFloaty.getStatusBarHeight()
});

var capture = null
events.on("exit", function () {
    //脚本退出或者不需要识别时调用，卸载模型，释放内存
    ppOCR.exit()
    if(capture){
        capture.recycle()
    }
});

var confidence = 0.3
while (true) {
    capture = $automator.takeScreenshot();
    // // 如果需要裁剪的话
    // capture = images.clip(capture.bitmap, left, top, w, h);
    var result = ppOCR.ocr(capture.bitmap, confidence)
    var bbox = []
    for (let i = 0; i < result.length; i++) {
        bbox.push({
            region: result[i].region,
            text: result[i].text
        })
    }
    drawFloaty.draw(bbox, 500);
    console.log(`\n本次共识别到${result.length}个结果`)
    capture.recycle()
    capture = null
    sleep(1000);
}

附录：drawFloaty.js

实时绘制代码，本代码来自群聊 webpack-autojs 群文件，最新代码优化自 Ling

let drawFloaty = {
    instance: null,
    toDraw: [],
    option: {
        statusBarHeight: 0
    },

    getStatusBarHeight() {
        let resources = context.getResources();
        let resourceId = resources.getIdentifier("status_bar_height", "dimen", "android");
        let height = resources.getDimensionPixelSize(resourceId);
        return height;
    },
    init(option) {
        if (!!this.instance) return;
        this.option.statusBarHeight = option.statusBarHeight || 0;

        this.instance = floaty.rawWindow(
            <frame id="frame">
                <canvas id="board" />
            </frame>
        );

        ui.run(() => {
            this.instance.frame.getRootView().getLayoutParams().alpha = 0.8; // alpha设置0.8，在安卓12以上实现悬浮窗穿透
            this.instance.setTouchable(false);
            this.instance.setSize(-1, -1);
        });

        // 绘制区域 描边
        let paintRect = new Paint();
        paintRect.setStyle(Paint.Style.STROKE); // 设置画笔样式，描边
        paintRect.setAntiAlias(false); // 设置是否开启抗锯齿，一般在绘制棱角分明的图形比如矩形，位图时不需要开启
        paintRect.setFilterBitmap(true); // 对位图进行滤波处理，如果该项设置为 true，则图像在动画进行中会滤掉对 Bitmap 图像的优化操作，加快显示
        paintRect.setStrokeWidth(10); // 设置画笔宽度
        paintRect.setARGB(204, 255, 48, 48); // 设置画笔透明度和颜色

        // 绘制区域 填充内部和描边
        let paintRect2 = new Paint();
        paintRect2.setStyle(Paint.Style.FILL_AND_STROKE); // 设置画笔样式，填充内部和描边
        paintRect2.setAntiAlias(false); // 设置是否开启抗锯齿，一般在绘制棱角分明的图形比如矩形，位图时不需要开启
        paintRect2.setFilterBitmap(true); // 对位图进行滤波处理，如果该项设置为 true，则图像在动画进行中会滤掉对 Bitmap 图像的优化操作，加快显示
        paintRect2.setStrokeWidth(10); // 设置画笔宽度
        paintRect2.setARGB(204, 255, 48, 48); // 设置画笔透明度和颜色

        // 绘制文字 填充内部
        let paintText = new Paint();
        paintText.setStyle(Paint.Style.FILL); // 设置画笔样式，填充内部
        paintText.setAntiAlias(true); // 设置是否开启抗锯齿，一般在绘制棱角分明的图形比如矩形，位图时不需要开启
        paintText.setFilterBitmap(true); // 对位图进行滤波处理，如果该项设置为 true，则图像在动画进行中会滤掉对 Bitmap 图像的优化操作，加快显示
        paintText.setFakeBoldText(false); // 模拟实现粗体文字，设置在小字体上效果会非常差 
        paintText.setTextSize(32); // 设置字体大小，必须大于0
        paintText.setARGB(255, 255, 255, 255); // 设置画笔透明度和颜色

        // 参数为 LAYER_TYPE_SOFTWARE 时，使用软件来绘制 View Layer，绘制到一个 Bitmap，并顺便关闭硬件加速；
        // 参数为 LAYER_TYPE_HARDWARE 时，使用 GPU 来绘制 View Layer，绘制到一个 OpenGL texture（如果硬件加速关闭，那么行为和 VIEW_TYPE_SOFTWARE 一致）
        // 参数为 LAYER_TYPE_NONE 时，关闭 View Layer。 View Layer 可以加速无 invalidate() 时的刷新效率，但对于需要调用 invalidate() 的刷新无法加速。
        this.instance.board.setLayerType(android.view.View.LAYER_TYPE_SOFTWARE, null);

        this.instance.board.on("draw", canvas => {
            canvas.drawColor(0, android.graphics.PorterDuff.Mode.CLEAR);

            let now = Date.now();
            let toDraw = this.toDraw || [];
            toDraw.forEach((item, i) => {
                if (item && now >= item.old) {
                    this.toDraw.splice(i, 1);
                    return;
                }

                canvas.drawRect(item.region[0], item.region[1], item.region[2], item.region[3], paintRect);
                if (item.text) {
                    let textWidth = paintText.measureText(item.text);
                    canvas.drawRect(item.region[0], item.region[1] - 38, item.region[0] + textWidth + 10, item.region[1], paintRect2);
                    canvas.drawText(item.text, item.region[0] + 6, item.region[1] - 8, paintText);
                }
            });
        });
    },
    draw(arr, time) {
        if (arr.length == 0) return;
        arr.forEach(item => {
            item.region[1] = item.region[1] - this.option.statusBarHeight;
            item.region[3] = item.region[3] - this.option.statusBarHeight;
            item.old = Date.now() + (time || 500);
        })
        this.toDraw = arr
        // this.toDraw = this.toDraw.concat(arr);
    },
    drawImg(arr, image, path) {
        // 绘制区域 描边
        let paintRect = new Paint();
        paintRect.setStyle(Paint.Style.STROKE); // 设置画笔样式，描边
        paintRect.setAntiAlias(false); // 设置是否开启抗锯齿，一般在绘制棱角分明的图形比如矩形，位图时不需要开启
        paintRect.setFilterBitmap(true); // 对位图进行滤波处理，如果该项设置为 true，则图像在动画进行中会滤掉对 Bitmap 图像的优化操作，加快显示
        paintRect.setStrokeWidth(4); // 设置画笔宽度
        paintRect.setARGB(153, 255, 48, 48); // 设置画笔透明度和颜色

        // 绘制区域 填充内部和描边
        let paintRect2 = new Paint();
        paintRect2.setStyle(Paint.Style.FILL_AND_STROKE); // 设置画笔样式，填充内部和描边
        paintRect2.setAntiAlias(false); // 设置是否开启抗锯齿，一般在绘制棱角分明的图形比如矩形，位图时不需要开启
        paintRect2.setFilterBitmap(true); // 对位图进行滤波处理，如果该项设置为 true，则图像在动画进行中会滤掉对 Bitmap 图像的优化操作，加快显示
        paintRect2.setStrokeWidth(4); // 设置画笔宽度
        paintRect2.setARGB(153, 255, 48, 48); // 设置画笔透明度和颜色

        // 绘制文字 填充内部
        let paintText = new Paint();
        paintText.setStyle(Paint.Style.FILL); // 设置画笔样式，填充内部
        paintText.setAntiAlias(true); // 设置是否开启抗锯齿，一般在绘制棱角分明的图形比如矩形，位图时不需要开启
        paintText.setFilterBitmap(true); // 对位图进行滤波处理，如果该项设置为 true，则图像在动画进行中会滤掉对 Bitmap 图像的优化操作，加快显示
        paintText.setFakeBoldText(false); // 模拟实现粗体文字，设置在小字体上效果会非常差 
        paintText.setTextSize(32); // 设置字体大小，必须大于0
        paintText.setARGB(204, 255, 255, 255); // 设置画笔透明度和颜色

        let canvas = new Canvas(image);

        arr.forEach(item => {
            let region = item.region;
            let text = item.text;

            canvas.drawRect(region[0], region[1], region[2], region[3], paintRect);
            if (text) {
                let textWidth = paintText.measureText(text);
                canvas.drawRect(region[0], region[1] - 38, region[0] + textWidth + 10, region[1], paintRect2);
                canvas.drawText(text, region[0] + 6, region[1] - 8, paintText);
            }
        });

        let image = canvas.toImage();
        images.save(image, path);
        media.scanFile(path)
        image.recycle();
    },
    destroy() {
        if (this.instance) {
            this.instance.board.removeAllListeners();
            this.instance.close();
            this.instance = null;
        }
    }
};

module.exports = drawFloaty;