这是一个利用 Android 无障碍功能 + 悬浮窗 + 大模型的搜题应用原理就是利用无障碍读取屏幕内容，然后通过悬浮窗来显示答案简介
这是一个利用 Android 无障碍功能 + 悬浮窗 + 大模型的搜题应用
原理就是利用无障碍读取屏幕内容，然后通过悬浮窗来显示答案
众所周知我是一个学渣，所以在搜答案方面颇有成就
大概是在 4 年前，我写了这样一个脚本
GitHub：截图OCR识别后搜索题目获取答案
码云：截图OCR识别后搜索题目获取答案
利用 ADB 对屏幕截图后进行 OCR 识别，然后将识别到的结果用搜索引擎和本地题库进行搜索，然后快速获取答案
前几天，看着我手机里面的李跳跳和 DeepSeek，我突然发现，我可以利用无障碍读取屏幕数据，将读取到的题目发送给 DeepSeek 等大模型进行解答，利用 Android 悬浮窗 来显示答案
说干就干，感觉代码不是特别多，于是就有了这个项目
因为没有做历史记录，提问每次只能问一下，所以这个 APP 就叫问一下了
运行展示
https://www.bilibili.com/video/BV1PrNweHEDX
源码
GitHub：https://github.com/PuZhiweizuishuai/ScanSearch
码云：https://gitee.com/puzhiweizuishuai/ScanSearch
注意：无障碍权限属于敏感权限，请确认软件来源后再安装或者自己编译安装，避免造成损失
技术实现
无障碍
首先到 AndroidManifest.xml 配置无障碍服务
<!-- 注册无障碍服务 --><service android:name=".service.ScreenReaderService"android:exported="true"android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"><intent-filter><action android:name="android.accessibilityservice.AccessibilityService" /></intent-filter><meta-dataandroid:name="android.accessibilityservice"android:resource="@xml/accessibility_service_config" /></service>
创建 app/src/main/res/xml/accessibility_service_config.xml 无障碍配置文件
<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"android:accessibilityEventTypes="typeAllMask"android:accessibilityFlags="flagDefault"android:accessibilityFeedbackType="feedbackGeneric"android:canRetrieveWindowContent="true"android:notificationTimeout="100" />
编写 无障碍服务代码
package com.buguagaoshu.scan.search.service
import android.accessibilityservice.AccessibilityService
import android.view.accessibility.AccessibilityEvent
import android.view.accessibility.AccessibilityNodeInfo
import com.buguagaoshu.scan.search.config.StaticVariableConfig
import com.buguagaoshu.scan.search.data.ScanSearchData
import kotlin.uuid.ExperimentalUuidApi
import kotlin.uuid.Uuidclass ScreenReaderService : AccessibilityService() {// 指定按钮的包名和类名，需要根据实际情况修改private val targetButtonPackageName = "com.buguagaoshu.scan.search"private val targetButtonClassName = "androidx.compose.material3.Button"// 指定按钮的文本内容，需要根据实际情况修改private val targetButtonText = "读取屏幕"override fun onAccessibilityEvent(event: AccessibilityEvent) {if (!StaticVariableConfig.openScan) {return}if (event.packageName == targetButtonPackageName) {return}// 监听滑动事件if (event.eventType == AccessibilityEvent.TYPE_VIEW_SCROLLED || event.eventType == AccessibilityEvent.TYPE_VIEW_HOVER_ENTER) {// 判断事件类型是否为点击事件val source = event.source// 检查点击的节点是否符合目标按钮的条件if (source != null) {// TODO 增加指定包名过滤配置println(source.packageName)}// 获取根节点信息val rootNode = rootInActiveWindowif (rootNode != null) {// 清除之前的数据StaticVariableConfig.screenTextList.clear();// 遍历节点并读取内容traverseNodeLoop(rootNode)}}}@OptIn(ExperimentalUuidApi::class)private fun traverseNodeLoop(node: AccessibilityNodeInfo) {val stack = mutableListOf<AccessibilityNodeInfo>()stack.add(node)while (stack.isNotEmpty()) {val currentNode = stack.removeAt(stack.size - 1)// 读取节点的文本内容val text = currentNode.textif (text != null && text.isNotEmpty()) {// 存储数据StaticVariableConfig.screenTextList.add(ScanSearchData(Uuid.random().toString(), text.toString()))}// 遍历子节点并将它们添加到栈中for (i in currentNode.childCount - 1 downTo 0) {val child = currentNode.getChild(i)if (child != null) {stack.add(child)}}}}private fun traverseNode(node: AccessibilityNodeInfo) {// 读取节点的文本内容val text = node.textif (text != null && text.isNotEmpty()) {println(text)}// 遍历子节点for (i in 0 until node.childCount) {val child = node.getChild(i)if (child != null) {traverseNode(child)}}}override fun onInterrupt() {// 服务中断时的处理}
}
监控滑动事件，跳过对自身 APP 的监控，将读取到的屏幕数据保存到缓存中，方便后期读取加载
流式响应
因为目前兼容 Open API 的服务都支持流式输出，提升用户体验，避免出现长时间的等待
所以在使用 okhttp 发送请求的时候不能使用 call.execute()，而需要使用 client.newCall(req).enqueue
完整代码实现如下
fun sendStream(sendData: SendData,url: String,key: String,onChunkReceived: (String) -> Unit,onComplete: () -> Unit,onError: (String) -> Unit) {CoroutineScope(Dispatchers.IO).launch {val body = Json.encodeToString(sendData).toRequestBody(contentType)// Authorization: Bearer $DASHSCOPE_API_KEYval req = Request.Builder().url(url).post(body).addHeader("Authorization", "Bearer $key").build()client.newCall(req).enqueue(object : Callback {override fun onFailure(call: Call, e: IOException) {e.message?.let { onError(it) }}override fun onResponse(call: Call, response: Response) {response.use {if (!response.isSuccessful) {return}val reader = response.body.charStream()reader.forEachLine { line ->if (line.isNotBlank()) {onChunkReceived(line)}}onComplete()}}})}}
其它
UI实现大部分都是通过AI写的，也没有什么要注意的了
使用指南
一、配置无障碍权限与悬浮窗权限
第一次使用会弹出无障碍权限配置菜单
在已下载应用内点击问一下
给予问一下无障碍权限
二、配置 API 服务商
首先你需要配置好你的 AI 服务商，当前你也可以不用配置这个，直接使用悬浮窗内打开网页进行搜索，不过由于 Android Webview 控件我不太会用，显示的效果有问题
由于 DeepSeek 的服务目前用不了，暂时用阿里通义的 API 替代
API申请地址：https://platform.deepseek.com/usage
登陆后点击侧边栏 API keys 生成一个 API_KEY
然后到 APP 内填写你需要调用的大模型名称、 API 地址、和 API-KEY 即可使用
其它可以白嫖的API服务地址
字节火山：https://www.volcengine.com/product/doubao
目前免费送 50 万 TOKE，支持满血 DeepSeek R1 模型
阿里通义：https://www.aliyun.com/minisite/goods?userCode=4i6gwidx
免费送 100 万 TOKEN
三、开始使用
打开悬浮窗后，进入你要搜索的应用
由于只监听了滑动事件，所以进入应用后请先在屏幕上划两下，然后再点击加载数据
这是应该就可以读取到屏幕上显示内容了
将你要搜索的题目进行勾选
点击确定
这样题目就会自动出现再搜索框
⚠️注意：如果需要对题目进行编辑，请先点击打开 ⌨️ 键盘获取焦点，不然无法输入，修改完成后请点击关闭键盘，读取屏幕数据会无法读取到当前屏幕信息
为避免滑动事件冲突，如果需要挪动窗口位置，请先点击右上角的锁，挪动完成后，再点击一下锁就可以再次滑动显示内容
最后点击提问即可获取答案
四、其它功能
点击打开网页可以调用 秘塔AI搜索，不过由于显示界面太小，所以显示会有一些问题
点击最小化按钮可以缩小悬浮窗，这时你可以利用手机系统自带的 AI 功能对屏幕进行识别，获取问题信息
版权
本文首发于：https://www.buguagaoshu.com/archives/wen-yi-xia
转载请注明出处
