Mind+模型训练工具·语音分类任务:睡眠监测助手
本帖最后由 高毓甜 于 2025-11-11 16:04 编辑Mind+模型训练工具·语音分类任务:睡眠监测助手
1 项目介绍
1.1 演示视频
https://www.bilibili.com/video/BV1qfkfBKETP/?vd_source=3118d3f9ab9bfbe250020a98a0412cee
1.2 项目设计
你好奇过自己晚上的睡眠质量吗?你是否想知道自己夜里有没有打呼噜、说梦话或者咳嗽?“睡眠监测助手”利用 Mind+模型训练工具,对睡眠时的声音进行分类,识别记录打呼噜、说梦话、咳嗽等多种声音次数,并生成AI睡眠质量报告。
通过本项目,您将了解到:
[*]模型训练:如何使用Mind+2.0模型训练工具训练一个语音分类模型。
[*]模型部署:如何将模型推理结果以实时推送方式部署到行空板M10,实现睡眠记录与报告生成。
[*]伦理讨论:如何在技术实践中思考并应对隐私安全、技术过度依赖等人工智能伦理问题。
1.3 项目实现流程
该项目通过Mind+2.0模型训练工具中的语音分类模块训练“睡眠监测语音分类模型”,通过实时推送的部署方式,将模型推理结果实时推送到物联网服务器。行空板M10将接收的信息呈现,并结合大模型生成睡眠报告。整个项目的流程如下图所示:
2 AI知识园地-语音分类
2.1 语音分类
语音分类是人工智能领域的一项关键技术,其核心任务是分析输入的音频信号,并将其划入预先定义好的类别中。例如,区分一段音频是猫叫、狗叫还是环境音等。
2.2 语音分类的应用
语音分类的应用领域非常广泛,主要包括:
智能语音助手:识别指令类型(如播放音乐、设闹钟、问天气)以实现多意图交互。
情绪识别:通过语调分析说话者情绪,用于客服质检、心理健康监测等。
安全监控:识别异常声音,如玻璃破碎、尖叫、求救声等,提高安全响应速度。
睡眠监测:检测打呼噜、咳嗽、说梦话等睡眠行为,用于健康分析。
医疗诊断辅助:通过咳嗽声、呼吸声分类,辅助呼吸道疾病筛查。
娱乐与内容检索:识别音乐类型、戏曲流派、乐器种类,实现智能推荐。
工业与家居场景:判断设备运行声音是否异常,用于故障检测与维护。
3 睡眠监测模型训练
3.1 下载软件及创建训练项目
官网下载安装Mind+2.0及以上版本安装包,安装完成后,双击打开。
新建项目,点击左侧导航栏中的“模型训练”,选择“语音分类”任务。
3.2数据准备
[*]标签设置
除“背景噪声”外,新增至三个类别,分别设置标签“打呼噜”,“说梦话”,“咳嗽”。
[*]数据采集
数据的采集可以通过麦克风现场录制也可以通过上传数据。
每个数据类别需最少20个样本。
3.3 模型训练
[*]训练模型
点击“训练模型”按钮,即可开始训练模型。
[*]训练参数设置
点击“高级设置”按钮,可进行参数设置。
[*]训练过程与结果观察
训练过程中,点击“高级设置”中的“深入了解”,可以看到每个训练周期的准确率和损失。
3.4 模型校验
启用“麦克风”,播放未参与训练的新音频用于测试,查看输出的实时分类结果。
[*]模型优化与再训练
当模型校验结果不理想时,我们可以通过数据质量优化,模型参数调整等方法,再次训练模型。
4 睡眠监测模型部署
4.1 硬件清单
4.2 部署思路
通过实时推送的部署方式,AI模型训练平台端将模型推理结果实时推送到物联网服务器。行空板M10同时作为终端接收信息,获得推理结果,并呈现打呼噜、说梦话、咳嗽等多种声音次数。
4.3 实时结果推送
[*]环境准备
[*]浏览器输入:10.1.2.3
[*]点击网络设置,连接WiFi,获取行空板M10IP地址
应用本地服务器搭建的物联网,所有设备需要在同一个网络中,可以使用自建局域网、热点或外网。
[*]开启SIoT服务
此时行空板M10为物联网服务器。
2. 实时结果推送
[*]点击“实时结果推送”。在“实时推送服务器设置”中,将MQTT服务器地址修改为行空板M10 IP 地址(可在行空板M10网络设置中查看)。
[*]服务器连接成功后,实时结果推送的按钮变为绿色。
4.4 模型应用
行空板M10同时作为物联网系统中的终端,接收物联网服务器的消息,通过以下步骤编写程序,连接服务器、接收物联网服务器发来的实时推理结果,并利用结果生成睡眠分析报告。
[*]新建项目
点击左侧导航栏中的“程序设计”,选择“Python积木模式” 。
[*]导入库
添加主控:点击“扩展”,在右上角搜索框中输入“行空板 M10”,点击行空板M10扩展库上的“下载”按钮。下载完成后,再次点击行空板M10扩展库完成导入。
添加扩展库:在右上角搜索框中分别输入“MQTT”、“deepseek”下载后并导入。最后点击左上角“返回”,返回编程界面。
[*]连接终端设备
在终端连接选项中,选择“默认-10.1.2.3”以连接行空板M10。
[*]编写程序
STEP1:连接物联网服务器,订阅主题
如图编写程序,连接SIoT服务器,订阅主题。
STEP2:接收模型推理结果
行空板M10接收实时结果推送到MQTT上的消息,并将MQTT信息赋值到变量“推理结果”。
STEP3:分析MQTT消息
如果接收到MQTT消息为打呼噜,变量“打呼噜”数量加一;
如果接收到MQTT消息为说梦话,变量“说梦话”数量加一;
如果接收到MQTT消息为咳嗽,变量“咳嗽”数量加一。
行空板M10屏幕实时显示“打呼噜”,“说梦话”,“咳嗽”的数量。
STEP4:生成睡眠分析报告
初始化大模型。若按A键,则将“打呼噜”,“说梦话”,“咳嗽”的3个数据推送给大模型进行分析,行空板M10屏幕显示睡眠质量分析报告。
(大模型密钥申请教程在资料包中提供)
完整程序如下:
[*]运行并验证
5 AI伦理探讨
技术本身是中立的,但技术的设计者和使用者肩负着责任。在享受AI带来的便利时,我们更需要主动思考其背后的伦理问题,并探寻负责任的解决方案。现在,让我们一起探讨在睡眠监测助手项目中可能遇到的几个核心伦理挑战。
5.1 隐私与数据安全
[*]问题: 系统在采集和分析睡眠音频时,可能捕获并泄露用户敏感的隐私信息,如个人健康状况、夜间谈话内容等。
[*]解决方案:采用本地化处理,确保音频数据在用户设备上完成分析和处理,不上传至云端。还可以对存储的音频数据进行加密处理。此外明确告知用户数据收集范围和用途,获取用户明确同意。
5.2 技术过度依赖
[*]问题:用户可能过度依赖该助手的监测报告,而忽略自身的实际感受和身体信号,一旦技术出现误判,可能导致健康误诊或焦虑。
[*]解决方案:在系统设计中嵌入免责声明,例如在屏幕显示:“重要提示:本报告由AI算法生成,仅供参考,不能替代专业的医疗诊断”。当AI的误判引发焦虑时,请记住:AI只是一个会出错的工具,而非权威的判决。
6 自我检验
6.1 拓展练习
思考还有哪些睡眠数据可以监测,如磨牙声,做噩梦惊叫等数据,在Mind+中继续训练语音分类模型,并部署到行空板M10上进行识别测试,完善睡眠监测助手。
6.2 学习评价表
学习目标掌握程度
我知道使用Mind+模型训练工具训练语音分类的基本过程□ 还需练习 □ 基本掌握 □ 完全掌握
我能理解并将模型推理结果以实时推送方式部署到行空板M10□ 还需练习 □ 基本掌握 □ 完全掌握
我能结合本项目,深入思考并应对隐私安全、技术过度依赖等人工智能伦理问题。
□ 还需练习 □ 基本掌握 □ 完全掌握
通过网盘分享的文件:Mind+语音分类资料包.zip
链接: https://pan.baidu.com/s/1Jka949FpK0kve56KqoPldQ?pwd=jt24 提取码: jt24
太棒了 你好 请问有mind+2.0的安装包吗
页:
[1]