苹果HomeView人员识别流程揭秘:最多识别6人,只传结果不传画面
· 故事苹果在介绍面向iPhone 18 Pro与iPhone 18 Pro Max的“安全隔离区”(Secure Exclaves)架构时,一并公开了其首款智能家居中枢HomeView的人员识别流程。这套流程的核心思路是:识别在隔离区内完成,主系统只拿到结论,拿不到原始画面和声音。
识别前提:已注册设备须在家庭网络内
在家庭场景下,HomeView最多识别6位用户,并依据识别结果提供个性化体验。它不依赖Face ID,而是主要通过Center Stage摄像头进行面部识别,并结合语音识别判断在场的是哪位家庭成员。
这一能力有前置条件:用户需要拥有一台支持Apple Intelligence的“已注册个人设备”,该设备须连接家庭Wi-Fi,并且必须处于最近解锁状态。满足这些条件后,HomeView才能通过面部或语音识别出该用户。
判断逻辑:先猜“谁在”,再核对设备状态
HomeView的识别逻辑分两步走。系统先通过Center Stage摄像头和语音判断“谁可能在场”,再核对该用户的iPhone或iPad是否连接家庭Wi-Fi、且近期解锁过。三者匹配后,系统才会将该成员与个性化体验关联起来。
从整体链路看,流程可以概括为:摄像头、麦克风输入,进入隔离区检测与处理,提取人脸与声音特征,匹配已登记身份,最终仅向系统返回“谁、在哪、把握多大”。
内部流程:画面与声音始终留在隔离区
启动时先加载已登记资料。设备启动后,人员识别隔离区(Person Recognition Exclave)会从安全存储隔离区(Secure Exclaves)中加载此前登记的人脸、声音识别模型及身份数据库,为后续匹配做好准备。
摄像头发现人脸,但不交出画面。摄像头拍摄的连续画面进入摄像头隔离区,由其检测人脸、标记人脸边界框,并将相关画面排队等待进一步处理。此时,摄像头隔离区可以通知主系统中的后台进程“可能有人出现了”,但通知中不包含图像数据,画面仍留在安全隔离区内。
麦克风提供另一条线索。音频先经过音频隔离区,完成异常检测和回声消除等处理,再送入人员识别隔离区。与摄像头类似,音频隔离区也能向主系统报告“可能有人在附近”,但不把音频交给主系统。也就是说,“检测到有人”与“允许系统取得录音”是两回事。
神经网络引擎提取特征。人员识别隔离区随后请求神经网络引擎隔离区加载人脸、声纹模型,生成用于身份匹配的特征。计算过程中,数据始终保存在隔离区控制的内存中,主操作系统无法访问。神经网络引擎使用隔离区专用的工作队列,每个模型完成运行后,还会清除相关状态。
综合人脸与声音得出身份。人员识别隔离区中的编排服务,将生成的人脸、声音特征与已登记用户的身份数据库进行匹配,再综合两类识别结果,得出身份判断及其置信度。这里的“置信度”,可以理解为系统对这次识别结果有多大把握,而不是简单输出一个不带可靠程度的姓名。
主系统只收到三类元数据
最终,主系统中的人员识别后台进程收到的是三类元数据:
- 人员标识:识别到的是哪位已登记用户;
- 位置:人员所处的位置;
- 置信度:系统对识别结果的把握程度。
在这一流程中,原始音视频不会共享给操作系统。系统再利用这些结果,支持日历、信息、Apple Music等依赖用户身份的功能,以及来自用户iPhone的兼容第三方音视频应用。
从公开的流程看,HomeView把“感知”和“使用”切开:隔离区负责看和听,主系统只负责根据结论提供服务。