课题组专注于信息安全与人工智能、计算机视觉、情感计算的交叉领域研究,取得了一系列成果,在隐私保护和在线社区管理方面提供了创新解决方案。
在情感计算领域,数据隐私和安全至关重要。课题组针对这一问题,采用联邦学习驱动的隐私保护技术,应用于跨数据库微表情识别。这种技术通过分布式学习框架,使模型能在多个客户端独立训练,无需集中存储数据,有效保护了参与者的隐私。在此基础上,课题组提出基于联邦学习的微表情识别框架(FedMer)。该框架旨在保障用户隐私的同时,实现高效的跨数据库微表情识别。与传统集中式训练模型不同,FedMer 在分散的客户端训练模型,并利用加密技术安全聚合模型参数,降低数据泄露风险,尤其适用于医疗诊断、心理分析等涉及敏感数据的情感识别场景。
FedMer 的具体实现步骤如下:首先是客户端数据聚类,鉴于微表情数据量有限且分布不均,FedMer 将客户端数据分组,每个客户端仅用本地数据训练模型,通过改进的聚类算法均衡数据样本数量,确保训练公平性;其次是同态加密,客户端训练后对模型参数加密上传,服务器在不解密的情况下聚合参数,保障模型参数隐私,之后将加密的全局模型参数返回客户端,客户端解密后更新模型继续训练;然后是全局聚合,FedMer 使用 FedAvg 算法聚合全局模型参数,客户端上传加密的模型梯度,服务器加权平均生成全局模型,既捕捉所有客户端数据的统计特性,又保护客户端隐私;最后是微表情识别模型,研究采用 STSTNet、RCNA 和 FeatRef 三种基于光流特征的微表情识别方法,在各个客户端本地训练,并通过联邦学习实现全局优化。
实验基于 MEGC 2019 复合数据库,使用 SMIC - HS、CASME II 和 SAMM 三个常用微表情数据库进行跨数据库评估。结果显示,FedMer 在保护隐私的前提下,虽性能略低于传统非联邦学习方法,但仍保持较高识别准确率。例如在 CASME II 数据库上,使用 FeatRef 的 FedMer 框架 UF1 值达 0.8139,UAR 值为 0.8315;在 SMIC - HS 数据库上,结合 STSTNet 的 FedMer 框架 UF1 值为 0.6503。消融实验验证了 FedMer 框架中不同模块的有效性,自动聚类算法在客户端聚类中表现更优,FedAvg 算法在联邦学习聚合策略中能有效降低过拟合风险,尤其适用于小样本微表情数据。总体而言,FedMer 框架在保护隐私的同时,微表情识别性能较高,在数据隐私保护要求高的场景具有重要应用价值。
随着互联网发展,在线社区中的文件共享行为引发关注。以往研究将未经授权的文件共享视为数字盗版,却无法解释为何相关立法下,社区成员仍频繁参与。课题组从公共物品贡献视角出发,引入不纯利他主义理论,深入探究该行为的驱动因素。研究构建了包含温暖光辉给予、资源需求、社区依恋以及威慑理论相关变量的理论模型,其中前两者代表自利性公共物品贡献动机,社区依恋为影响用户行为的关键情境因素。研究人员通过对芬兰某大学师生进行预测试,并利用 SurveyMonkey 对有文件共享经验的用户开展在线调查,收集到 181 份有效样本,借助 SmartPLS 3.0 软件进行数据分析,验证了测量模型的可靠性、收敛效度和区分效度,对理论模型进行了严谨检验。
在理论层面,该研究为理解在线社区文件共享行为提供了新视角,发现当用户将此类行为视为公共物品贡献时,制裁的威慑作用减弱,温暖光辉给予和资源需求成为强预测因素,且前者影响更显著,社区依恋也发挥着重要作用,丰富了公共物品贡献理论在数字领域的应用。在实践层面,研究成果为在线社区管理者和平台运营者提供了参考。管理者可通过宣传引导,改变用户对文件共享行为的认知;培育反盗版共享文化,降低社区依恋对文件共享的促进作用;平台则应加强监测,及时提醒用户,抑制未经授权的文件共享行为,维护在线社区的健康秩序。
主要成果:
1. Minpei Wang, Ling Zhou*, Xiaohua Huang*, Wenming Zheng. Towards federated learning driving technology for privacy-preserving micro-expression recognition. Tsinghua Science and Technology, 2024.
2. Xiuyan Shao, Hemin Jiang, Mikko Siponen, Cong Cao, and Xiaohua Huang. "Unus pro omnibus, omnes pro uno": understanding unauthorised file sharing in online communities from a public goods contribution perspective. Internet Research, vol. 33, no. 3, pp. 1114-1133, 2023.