生成式人工智能正加速融入社交、内容创作和情感陪伴等互联网场景。尤其在年轻人聚集的社交平台中，AI不仅是内容生产工具，更逐渐成为陪伴用户参与互动、影响决策的重要角色。这既为行业带来了新机遇，也带来了新的伦理治理挑战。
6月23日，专注于情绪感知与交互、模型与应用一体化的AI生态公司Soul App成立了人工智能伦理与治理委员会。除内部委员外，委员会汇聚了来自互联网治理、伦理学、社会学、青少年研究、法律等领域的外部委员，为AI伦理治理提供多元视角。
Soul App创始人、CEO张璐表示，“AI究竟如何深入交互场景？需要的核心能力是什么？AI边界应该如何把握？这是Soul一直在思考的核心问题，过去一段时间，我们进行了数据安全、用户隐私保护、AI防沉迷、AI治理机制升级等多维度的探索，我们希望通过委员会的成立进一步凝聚自律共识、拓展治理视野，更前置、系统地建立AI伦理治理体系和管理闭环机制，为广大用户营造更加真实、温暖、可信的社交生态”。
“对大模型企业而言，关注人心背后的伦理需求，将其融入产品设计中，这是应有之义，也是未来企业发展重要的机遇。”Soul App人工智能伦理与治理委员会外部委员、复旦大学马克思主义研究院副院长、伦理学博士李凌表示，随着人工智能技术的发展，Al治理必将从边缘问题走向核心位置。
Soul人工智能伦理与治理委员会举行第一次外部委员专题会议。
AI治理的多重挑战
根据Just So Soul研究院发布的《2025 Z世代AI使用报告》，55.4%的年轻人会在工作学习时频繁使用AI辅助创作；近四成年轻人每天使用AI产品获得陪伴。可以看到，AI的角色已不再只是“工具”，而是成为用户的社交对象和生活伙伴，成为更为密切的协作者。
Soul App首席技术官、人工智能伦理与治理委员会主任委员陶明表示，我们既需要借助AI推进自然、真实、有温度的交流体验，赋能真实的人与人链接，又始终需要让AI坚守安全、可信、向善的发展方向。
这对企业的AI伦理治理能力提出了更高要求。AI伦理风险具有复杂性、跨界性与复合型特征，其伦理治理也因场景而异。在AI交互领域，AI伦理治理正面临诸多挑战。
Soul App首席技术官、人工智能伦理与治理委员会主任委员陶明。
陶明介绍，其一，情感陪伴与情感依赖的边界亟待厘清。AI虽能提供情绪价值，但若缺乏合理边界，也可能引发用户对AI形成不合理的依赖，甚至产生关系认知偏差。如何让AI既保持陪伴感，又不制造错误的期待，是行业面临的共性课题。
其二，安全治理和用户体验需审慎平衡。标准过于宽松可能带来内容风险，过于严苛又会影响用户的正常交流体验。在提升审核精度的同时，维持AI对话的流畅自然，仍需持续探索。
其三，对未成年人及弱势群体的保护提出了更高要求。随着AI互动能力的不断增强，如何避免未成年人受不当内容的影响，并在心理危机、情绪脆弱等特殊场景下提供更加负责任的回应，直接考验平台的治理能力。
此外，随着大模型能力的持续演进，模型幻觉、内容真实性、身份边界、数据隐私等问题也成为行业普遍关注的新挑战。陶明表示，特别是在AI越来越像真人的情况下，让用户清晰理解AI的身份、保障用户知情权和选择权，是未来治理的重要方向。
Soul App人工智能伦理与治理委员会外部委员、上海社会科学院新闻研究所互联网治理研究中心主任方师师表示，AI陪伴的核心治理挑战既体现在技术层面，也体现在社会层面。对于陪伴式AI过度沉迷的问题，技术层面需要关注算法与模型的公平性、透明性以及问责机制；社会层面更应关注社会系统的结构性因素，如对需要关爱的群体是否有足够的社会支持，公共文化设施是否提供了足够丰富的线下选择等，引导用户将AI互动视为生活的一部分，而非情感依托的全部来源，从而在技术与社会的协同治理中实现平衡。
从交互场景出发凝聚治理共识
“讲治理不是在讲空架子，也不是只讲述宏大的价值观念，真正的治理是在应用到各行各业的过程中，从政府端、到行业端再到企业端，多方协作一起寻找到适配的模式。”上海市人工智能行业协会安全工作委员会秘书长、上海兰迪律师事务所高级合伙人殷雨薇说。
Soul成立人工智能伦理与治理委员会正当其时。区别于通用大模型方向，作为专注于情绪感知与交互、模型与应用一体化的AI生态公司，Soul以基于情绪感知、语音为先、面向多模态的交互大模型为技术内核，构建“自有应用—产业生态”双层应用体系。对内，以Soul App等真实社交场景为载体，持续迭代模型交互能力；对外，以SoulX模型能力为产业链赋能，面向具身智能、内容演绎等行业输出情绪感知与交互决策方案，并延伸至AI治理领域，这些都成为构筑Soul AI伦理治理体系的重要基石。
随着技术成熟度提升、市场格局稳定以及社会关注增加，企业的伦理治理正从被动应对逐步转向主动构建。方师师表示，AI伦理治理宜从企业实践中的具体场景出发，聚焦实际问题，在局部取得小范围突破后阶梯式抽象，最终沉淀为行业标准与共识。
围绕AI虚拟人、AI语音互动、AI内容创作等生成场景，Soul持续推进AI伦理治理体系建设，逐步构建集输入治理、生成治理、输出治理、风险干预、用户保护于一体的生态体系，尤其针对未成年人建立了专项保护体系，强制不向未成年人提供虚拟人服务，上线青少年模式等。
针对当前AI生成违规内容成本低、传播快、隐蔽性强的治理挑战，Soul搭建以“AI对抗AI”的智能治理体系，构建“动态采集—AI深度分析—智能决策—智能执行”的智能对抗链条，推动安全防护能力模块化整合、体系化协同，不断提升平台在复杂网络环境下的主动防御能力与综合治理水平。
针对虚拟人交互安全、行为边界与AI沉迷等问题，Soul建立AI虚拟人双向审核机制，实现“用户侧审核+模型侧审核”的双重防护。针对模型多轮对话场景，平台引入上下文语义理解能力，不仅关注单句内容是否违规，也预判连续对话中的风险演化趋势，提升风险识别的准确性和稳定性。
同时，Soul在站内设置显著的AI虚拟人标识，并在虚拟人对话交互界面设置常态化固定标识，提示用户当前正与AI互动，充分保障用户知情权，避免用户混淆AI与真人，产生错误认知或情感误判。今年3月，平台上线“AI社交时长提醒”功能，引导长时间使用者从虚拟对话中适时“抽离”，保持与真实世界的连接。5月，Soul在《社区公约》中进一步明确AI的使用边界，引导用户合理使用。
多方智慧共建可信可控AI生态
为推进平台系统化构建AI治理机制，Soul邀请互联网治理、伦理学、社会学、青少年研究、法律等不同领域专家担任外部委员，成立人工智能伦理与治理委员会。上海市互联网业联合会会长姜迅表示，委员会的成立标志着Soul的AI伦理治理迈入了更系统化、专业化的新阶段。
委员会核心职能包括制定AI伦理治理战略，确保与技术发展同步；对新技术和新产品开展前置伦理评估；定期开展AI伦理通识培训，提升员工伦理素养；建立伦理事件闭环管理机制，包括监测、研判、处置、反馈等环节等。
依照章程，委员会还将根据治理需要设立专项治理小组，小组由公司安全、算法、技术、产品、法务、审核等不同业务领域的员工组成，聚焦隐私保护、算法合规、人机互动体验、内容审核、未成年人保护等细分领域，负责配合委员会完成专项审查、调研与技术优化工作。
Soul App人工智能伦理与治理委员会外部委员、上海市青少年研究中心主任李清川表示，青少年与Al的关系会深刻影响一代人的社会认知和情感能力，全社会需要关注三个问题。一是规避拟真陷阱，虚拟人要保持适度“非人感”或增加显著提示，让青少年始终清楚自己在与AI互动。二是明确纠错机制，避免情绪识别模型的误判可能对青少年造成二次伤害。三是塑造情感能力，充分利用平台积累的青少年社交行为数据，提炼场景，强化情感能力教育。
Soul App人工智能伦理与治理委员会外部委员、复旦大学马克思主义研究院副院长、伦理学博士李凌。
人工智能技术迭代速度远超立法进程，传统刚性监管难以适配，容易陷入“一管就死、一放就乱”的困境。李凌认为，AI伦理治理要坚持敏捷治理与柔性治理，以包容审慎的态度精准适配技术迭代节奏，在守住安全底线的同时，为技术创新与产业探索保留充足的试错空间和生长土壤。同时坚持协同治理，构建“网信统筹、部门监管、智库支撑、企业落实、协会自律”的多元共治新格局， 打破治理壁垒，形成对技术风险的全链条有效约束，跨越治理时机与强度难把控的“科林格里奇困境”，推动人工智能技术向善。
陶明介绍，委员会将围绕Soul“模型与应用一体化的AI生态公司”定位，坚持科技向善、技术为人、安全可控、普惠共治、公开透明的价值主张，以技术治理与伦理审查相结合的方式，构建覆盖数据、算法、应用的全流程风控体系，整体提升企业负责任创新的能力。一方面进一步完善AI安全审核体系和风险防控能力，提升模型可控性和可信度；另一方面积极与学界、行业开展合作，探索符合社交场景特点的AI伦理规范建设，将数据合规、隐私保护、未成年人保护、内容向善、公平透明等理念贯穿产品设计和技术应用全过程。
“我们希望将积累的安全理念通过委员会向行业输出，服务更广泛的产业界；同时将AI能力更好地赋能硬件陪伴、具身智能等产业领域，让我们的AI能力在更多实体场景中落地。”陶明表示，唯有如此，才能让技术价值得以放大，社会效益得以延展，真正实现技术向善。
盛多网提示：文章来自网络，不代表本站观点。
