简 介
. 本系列报告受美国空军总部负责人力、人事和服务的空军副参谋长、计划与集成部门主任（AF/A1X）委托，在兰德公司空军项目部的劳动力、发展与健康项目中进行，同时还是2022财年“人才管理流程之机器学习决策支持工具”项目的一部分。
. 第四卷发布于2024年，通过审查，研究人员制定了一个分析框架，其核心是衡量和增强机器学习系统的三个属性：准确性、公平性和可解释性。在本报告中，研究人员将通过这三个属性来定义机器学习系统的安全性。随后，研究人员采用了案例研究方法；开发了机器学习系统，并以军官晋升委员会和发展教育委员会为例，对分析框架进行了演练。
. 本书原文发布于2024年2月19日，译文发布于2024年5月7日。
. 译文全文共计41千字。
目 录
关于本报告
兰德空军项目部
致谢
兰德公司简介
摘要
研究问题
研究方法
主要发现
建议
第1章 简介
1.1 背景
1.2 有原则的人工智能
1.3 准确性、公平性和可解释性的“铁三角”
1.4 报告组织结构
第2章 机器学习系统概念化和设计
2.1 人力资源管理用例
2.1.1 军官晋升
2.1.2 发展教育
2.2 概念框架
2.2.1 目标
2.2.2 实施设计
2.2.3 评估
2.2.4 选择合适的结果指标
2.2.5 将框架应用于机器学习支持的委员会决策
2.3 总结
第3章 定义机器学习系统准确性、公平性和可解释性的性能指标
3.1 安全标准#1：准确性
3.1.1 准确性的定义
3.1.2 训练数据适当性的评估
3.1.3 适当准确性效能指标的选择
3.2 安全标准#2：公平性
3.2.1 公平性定义
3.3 安全标准#3：可解释性
3.3.1 可解释性定义
3.3.2 适当可解释性能指标的选择
3.4 总结
第4章 应用：确定满足美国空军部目标的多种系统实施设计
4.1 实施设计#1：决策
4.1.1 目标实现情况评估
4.2 实施设计#2：建议
4.2.1 目标实现情况评估
4.3 实施设计#3：评分
4.3.1 目标实现情况评估
4.4 实施设计#4：总结
4.4.1 目标实现情况评估
4.5 实施设计#5：审计
4.5.1 目标实现情况评估
4.6 实施设计比较
4.7 总结
第5章 委员会机器学习系统实施的安全性评估
5.1 系统实施1：晋升建议
5.1.1 安全性评估
5.2 系统实施2：预测发展教育委员会评分
5.2.1 安全性评估
5.3 总结
第6章 人机集成和测试
6.1 与模型进行集成的评估人员绩效
6.1.1 实施设计的认知分析
6.1.2 模型解释
6.2 人机协作团队的试验鉴定
6.2.1 研发试验鉴定
6.2.2 作战试验鉴定
6.3 总结
第7章 总结与建议
结论1：要做到“安全”，用于人力资源管理的机器学习系统必须具备准确性、公平性和可解释性
建议1a.确定具体应用的准确性、公平性和可解释性定义
建议1b.确定每个维度对于特定应用的相对重要性
结论2：对机器学习模型的评估与其目标和实施设计密不可分
建议2a.美国空军部应使用迭代框架来选择、设计和评估机器学习系统
结论3：美国空军部可通过不同的方式将机器学习应用于委员会流程
建议3a.在使用机器学习模型之前，美国空军部应明确系统应用的人力资源管理目标
建议3b.美国空军部应调节机器学习系统的影响，以控制业务价值与风险之间的权衡
建议3c.美国空军部应遵循这样一种实施策略：先在有限的案例中应用机器学习系统，然后再逐步扩大其应用范围和影响。
结论4：在考虑的各种设计中，自动生成评估中包含的叙述性文本总结具有极大的灵活性
建议4a.美国空军部应继续投资于机器学习能力，以自动总结叙述性绩效评估
建议4b.美国空军部应使用能够总结绩效叙述评估的系统进行用户测试
结论5：评估必须超越机器学习模型的研发范围
建议5a.在研发过程中对机器学习模型进行系统测试
建议5b.对人的表现进行人工测试
建议5c.采用时间上向前延伸的分层试验鉴定策略
附录A 机器学习系统安全性评估补充
A.1 系统实施1：晋升建议
A.1.1 准确性
A.1.2 公平性
附录B 测试建议阈值的公平性
缩略语
参考文献
部分内容预览
定价 ：610元
联系我们
购置资料 杨老师：13165589228（微信同）
检索/翻译 梁老师：13011583019（微信同）
定制报告 蔡老师：13068796075（微信同）
北京分公司联系人 刘老师：18610862096（微信同）
