想衡量您的企业AI计划吗 那你应该从模型债务开始
新时代，高科技越来越发达。朋友们读了很多关于科技的重要新闻。我们也应该在生活中使用很多这些高科技的东西。朋友应该注意什么？今天，我想和大家分享一条关于科技的知识。我希望你会喜欢它。
在讨论的第一部分，我介绍了模型债务的基本概念，作为衡量单个模型和AI程序整体有效性的方法。在第二部分，我将通过一个简短的例子来说明如何在实践中计算模型债务。
计算模型生产债务和模型价值损失需要以下输入：
目标生产天数(TPD)是从数据科学团队将其发布到生产的日期到模型在其整个生命周期中生产的时间的天数。评估TPD的关键因素包括：
“加载锁定”(LTL)时间，这是数据科学团队将模型视为“准备部署”与模型在生产中首次部署之间的预期时间。锁加载时间越短，模型对业务的贡献就越快。
实际的锁加载时间将取决于ModelOps流程在企业AI架构师定义的生命周期步骤中移动模型的效率，包括技术检查(例如，安全扫描、性能验证等)。)，治理要求(例如，合规性、可解释的报告等)。)和业务考虑因素(例如，关于KPI的协议、部门签名等。).
模型的目标刷新率(TRR)，决定两次模型刷新之间的理想时间。每个模型都有一个刷新节奏，任何偏离模型目标刷新率的行为都会降低模型的性能。
对于许多模型来说，重点是快速更新，以跟上用于训练模型的数据与当前现实或“运行状况”之间的差异。例如，信用卡客户获取模型可能仅在一个季度后就损失20%至30%或更多的价值，而保险定价模型可能仅在30天内就损失30%的价值。但是，过于频繁地刷新模型也会降低模型的性能。关键是要确保按照数据科学团队和企业AI架构师约定的生命周期进行刷新。
实际生产天数，代表模型部署和运行期间任何TPD的一部分。
降级因素是由于缺乏目标刷新率而导致的模型性能降级。对于根据目标时间表更新的模型，这表示为每日疗效相对于目标疗效的百分比下降。
模型日值，即模型每天或每周的期望值。例如，衡量标准可以是基于模型输出所依赖的业务决策的每日收入、欺诈案件或无需人工干预即可处理的客户服务案件。短期价值衡量标准(例如收入或储蓄/日)对于需要很长时间才能到期的模型(例如，金融服务中的某些类型的模型)可能没有意义。对于这些类型的模型，有必要评估更复杂的值，这将在下一篇文章中介绍。
定义了这些参数之后，我们就可以开始评估模型债务了。首先，为模型的整个生命周期定义目标生产方案，从而建立与实际性能进行比较的基准。然后，在生产中持续监控模型，并使用结果计算瞬时模型和趋势模型的生产负债和模型价值损失。
假设数据科学团队开发了一个用于检测欺诈性保险索赔的模型。经过测试数据的训练，该模型证明能够以与人类调查人员相同的准确率检测出欺诈，从而实现自动理赔，每天为企业节省10万美元。假设目标模型锁加载时间为五天，目标刷新率为每五天一次，目标刷新周期结束后模型值每天下降2.5%。在“理想”情况下，模型将在发布后的第五天部署，然后每五天刷新一次。该模型将在60天内每天提供10万美元的价值，持续55天，总计550万美元。价值。
现在，让我们考虑一种情况，其中ModelOps处理失败，实际结果偏离理想状态。组织的低效会将模型的初始部署延迟15天，其他因素会将刷新率从5天提高到15天。影响如下：
根据目标生产情况，模型应该在第五天投入生产，但要在第20天才会部署，因此模型的生产负债在第五天到第20天之间每天累积到100%。
本文就为大家讲解到这里了。