几年前,KPMG 的合伙人 Jonathan Dambrot 在帮助客户部署和开发 AI 系统时开始注意到合规性和安全性方面的某些差距。 据他说,没有人可以解释他们的人工智能是否安全——甚至谁负责确保这一点。
“从根本上说,数据科学家不了解人工智能的网络安全风险,网络专业人员也不了解数据科学,就像他们了解其他技术主题一样,”Dambrot 在电子邮件采访中告诉 TechCrunch。 “需要更多地了解这些风险和立法,以确保这些风险得到适当解决,并确保组织正在就安全可靠的人工智能系统做出决策。”
Dambrot 的看法促使他推销 KPMG 的内部加速器 KPMG Studio,以资助和孵化一家软件初创公司,以解决围绕 AI 安全性和合规性的挑战。 Dambrot 与另外两位联合创始人 Felix Knoll(KPMG Studio 的“增长领导者”)和 Paul Spicer(KPMG 的“产品负责人”)以及大约 25 名开发人员和数据科学家组成的团队分拆了业务—— 颅骨。
迄今为止,今天悄然推出的 Cranium 已从毕马威 (KPMG) 和 SYN Ventures 筹集了 700 万美元的风险投资。
“Cranium 的构建是为了在客户端发现并提供 AI 系统的可见性,提供安全报告和监控,并创建合规性和供应链可见性报告,”Dambrot 继续说道。 “核心产品以更全面的视角看待人工智能安全和供应链风险。 它希望通过提供更好的人工智能系统可见性、提供核心对抗风险的安全性和供应链可见性来弥补其他解决方案中的差距。”
为此,Cranium 尝试映射 AI 管道并验证其安全性,监控外部威胁。 你问什么威胁? 它因客户而异,Dambrot 说。 但一些更常见的攻击涉及中毒(污染 AI 训练的数据)和基于文本的攻击(用恶意指令欺骗 AI)。
Cranium 声称,在现有的机器学习模型训练和测试环境中工作,它可以正面应对这些威胁。 客户可以捕获开发中和已部署的 AI 管道,包括整个 AI 生命周期中涉及的相关资产。 他们可以建立一个人工智能安全框架,为他们的安全和数据科学团队提供构建安全程序的基础。
“我们的目的是开始拥有丰富的遥测资料库,并使用我们的 AI 模型能够主动识别我们客户群中的风险,”Dambrot 说。 “我们的许多风险都是在其他框架中确定的。 随着我们开始看到更大的嵌入式基础,我们希望成为这些数据的来源。”
这很有希望——尤其是在每天都有新的人工智能威胁出现的时候。 这并不是一个全新的概念。 至少还有一家名为 HiddenLayer 的初创公司承诺这样做,表面上无需访问任何原始数据或供应商的算法即可保护模型免受攻击。 其他公司,如 Robust Intelligence、CalypsoAI 和 Troj.ai,提供了一系列旨在使人工智能系统更强大的产品。
Cranium 从后面开始,没有客户或收入可言。
房间里的大象是很难确定现实世界中针对 AI 系统的攻击示例。 根据 Adversa 的一项研究,对该主题的研究呈爆炸式增长,2019 年在科学出版网站 Arxiv.org 上发表了 1,500 多篇关于人工智能安全的论文,高于 2016 年的 56 篇。 但是,很少有关于黑客试图攻击商业面部识别系统的公开报道——假设这种尝试首先发生。
就其价值而言,SYN 的管理合伙人、Cranium 的投资者 Jay Leek 认为人工智能的稳健性是有未来的。 不用说,他当然愿意,因为他在这家合资企业中有股份。 不过,用他自己的话来说:
他通过电子邮件告诉 TechCrunch:“多年来,我们一直在跟踪 AI 安全市场,但从未觉得时机成熟。” “然而,随着最近围绕人工智能如何改变世界的活动,Cranium 正在以理想的市场条件和时机推出。 在所有行业中,确保围绕 AI 的安全性、完整性、偏见和滥用进行适当治理的需求从未如此重要。 Cranium 平台在整个 AI 生命周期中注入安全和信任,确保企业实现他们希望从 AI 中获得的好处,同时管理不可预见的风险。”
Cranium 目前拥有大约 30 名全职员工。 假设业务好转,它预计年底将有 40 到 50 家左右。