本文由 Okta 合作呈现
随着企业竞相部署人工智能代理，他们让新的“数字员工”在工作场所自由活动，却往往没有过多考虑如何划定界限来控制这些员工。
Okta 产品和技术总裁 Ric Smith 认为，这些公司就像是在没有进行背景调查的情况下就邀请新员工进入办公室一样。
“这会变得风险很高，”史密斯在最近的一次采访中告诉我。
史密斯表示，如果没有妥善的管理，你无法确定这些新机器人员工在你的办公楼里会做什么。它们可能会泄露员工的机密记录、高管的沟通信息，甚至更糟糕的事情。
以下是我们关于代理部署中新增的安全问题以及如何应对这些问题的完整对话。
Alex Kantrowitz：Rick，人工智能代理推出的下一个 12 到 24 个月的情况如何？
里克·史密斯：我们要明白，我们新招了一名员工，却没有对他进行背景调查，就把他/她带进了办公室。这将是本次会议的主题。
我们将给予这些新“员工”多少信任？
目前，这取决于公司的应对措施。如果你和我们这样的网络安全公司谈谈，就会发现访问权限受到限制，我们设置了许多关卡和控制措施，以防止公司内部敏感资料遭到篡改。
我们知道，对于那些缺乏这种安全防护措施的公司来说，其访问权限范围会非常广泛，风险也会很高。而且，我们很可能会看到——在风险最低的层面上——发生大量的安全事件。我们已经看到一些网络攻击实际上利用了人工智能技术，这意味着任何形式的安全边界都会因此面临更大的挑战。
显然，这意味着更多针对那些实际上并不安全的系统的攻击。纵观当前语言模型的发展历程，安全性始终是事后考虑的因素，因此我们知道这里存在着很高的风险。
那么，您能否帮助我们区分人工智能代理领域的炒作和现实？
这种趋势正在迅速蔓延。举个例子，我目前就有一位客户正在和我们洽谈，计划部署比现有员工人数多出约 20% 的客服人员。
人们确实很认同这一点。但他们更看重的是机遇，而不是相关的风险。我认为这并不意味着我们应该放弃这个机会，但我们需要务实，确保——就像对待新加入我们组织的人一样——我们需要了解他们，理解他们。我们已经建立了适当的控制措施来限制访问权限。
我确认一下我理解得是否正确，您说的这家公司机器人员工比人类员工多20%？
这就是他们的目标。
你认为未来有一天，公司里人工智能代理员工的数量会超过人类员工吗？
当然。我们先从这些人工智能公司的估值说起。以会计行业为例，会计软件支出约占会计总支出的2%。会计行业潜在市场规模（TAM）的大部分实际上是人力成本。因此，当我们审视这些人工智能机遇时，他们实际上是在考虑大幅削减人力成本，这直接影响了他们对公司整体估值的方式。这实际上是推动整个行业发展的方向。所以我们实际上是在思考，如何用这些人工智能来取代人力成本？由此，我们可以推断出其他公司在这种背景下会如何思考，因为他们也受到了那些以这种方式估值的公司的影响。所以，他们也开始从这个角度来思考这个问题。
所以，我认为在某个时候，我们会看到很多公司大量使用代理商，而且根据公司业务类型的不同，代理商所占比例也会有所不同。有些业务劳动密集型，需要灵巧的双手和手指，而代理商无法胜任。但对于知识型员工来说，这确实是一个威胁。
你认为我们会不会看到更多公司因为这类赋能技术而涌现？
当然。在私募股权圈，他们现在都在谈论，企业的运营成本（OPEX）会下降，因为人力资源也会减少。所以，私募股权公司的理想状态是：只有少数员工，大部分都是代理人在运作。显然，我们离这个目标还很远。这些讨论可能很理想化，但我们大概只能实现70%到80%。互联网泡沫破灭和互联网的发展历程也是如此。移动技术的发展也是如此。云计算也是如此。它正在进步，但还没有取代我们所有的工作负载。人工智能领域可能也会面临同样的情况，这并不是要低估人工智能的影响，而是我们可能即将看到的现实。
企业将如何管理所有这些机器人工人或人工智能代理工人？
这将会变成一场运营噩梦。而我们已经开始着手解决这个问题，至少要能够发现这些设备并了解它们正在执行的操作。这是第一步。下一步是能够实时限制所有这些操作。仔细想想，如果你能部署这些设备，就像你可以雇佣一个人在走廊里巡逻一样，概念非常相似。
如果他们可以进入所有的门会发生什么？
那么你就遇到麻烦了，这就是我们在这里帮助你预防的原因。
目前阻碍企业人工智能部署的最大问题是什么？
很多团队在部署过程中缺乏监管，结果导致他们获得了可以运行大量复杂计算并实际采取行动的工具，从而获得了对关键系统的访问权限。因此，如果没有采取适当的控制措施，就可能泄露员工薪资或客户信息等本不应该泄露的内容。
您经常与那些正在考虑此事的公司领导人交流。那么，首席执行官们是如何看待让人工智能代理发挥作用所带来的好处和潜在弊端之间的平衡的呢？
在高管层，CEO看到了更快增长的可能性。我可以建立更多业务，获得更多收入。他们也看到了成本和运营费用的降低，因为人们普遍认为管理代理商比管理员工更容易，这其中可能也包含一些事实。
实际上，从合规角度来看，首席信息安全官（CISO）最关心的是他/她，他/她也直接向董事会汇报。所以，关键在于这两者之间的沟通。目前的问题在于如何平衡发展速度和控制力，避免日后失控。
您认为这些对话目前进展到什么程度了？是刚刚开始，还是已经深入探讨了？
这取决于公司。我认为这项技术发展趋势相比其他趋势的一个优点是，安全问题很早就被提上了日程，这意味着很多人都想做正确的事情，显然也有一些公司正在努力做正确的事情，并为客户提供合适的工具来管理安全问题。但我认为现在还处于早期阶段。是的。
好的，最后一个问题。当我们思考如何让人工智能更上一层楼时，其实有两种观点。一种观点认为，如果模型更好，就能做更多的事情。另一种观点则认为，目前的技术已经足够好了，关键在于如何更好地协调运用。那么，从你的角度来看，哪种观点更重要呢？
当我们想到机器时，往往会想到完美和精准。事实上，当你雇佣某人时，你或许也希望他们具备这些特质，但我们都知道，作为人类，我们每个人都有缺点和不足之处。
所以，是的，模型会不断改进。但我认为更重要的是要让人们意识到，模型实际上只需要在统计学上达到一定水平就能产生实际影响。我们现在追求的不是完美的模型，而是足够好，能够分担工作，就像我们现在招聘员工一样。
在流程编排方面，您希望代理能够执行复杂的操作。而实现这一点的唯一途径是采用代理工作流程，在这种工作流程中，代理可以协调并使用工具集代表人类或其他代理执行操作，从而最终获得结果。
里克，谢谢你。
非常感谢。谢谢你，亚历克斯。
原文： https://www.bigtechnology.com/p/oktas-ric-smith-your-ai-agent-is