华体会-从意外发现到效率革命：亚马逊云科技大规模应用自动推理提升系统效率

[导读]编者案：亚马逊云科技是独一一家如斯年夜范围利用主动推理的云供给商。跟着愈来愈多的人利用主动推理东西，这让我们在晋升主动推理东西的可用性和可扩大性上更轻易进行年夜量的投入。我们发现主动推理东西越易在利用，它们的功能就会变得越壮大，同时主动推理东西的采取率也会变得越高。我们越能证实云根本举措措施的准确性，对那些注重平安的客户而言我们的云就越有吸引力。正如本文所述，经由过程主动推理，我们不但可以或许提高平安性，还能更快地为客户供给更高机能的代码，并终究节流客户的本钱。 在亚马逊云科技利用主动推理的10多年时候里，我们发现颠末验证的代码凡是比它所替换的未经验证的代码机能更好。 这首要是由于在验证进程中我们所做的bug修复凡是会晋升代码的运行机能。主动推理闪开发人员有决定信念去摸索额外的优化，进一步晋升系统机能。我们发现验证的代码更轻易更新、点窜和操作，这削减了三更的日记阐发和调试环节。 主动推理的根基概念 在亚马逊云科技，我们尽力为客户构建简单、易用的办事。但在这类简单的背后倒是重大、复杂的散布式系统，每秒处置着数十亿个要求。验证这些复杂系统的准确性是一个极年夜的挑战。我们的办事跟着新功能的增添、组件的从头设计、平安的加强和机能的优化，一向处在不竭转变和成长的状况。良多转变自己就长短常复杂的，必需在不影响亚马逊云科技自己或客户的平安性和韧性的条件下进行。 设计评审、代码审计、压力测试和故障注入是我们常常和将来城市一向利用的贵重东西。但是，我们发现依然需要利用额外的手艺来确认很多环境下的准确性。细微的bug仍可能逃过检测，特别是在年夜范围、容错架构中。有些问题乃至可能源在最初的系统设计，而不是实行缺点。跟着我们办事范围和复杂性的增加，我们不能不利用基在数学和逻辑的更壮大手艺作为对传统测试方式的弥补。这就是人工智能(AI)的一个分支主动推剃头挥感化的处所。 传统测试偏重在在特定场景下验证系统行动，而主动推理旨在利用逻辑来验证系统在任何可能场景下的行动。即便是一个中等复杂的系统，要重现可能产生的每种可能状况和参数的组合，所需的时候也是不可思议的。主动推理可以经由过程计较系统准确性的逻辑证实来快速、高效地获得不异的结果。 利用主动推理需要我们的开辟者具有分歧的思惟体例。我们不是试图斟酌所有可能的输入场景和其可能犯错的体例，而是界说系统应当若何工作，并辨认出让它准确运行必需知足的前提。然后，我们可使用数学证实来验证这些前提是不是为真。换句话说，我们可以验证系统是不是准确。 主动推理将系统的规范和实行以数学的情势进行审核，然后利用算法来验证系统的数学暗示是不是知足规范。经由过程把我们的系统编码为数学系统，并利用情势逻辑对其进行推理，主动推理使我们可以或许有用和权势巨子地解答有关系统将来行动的要害问题。系统能做甚么?它将做甚么?它永久不会做甚么?主动推理可以帮忙回覆系统的这些问题，即使是最复杂的、年夜范围的和潜伏无穷的系统——这些场景是单单经由过程传统测试没法完全验证的。 主动推理能让我们到达完善的水平吗?不克不及，由于它依然依靠在对系统组件的准确行动和系统与其情况模子之间关系的某些假定。例如，系统模子可能毛病地假定底层组件(如编译器和处置器)没有任何bug(虽然也能够对这些组件进行验证)。话虽如斯，与利用传统软件开辟和测试方式比拟，主动推理让我们更有决定信念到达准确性。 更快的开辟 主动推理不但仅是数学家和科学家的东西。我们的 Amazon Simple Storage Service (Amazon S3) 工程师天天都在利用主动推理来避免bug。S3的背后是世界上最年夜、最复杂的散布式系统之一，它存储了400万亿个对象、EB级此外数据并凡是需要每秒处置1.5亿个要求。S3由很多子系统构成，这些子系统自己就是散布式系统，此中很多由数万台机械构成。S3一向不竭增添新的功能，同时它也被我们的客户年夜量利用中。 S3索引子系统是S3的一个要害组件，它是一个对象元数据存储，来撑持快速的数据查找。该组件包括一个很是年夜的、复杂的数据布局和周详的优化算法。以S3的这类年夜范围，这些算法对人类来讲很难准确利用，同时我们也不克不及允许S3在查找时产生任何毛病，为此我们年夜约每一个季度城市进行新的改良，但任何更改都是在极为谨严和年夜量测试的条件下进行的。 基在我们15年的经验，S3是一个构建杰出和颠末充实测试的系统。但是，我们曾一度没法确认S3索引子系统中一个bug的底子缘由。该系统可以或许从异常中主动恢复，是以该bug的存在并没有影响系统的行动。但我们其实不知足在此。 为何这个bug存在这么久?像S3如许的散布式系统具有年夜量组件，每一个组件都有本身的异常环境(corner cases)，并且有可能同时产生良多异常环境。就S3而言，它具有跨越300个微办事，这些异常环境的潜伏组合的数目是庞大的。即便开辟人员有证据证实bug存在，并可能知道引发bug的底子缘由，但对开辟人员来讲，他们不成能斟酌到所有异常环境，更不消说这些异常环境的分歧组合了。 这类复杂性促使我们摸索若何利用主动推理来摸索可能埋没在这些状况中的可能状况和毛病。经由过程构建系统的正式规范，我们可以或许找到bug并证实将来不存在此类bug。利用主动推理也让我们有决定信念每两个月发布一次更新和改良，而不是一年只发布三或四次。 更快的代码 Amazon Identity and Access Management (IAM)办事的准确性是确保我们客户工作负载平安的根本。每一个发送到亚马逊云科技的要求即每一个API 挪用都由IAM授权引擎处置，这会触及到数百万客户、数千种资本类型和数百种亚马逊云科技的办事。这类要求每秒就跨越12亿次。这是亚马逊云科技中对平安要求最高和需要高度扩大的软件之一。 在亚马逊云科技，任何改变在进入到出产情况之前，我们需要有极高的决定信念确保系统连结平安和准确。利用主动推理，我们可以证实我们的系统在几近所有环境下遵照特定的平安属性。我们称之为可证实的平安性。主动推理不但使我们可以或许为客户供给可证实的平安包管，还让我们可以或许年夜范围交付功能、平安性和优化。 与S3一样，IAM在曩昔跨越15年时候里，已成为一个颠末时候考验的、值得相信的系统。但我们想进一步提高尺度。我们构建了一个正式规范来捕捉现有IAM授权引擎的行动，将其策略评估原则编码为可证实的定理，并利用主动推理构建了一个新的、更高效的实行。本年早些时辰，我们摆设了新的颠末证实准确的授权引擎——没人留意到。主动推理使我们可以或许无缝地用经证实准确的替代物取代授权引擎，一个最要害的亚马逊云科技根本举措措施之一。 有了规范和证实，我们可以很有决定信念的平安、积极地优化代码。在IAM的年夜范围下，每微秒的机能改良都意味着更好的客户体验和我们本身更好的本钱优化。我们优化了字符串匹配、删除没必要要的内存分派和冗余计较、增强了平安性并提高了可扩大性。每次更新后，我们城市再次运行证实，来确认系统仍在准确运行。 此刻，优化后的IAM授权引擎比拟之前快了50%。假如不利用主动推理，我们底子不成能这么有决定信念地进行如斯主要的优化。 更快的代码摆设 年夜大都在线平安买卖都遭到加密庇护。例如，RSA加密算法经由过程生成两个密钥来庇护数据：一个用在加密数据，另外一个用在解密数据。这些密钥实现了平安的数据传输和平安的数字签名。在加密这类场景下，准确性和机能相当主要——加密算法中的一个bug多是灾害性的。 跟着亚马逊云科技客户将工作负载迁徙到Amazon Graviton上，针对ARM指令集的暗码优化的益处也获得凸显。可是，经由过程加密优化取得更好的机能是很复杂的，这使得验证点窜后的加密算法是不是正常运行变得坚苦。在我们最先利用主动推理之前，对暗码学库进行优化凡是需要数月的审查，才能取得足够的决定信念将其投入出产情况。 主动推理的气力就在在此：正式验证使RSA更快，摆设也更快。当我们将主动推理利用在椭圆曲线暗码学时，我们也看到了近似的晋升。 构成一个良性轮回 我们在曩昔十多年间，在亚马逊云科技的内部愈来愈多的利用主动推理手艺来证实我们的云根本举措措施和办事的准确性。我们常常利用这些方式不但用在验证准确性，并且还用在加强平安性和靠得住性，和最小化设计缺点。可使用主动推理为一个系统建立一个切确且可测试的模子，利用该模子快速验证更改是不是平安，或发现它们是不平安的来避免对出产环节发生有害影响。 我们可以回覆关在我们根本举措措施的一些要害问题，来检测可能致使数据泄漏的毛病设置装备摆设。我们可以禁止一些我们没法经由过程其他手艺发现的奥妙但严重的毛病进入出产情况。有了模子查抄，我们取得了显著的机能优化，这是我们以往不敢测验考试的。主动推理为要害系统按预期运行供给了严酷的数学包管。 亚马逊云科技是独一一家如斯年夜范围利用主动推理的云供给商。跟着愈来愈多的人利用主动推理东西，这让我们在晋升主动推理东西的可用性和可扩大性上更轻易进行年夜量的投入。我们发现主动推理东西越易在利用，它们的功能就会变得越壮大，同时主动推理东西的采取率也会变得越高。我们越能证实云根本举措措施的准确性，对那些注重平安的客户而言我们的云就越有吸引力。正如前文所述，我们不但可以或许提高平安性，还能更快地为客户供给更高机能的代码，并终究节俭客户的本钱。 我们正处在一个新时期的初步，在这个时期年夜范围云架构的要害属性，诸如平安、合规性、可用性、持久性和防护等都可以实现主动证实。亚马逊不同凡响的地方就在在，我们从根本就用靠得住的数学推理并延续阐发我们所构建的一切，避免从AI幻觉到阐发虚拟机监控法式、暗码学和散布式系统等潜伏问题的产生。

欲知详情，请下载word文档 下载文档

来历：亚马逊云科技

作者：Byron Cook，亚马逊云科技主动推理副总裁和卓异科学家

北京2024年8月27日 /美通社/ -- 在8月23日举行的2024年长三角生态绿色一体化成长示范区结合招商会上，软通动力信息手艺（团体）股分有限公司（以下简称 软通动力 ）与长三角投资（上海）有限...

要害字： BSP 信息手艺

上海2024年8月26日 /美通社/ -- 本日，高端全合成润滑油品牌美孚1号联袂品牌体验官周冠宇，开启全新路程，助力泛博车主经由过程驾驶去摸索更广漠的世界。在全新发布的品牌视频中，周冠宇和分歧布景的消费者表达了对驾驶的酷爱...

要害字： BSP 汽车制造