本文作者:admin

刘向阳:数字化底座建设

admin 2024-09-27 13:43:07 37
刘向阳:数字化底座建设摘要: ...

  2024年服贸会专题论坛之一——“2024中国AIGC创新发展论坛”于9月13日-14日在北京举行。首席信息安全官兼软件工程院院长、欧洲科学院院士刘向阳出席并演讲。

  以下为演讲实录:

  刘向阳:大家好,非常感谢有这个机会跟大家做一个交流,我的题目是数字化底座建设。

  题目里面有两个关键词:一个是AI,美的集团全面拥抱AI大模型始于去年年初。去年使用AI的模式还是外挂式的,今年已经转变为内嵌式的。美的数字化底座也融入很多AI的能力。第二个是全球化,全球化带来出海,出海带来的问题就是“多云”,在国内用的是公有云、私有云,在海外可能用海外的公有云,这就会导致数字化底座的不统一,给上层应用带来非常大的改造量。怎么解决这个问题呢?在美的,我们建设了一整套云中立的数字化底座,也就是说不管你是在公有云上还是私有云上,对于应用来说整个数字化底座是一模一样的,是全球一张网。这样的话,上面的应用不需要任何改造就可以部署在任何一朵云上。

  今天简要先介绍几个系统,分别是大数据平台、数据库平台和研发效能平台。

  首先讲一下大数据开发平台。大数据开发跟普通应用开发不一样,普通开发相对简单,大数据开发平台涉及到数据的处理,各种表的处理,过程非常复杂。因此需要有一整套的大数据开发环境和大数据的开发平台,这里包括数据质量的检测,比如高管早上7点起来,你7点之前必须把这些报表准备好,如何确保这些数据在那个时候能出来?第一是任务要跑完,第二跑出来的数据是准确的,这经常需要手工去检查。美的数据部门必须深夜起来看这个运行是否正常,这需要很大人力投入,但我们已经把这个检查过程全部自动化了。

  大数据开发平台包括数据集成、数据开发、任务运维、数据地图、数据血缘等等这些能力,还内嵌了很多AI的能力分析。这个是多租户管理,即使是在一家企业,多租户能力也是非常重要的,否则如果一个人写一个大的数据清洗任务,如果任务特别耗资源,就会导致其他任务跑不出来,这个必须具备多租户的隔离能力,保证任何一个人写一个非常非常耗资源的任务不会把别人打挂,只能把自己打挂。同时我们提供了非常丰富的异构数据源之间的数据集成,因为要从各种异构数据库提取数据。数据开发能力包括离线作业的开发、实时作业的开发,还包括各种表的管理等等。

  大数据降本也是企业面临的一个难题,因为大数据非常消耗资源。我们在这方面做了很多工作,比如一般情况大数据有两个集群:一个是生产集群,一个是开发集群。当你在开发集群上引用生产环境的数据时,要把很多生产数据拷贝到生成集群,这个非常消耗资源,也非常耗时。这就带来了两个问题:第一你得有两个集群;第二经过数据拷贝后,这两个集群的大小可能都差不多。我们是怎么解决这个难题的?我们把这二者合二为一了,而且数据我们只保留一份逻辑数据。在数据开发的过程中,当对某些表做写操作时,开发人员的感受是对任何有权限表都可以写操作,但实际上这个操作不会影响我们的生产数据。

  数据的血缘分析非常重要。现在美的一张复杂的表可能由上千张表最终生成的,这些复杂的表,几十万张表、上百万张表,他们的关系非常复杂,靠手工捋清楚是极其耗时的事情,我们实现了全自动数据血缘关系分析,并且以图形方式展示出来。

  我们还提供数据权限的管控,不同表采用不同权限控制,针对敏感数据,平台会自动识别并自动脱敏。

  大数据开发平台还内嵌AI能力,比如:在大数据平台内你可以直接用自然语言来问,告诉我每个城市的销售额,并且按照倒叙排列,平台就会直接返回正确结果。你也可以点开查看对应SQL语句,你要想做修改也是可以做修改,也可以一键绘图,就能帮你生成相应的图表。

  当然还提供数据洞察、全球部署等等,这些能力是全面对标信通院标准的全部能力。

  下面介绍一下大数据引擎平台。这个引擎平台是兼容开源大数据体系的,因为业界有很多大数据开源的组件,比如Yarn、Spark、Flink等等,这些开源组件,很多公司是拿来直接用的,直接用就会产生一个问题,所有这些开源组件都不是企业级的软件,真正用起来时都会有各种各样问题,那我们怎么解决这个问题的?我们是把开源不具备的能力补齐,包括集群管理、组件管理、资源管理、动态扩缩容、高可用、高可靠等等。形象的比喻是:开源引擎就像肉身一样,我们做的是外壳,把这些平台管控和内核优化能力补齐。

  当然这些也是对标信通院的标准。

  下面介绍一下数据库管理平台。公司大部分情况下肯定要用到数据库和DBA,DBA大部分情况下是直联数据库,然后对数据库进行各种操作,没有权限管控,即时有管控也只能在库和表的level上进行管控,要么没有权限访问,要么有权限访问,HR数据库DBA可以看到所有人工资,这个肯定是不合适的。还有看了哪些数据、对哪些数据进行修改也没有操作审计,而且看到数据的时候,数据也没有脱敏,包括各种数据的传输。

  还有一点是SQL诊断,能不能自动诊断出SQL问题,能不能自动给出修改意见。

  这个是我们建设一整套数据库管理平台,我们所有的DBA不再直联数据库,我们所有DBA都是登录我这个平台,通过这个平台去连数据库,DBA不能直联数据库,所有操作是通过这个平台来操作,这里有各种权限管控以及各种操作审计,包括查询能力、数据变更、安全管控、数据同步、数据归档、数据订阅、数据校验、数据库诊断以及运维管理,这里讲一下内嵌的AI能力,比如能够把自然语言生成SQL语句,也能够根据SQL语句能告诉你这个SQL语句是什么意思,能够完成不同数据库之间SQL语句转化,给我MySQL,给你生成Oracle SQL,还有MySQL的诊断,这块我们首先有MySQL监控,监控检测出来之后,大模型会自动给你修改意见,还有SQL执行异常的话也会帮你分析原因。这个我们也是对标了信通院的全部标准,美的有5000多个数据库,全部由平台管理,所有人不能直联数据库,只能通过平台对数据库进行操作,这样对DBA的人数是一个数量级的减少,提效非常明显。

  下面介绍一下数据库引擎,企业里用开源数据库很常见,比如MySQL等等数据库,这些最大的一个问题是:不具备高可用、高可靠的能力,想把这些补齐非常困难。我们建设了一整套的管理平台,这些开源数据库我们对内核做了优化,那些没有的能力我们也进行了补齐,不是简单地把数据库改改,而是跟开源大数据平台一样,把缺乏的专业能力补齐。包括资源调度、弹性的扩缩容、高可靠、高可用、安全巡检等能力。当然我们也做了很多优化,优化后,数据库性能可以提升3倍,并发能力可以提升4倍。这里面很多高可用能力、高可靠能力,即使有人把这个数据库删了,跑路也没有关系,我们有防护的能力,弹性的扩缩容等能力。

  下面介绍一下我们的研发效能平台,这是一站式的研发效能平台,包括几大平台:第一是项目管理,这是基于敏捷的研发模式。第二是研发平台,包括构建发布。还有自动化测试平台,就是质量平台,包括各种流量回放、精准测试等等能力。这三个平台数据都会实时传递给度量平台,这里面对个人、对团队等等从多个维度对效能进行度量。还有一个是WorkSpace,这个是我们一整套基于AI的研发平台,从需求分析一直到代码自动生成上线,整个流程是全部基于大模型的。这是我们的项目管理平台,这里面也是内嵌很多的AI大模型能力,帮你做需求分析等等的能力。这是流水线,包括很多安全能力,包括很多SCA分析、DST、静态扫描等等能力。这是代码扫描和流水线,研发平台也包括AI大模型能力,能够代码自动补全,也能够给代码生成注释等等。测试平台里面有很多能力,包括流量回放,省去写测试用例的时间。精准测试,一个企业里的项目很大,测试成千上万个,改一行代码经常要把所有测试用例库跑一遍,基本上是几个小时的时间。我们看程序员好像看似在刷手机,但没办法,得等测试跑完。通过精准测试,你改了10行代码,只需要跑和这10行代码关联的测试用例,其他用例不需要跑,这样就从几个小时等待时间降到几秒钟时间,大大提高了测试人员的测试效率。我们也包含接口测试、混沌测试等功能。测试平台也内嵌AI大模型的能力,比如:性能测试自动生成性能报告、测试失败帮你智能分析原因等等。度量平台包括各种维度的度量,因为有上千个指标,那上千的指标到底根据哪一个来衡量团队和个人的效能?其实哪一个都是不合适的,单个指标不能够多维度衡量团队或个人的效能,可以通过平台内置的效能模型来实现多维度,多指标的效能度量,当然这个模型是支持用户自定义的。度量平台也包括了AI大模型能力,对于团队和个人,平台AI都能够自动生成效能报告,会帮你自动做分析,找到哪里存在效能瓶颈,哪里存在不足,这些都是AI自动生成的。

  下面介绍一下WorkSpace,我们打造了一整套的基于大模型的全流程研发效能平台,包括产品经理Agent、开发工程师Agent、测试Agent。我们来看一下怎么用这个平台?首先,你想做一个事情就把需求描述写在这里,如果你是开发一个新的程序,你把需求描述写在这里,99%的情况是改现有的代码,有些部分做修改,这种情况下就可以把关联代码仓库放进来,把需求描述给出来,现有代码修改也是没问题的。然后平台会根据你的需求描述,大模型会帮你自动生成需求分析,需求分析还可以做修改,然后再进一步地帮你生成设计方案,当然每一步可以做修改,然后自动拆解任务,自动生成测试单元等,最后可以一件提交部署。这是一整套的基于AI大模型的能力。这个在业界我们是第一个做的。

  美的产品还包括很多电控软件,所以我们支持电控软件或者支持服务端,这也是满足信通院全部的认证标准。美的的内部平台,就有七千多个程序员在用。

  由于时间关系,我就介绍到这里,谢谢大家。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

阅读
分享