云原生时代(六): 机会与思考

云原生时代(六): 机会与思考

上文主要介绍了Kubernetes与容器编排之战,本文的最后一部分将系统性的总结云原生能带给我们什么样的未来,相关的创业和投资机会在哪里。

每一次IT产业架构的变革都会带来巨大的机遇和行业洗牌的挑战。过去的三四十年间,IT业经历了多次重大的变革,包括20世纪七八十年代从大型机向小型机的转移、九十年代C/S架构的普及,以及21世纪初互联网的兴起,先后造就了IBM、思科、惠普、Oracle、EMC、SAP等巨头企业。

历次IT技术革命还有个共同特点:无论原有的基础软硬件公司此前有多么牢不可破的垄断地位,一旦不能符合新的IT技术变革的趋势,洗牌在所难免。

现代云计算的浪潮开始于2000年以后,已经造就了VMware、ServiceNow、Salesforce、Shopify等数百亿美金的明星企业,以及无数的独角兽公司。

云计算是通过互联网的方式按需交付基础设施(硬件/服务器)、存储、数据库和各种应用服务,通常这些服务是由AWS、Azure等公有云或者私有云平台提供的。

而云原生是一种理念和架构,用于以针对云环境优化的方式组装上述所有基于云的组件。因此云原生也是一个目的地:对于那些希望实现基础设施和流程现代化,甚至组织文化现代化的企业来说,最终的目标是仔细选择最适合其具体情况的云技术。

要从云计算中获得最佳效果,需要使用云原生架构;云原生的普及又会促进云计算的加速发展。

从统计数据和发展趋势来看,云原生被接受的程度和普及速度正在大大加快,例如下图显示,自从2016年以来容器的使用量每年都在快速上升。IDC预计,到2022年90%的应用程序将采用微服务架构和第三方代码,35%的生产应用程序将诞生于云端。由于容器和敏捷方法的采用,预计2018-2023年间将诞生5亿个新应用程序。由数字化转型,以及接受和采用新技术的需求驱动,云原生将更深入地渗透到大型企业组织中。这意味着云原生技术和方法可能会遵循敏捷和DevOps的模式,越来越多地吸引更多的利益相关者,包括管理者和业务线领导人,在未来几年内覆盖一半或更多的组织。

各种场景容器使用量都在逐步上升

但目前不是所有的云计算技术和产品都能很好的满足云原生架构分布式、自动化、轻量化的要求,传统的IT基础设施正在受到越来越大的冲击,例如传统集中式数据库正在逐渐被分布式数据库所取代,虚拟机技术受到了容器的巨大冲击,分布式监控系统完全替代了传统的监控产品,而传统的安全产品也远远无法满足云原生安全性的要求。

还需要注意的是,云原生的概念不仅仅只意味着容器、Kubernetes或Serverless,也为下一项技术留下了足够的空间。

云原生投资的分层

对于大多数软件开发组织来说,仍然处于采用微服务和容器的早期阶段。新机遇一方面源自于云原生在各行各业的应用,一方面则是云原生相关新的基础设施。

CNCF全景图呈现了比较完整的云原生项目和分类,我们可以将其简化成如下图所示的几种大的分类:

一共分为AppDev & DevOps;Management;Runtimes;Infrastructure and Services;Serverless;Observability;Security八个大的模块。

从广义的角度来讲,云原生应用的设计、开发、管理、运维、分析与传统应用有非常大的不同,生态的每个环节、技术的每个领域都会有许多机会,例如云原生应用的设计、咨询、开发、培训,需要有方案商、供应商、实施商;在基础设施层面,数据库、开发工具、核心中间件、安全产品等等都会有巨大市场需求,例如Service Mesh+安全、Serverless+安全、容器+安全、多云+安全,例如云原生数据的分析处理,例如云原生架构的灾备管理。

我个人将云原生的生态分为三层:

• 技术层

技术层包括云原生技术相关的基础设施,主要分为两种类型:

1、原有技术的替代品:例如ETCD取代传统的数据库

2、全新基础设施:新技术相关产品,例如Istio和OpenFaaS

• 应用层

应用层主要是云原生在各行业的具体应用。

• 服务层

包括云原生相关的培训、咨询、认证等相关服务。

下面我重点讲讲技术层和应用层。

云原生技术层

下面的表格里代表性的列举了云原生技术层的几个领域及相关项目。

下图展示了当前这些项目的市场占有率情况。

可以看到技术层涉及的范围非常广,机会非常多,本文仅展开介绍其中我比较看好的一个领域-云原生安全。

据CNCF统计,采用容器技术的挑战中,开发团队面临的文化挑战、安全性、复杂性、就绪性和监控分别排在前五位。

使用容器的挑战

在云原生架构中,安全问题显得尤其突出的原因有以下几点:

1、快速迁移到云原生架构对企业安全状况和运营产生了深远的影响。在容器、微服务和编排框架的世界中,以持久“状态”运行在“服务器”上的“应用程序”的概念已经过时。现在,该应用程序或服务是一个分布式系统,由多个组件组成,这些组件运行在数量可变的节点上,处于几乎恒定的变化状态。依赖于机器隔离和可预测的系统状态的传统安全控制是无效的。对服务到服务的通信视而不见的安全策略以及缺乏水平可扩展的控件,根本无法跟上当今微服务应用程序的步伐。

2、随着企业将工作负载从数据中心转移到AWS、Google Cloud Platform和Microsoft Azure,它们已经改变了购买安全性的方式。他们需要独立于平台的安全工具,这样就不会被绑定到特定的云平台中。

3、复杂系统可以创建大量的警报和事件日志,这会是一项惊人的任务。安全项目被堆积如山的繁忙工作所淹没,分析师们疲惫不堪。随着分析师对惊人的数据量变得不敏感,真正的问题就从他们的手指间溜走了。

4、DevOps是一种协作方法,它将开发人员和IT操作统一起来,以加快应用程序的构建、测试和部署,它也影响了IT安全。当开发人员可以直接将他们的应用程序部署到生产服务器上,因为业务敏捷性需要它时,他们就不能停下来找出安全问题。DevOps提供了一种完全不同的安全方式,安全自动化有很多机会。

为了在云本机环境中保护业务资产,组织必须将安全实践和技术与它们要保护的系统纳入体系结构中。正如DevOps支持持续开发和部署一样,“DevSecOps”也必须支持持续的安全管道。这意味着要建立全新的方法、功能和工具,以确保旨在保护云原生系统的解决方案呈现以下基本特征:

• 全局的实时可见性:局部的或事后的可见性是不够的。无论位于何处,基础架构层和应用程序都必须可见。

• 快速、迭代的反馈循环:反馈循环允许安全措施不断适应快速变化的环境。

• 解决安全问题的工程方法:自动化、连续测量和受控实验将是解决整个企业安全问题的主要方法,取代手动分析和控制更新。

因此,像Netflix、Lyft和Square等组织已经开始将云原生安全作为工程问题来处理,使用自动化来避免这些陷阱,并使安全团队更加有效。他们还规避了将检测、响应和开发团队分开的烟囱式结构,在构建安全检测机制并将它们与响应编排集成时遵循DevOps的思想。

来自Netflix的安全检测组件示例

Kubernetes官网上认为云原生的安全分为4C,即代码、容器、集群、云四个层级。

CNCF全景图中安全与合规子分类里包含的项目如下图所示。

像在我多篇文章里曾经提及的新一代云安全公司,市值189亿美金的CrowdStrike,直接将自己定义为云原生的端点保护平台(Cloud-Native Endpoint Protection Platform),以此同传统的端点保护产品区分开来。

下面我介绍几家和云原生安全相关的初创企业。

1、Capsule8(B轮)

Capsule8是一家由经验丰富的黑客和安全企业家创建的高新科技初创型企业,总部位于纽约布鲁克林,成立于2016年秋季,在2018年8月获得1500万美元的B轮融资。

Capsule8开发了业界第一个也是唯一一个针对Linux的实时0day攻击检测平台,可主动保护用户的Linux基础设施免受攻击。Capsule8实时0day攻击检测平台可显著改善和简化当今基础架构的安全性,同时为未来的容器化环境提供弹性的支持。

混合云架构已经成为企业IT基础设施的重要架构,但其复杂性也使企业面临多种攻击的风险,根据Capsule8与ESG Research赞助的一项新研究表明,仅2017一年就有42%的企业报告了混合云环境受到攻击,28%的企业表示0day攻击是这些攻击的起源。

混合云环境由于存在多云服务商,缺乏中心控制和完整的合规性规划,存在边界模糊,访问策略不一致等问题,加上公有云的暴露面增大,攻击者容易通过攻击薄弱点进入,这也是近年来如软件定义边界SDP、移动目标防护MTD等新方案兴起的原因。

无论是传统环境,还是混合环境,防护利用0day漏洞的高级威胁需要企业安全团队全方位持续防护资产、获得环境的可视性,检测恶意行为。

Capsules8平台整体架构图如下所示:

假设客户生产环境是一个混合云环境,服务器部署于客户侧数据中心、公有云AWS和Azure中。Capsule8的整个工作流程主要分为感知、检测、阻断、调查四步。

2、Aqua Security(C轮)

Aqua Security成立于2015年,它为基于容器、Serverless和云原生应用提供保护解决方案。2019年,Aqua Security完成了6200万美金的C轮融资,累计融资超过1亿美元。它的客户包括能源、航空航天、互联网、媒体、旅游、零售、制药和酒店业的100多家知名企业。

Aqua Security的云原生安全平台使用现代化的零接触方法来检测和预防威胁,在整个应用程序生命周期内提供全面的可见性和安全自动化。例如在漏洞管理方面,Aqua可以实现:

扫描镜像和功能:Aqua几乎与所有CI/CD工具集成在一起,可在构建镜像和功能时主动扫描,及早发现问题并允许快速修复。

关注应用风险:下一个挑战是大规模提供安全性。这种情况是指可能要扫描成千上万个镜像的漏洞。但是,其中许多镜像实际上并未在生产中部署,因此即使处于脆弱状态风险也不高。Aqua提供了对正在运行的工作负载中易受攻击组件的实例化的可见性,这使安全团队可以集中精力修复最容易遭受利用风险的那些组件。

提供可行建议:Aqua提供了有关漏洞的具体可行建议,通常是建议升级到特定的版本或者改变配置和环境变量。

3、Twistlock(被收购)

位于CNCF全景图里的Twistlock创立于2015年。曾经在以色列著名的网安黄埔8200部队服役,并在微软企业安全部门工作的Ben Bernstein以不到30万美元的种子轮开始起家,定位容器安全。Twistlock自己贴的标签除了容器安全,就是云原生安全。Twistlock的融资节奏很好,2015年5月天使轮280万美元,2016年7月A轮1000万美元,2017年4月B轮1700万美元,2018年8月C轮3300万美元,2019年就被Palo Alto Networks以4.1亿美金的价格收购。

Twistlock产品界面

现在,Twistlock已经能为Amazon ECS、Azure、Docker、GCP、Pivotal、OpenShift、Istio等多个平台提供安全方案。Twistlock的自己一句话介绍是“领先的全栈,全生命周期容器安全解决方案,保护容器环境及其中运行的应用程序,具有轻量级,可扩展和自动化特性,自动化的策略构建和全开发生命周期内的无缝集成”。

截至目前,Twistlock总结了6方面的核心能力,分别是漏洞管理、合规、运行时防护、持续集成和持续交付、云原生防火墙和访问控制。像运行时防护包括网络和应用程序防火墙,支持Docker和AWS Fargate运行安全以及主机防护,可以通过机器学习为每个应用程序进行自动建模,保护网络,文件系统,进程和系统调用。云原生防火墙方面,Twistlock包括3层防火墙和7层防火墙,它可以自动学习应用程序的网络拓扑,并为所有微服务提供应用程序的微分段,可以检测和阻止XSS攻击、SQL注入等威胁,还可以自动模拟所有微服务之间的所有流量,并允许安全团队集中查看和实施安全流量,同时自动阻止异常,无需手动创建和管理规则。

除了云原生安全领域,以及前文介绍过的Kong、RapidAPI之外,我再介绍三家知名的云原生技术层创业企业。

1、Rancher(D轮)

在本文第一部分我们提过Rancher(中文意思是放牧人)这家公司,它的创始人梁胜职业生涯贯穿软件开发与云计算的发展历史。作为耶鲁大学计算机博士、Java语言J2SE平台核心组件JNI的作者、JVM的领导设计与开发者,梁胜2000年离开Sun创办了应用防火墙软件公司Teros Networks并担任CTO,2001年公司被Citrix收购。2008年梁胜第二次创业创建了Cloud.com,并推出了著名的云计算管理软件CloudStack,他也因此被誉为“CloudStack之父”,2011年Cloud.com被Citrix又以2亿美金收购,他成为Citrix首位华人CTO。随后2014年梁胜创立了容器管理公司Rancher Labs。这是他创建公司的初衷。

Rancher是一个容器管理平台,通过Rancher可以实现Docker和Kubernetes的轻松部署。Rancher由基础设施编排、容器编排与调度、应用商店、企业级权限管理组成。下图展示了Rancher的主要组件和功能。

今年3月份,Rancher对外公布了4000万美元的D轮融资,由此Rancher累计融资高达9500万美元。

2、HashiCorp(E轮)

HashiCorp(简称为Hashi,日语“桥梁”的含义)是我一直非常看好的一家云原生技术企业,不过最近因为禁止中国企业使用其商业产品而被刷屏。它成立于2012年,主要开发DevOps和云管理基础设施相关产品,日裔创始人及CTO Mitchell Hashimoto从12岁就开始创业,目前年仅30岁,公司主要产品都出自于他的手笔。

HashiCorp旗下包含多款知名的云原生相关开源产品,我们自上而下的来看:

• Nomad:程序自动化,集群管理器和调度器,专为微服务和批量处理工作流设计。与Kubernetes相比,Nomad通用性更强。

• Vault:安全自动化,企业级私密信息管理工具。

• Terraform:基础架构自动化,安全有效地构建、更改和版本控制基础设施的工具。

• Packer:镜像工具,旨在通过简易的方式自动化构建镜像。

• Vagrant:用于创建和部署虚拟化开发环境的工具,由Mitchell Hashimoto在23岁时开发,并成为其创建HashiCorp的基石。

• Consul:网络自动化、服务网格解决方案,它提供了一个功能齐全的控制平面,主要功能包括服务发现、健康检查、键值存储、安全服务通信、多数据中心等等。

今年3月HashiCorp对外公布了1.75亿美元的E轮融资,投后估值为51亿美元。

3、Snowflake(G轮)

Snowflake成立于2012年,创始人Bob Muglia曾在微软工作23年,拥有丰富的数据库经验。Bob Muglia认为,NoSQL型数据库并不能完全适应业务要求,基于云端的数据仓库省去了相关软硬件的设置需要,降低了使用门槛。Snowflake包括数据引擎在内的几乎所有技术都是自己研发的,在数据库和数据处理方面拥有非常多的专利,它是一个云原生的SQL数据仓库,完全针对云计算特点设计,部署在AWS等云端平台上,可以将用户所有的数据集中在一个地方,用户只需加载数据然后运行查询就可以查找到各种结构化或半结构化的数据。

为什么要使用云原生数据仓库?

作为一个类别,云原生的数据仓库提供了许多好处。首先,它们使公司摆脱了对设备和机器的担忧:在过去的物理服务器时代,公司需要操心服务器机房,或者至少是运行软件或存储数据的特定机器。构建这个物理基础设施是启动或扩展软件公司的一个巨大障碍。现在,服务器成本要低得多,只需点击几下鼠标就可以创建云端数据仓库。公司只需要按需处理和存储数据,并为他们使用的东西付费。云的使用还可以为公司提供更多的冗余和支持,因为他们不再需要担心单个服务器的故障和整个操作的崩溃。大型云服务提供商拥有多个备份系统,可以在全球数据中心之间自动扩展,以保持一切正常运行。这对客户公司来说是双赢的。

作为一个基于云的数据仓库,Snowflake具有很强的灵活性和可伸缩性。Snowflake基于订阅的模型将存储和计算服务分离,允许它们独立运行。当用户构建插入Snowflake的新解决方案时,他们只支付存储数据或根据需要分析数据的费用。此外,该系统还构建了一个相互连接的云服务器阵列,将数据分散,允许组织内的单个用户或组访问他们需要的特定数据,而无需复杂的数据传输,简化了连接和分析。

对于云原生数据仓库来说,能够在不影响底层的情况下快速查询数据并使用实时数据执行分析是一个强大的功能。由于数据不断地被各种各样的系统所创建,其中许多系统最初都是云端固有的,因此实时分析这些数据的能力对现代公司至关重要。实时分析会根据需要,只对特定实例和项目收费而不产生更高的成本。

Snowflake在今年2月份完成了4.79亿美元的G轮融资,估值高达124亿美元,投资机构包括Salesforce Ventures,Snowflake还由此宣布了与Salesforce的战略合作伙伴关系。Snowflake在《福布斯》最新的“云100强”榜单中位列第二,仅次于Stripe。

云原生技术层的机会我还在《信天研报 | 虚拟化与超融合(一)》系列里提到过,由于容器技术对于传统虚拟机的冲击,众多创业公司正在解构VMware,这将在该系列详细讨论。

云原生应用层

云原生能广泛应用在所有的行业,并发挥其快速、灵活、弹性、扩展性强、迁移能力强等多种优势。在这里我仅抛砖引玉,分析下云原生游戏的优点。

围绕云游戏的许多讨论都集中在其“杀死控制台”的潜力上,从而消除了本地硬件玩游戏的需求。但是,对硬件的持续关注未能抓住云游戏的真正潜力。云游戏的真正创新不仅仅在于我们怎么玩游戏方式,还在于我们玩什么游戏:“云原生”游戏将完全颠覆游戏体验本身,以及这些游戏的销售和销售方式。

云原生游戏是专门为云开发的游戏,其中客户端和服务器托管在同一架构中,有可能产生全新的游戏体验和商业模式。

病毒式传播

大多数MMO(Massively Multiplayer Online,大型多人在线)游戏具有固有的网络效应,这意味着与更多玩家一起玩游戏会更加有趣。然而,MMO通常会遇到冷启动问题:一开始,没有足够的参与者来创造积极的体验,从而导致新用户的流失。与朋友合作玩耍是最好的招募和留住新用户的方式,但是在此过程中可能会遇到很多障碍。例如,用户可以在不同时间或在不同平台上玩。由于不透明的配对规则和服务器限制,在游戏中寻找朋友可能很麻烦。

利用云原生开发的MMO游戏本质上是跨平台的,因此可以从任何设备上访问。没有下载、安装,或者加载时间,用户不用再为了补丁或者一个游戏的副本需要等待三个小时。

为了简化入门过程,云原生游戏可以使用深层链接来无缝地允许新玩家加入朋友的游戏会话。同时,想要获得更轻松体验的用户可以实时选择确切的时点来参加比赛或作为旁观者。

这些支持云的功能共同加速了多人游戏固有的网络效果。如果成功的话,第一个云原生MMO游戏可能会完全通过玩家主导的招募而快速发展,其病毒增长曲线比传统的MMO更类似于Facebook。

创造视频营销机会

除了更强大的病毒性之外,云原生游戏还将为AAA(3A大作,高成本、高体量、高质量)游戏提供新的营销形式。传统上AAA游戏依赖于广告牌和展示广告等营销方式。在没有安装时间的情况下,潜在玩家将能够单击链接立即尝试一款游戏—这是一个巨大的进步。

随着云游戏的普及,视频和有影响力的营销将变得越来越重要。销售佣金和“点击加入”可能会成为云游戏经济中网络大V收入的最大来源。

实现AI驱动的实时内容生成

由于客户端和服务器在同一个网络中,云原生游戏可以方便的跟踪和收集用户旅程中几乎所有的数据,这使得我们可以以开创性的方式在游戏中增强人工智能和机器学习能力。

例如,游戏长期以来通过出售改变玩家外观或周围世界的化妆品来赚钱。由于云提供无限的数据、处理能力和最小的客户端-服务器延迟,人工智能可以实时生成完全动态的环境。以下是基于Nvidia深度学习系统的剪辑,显示用户在AI的帮助下修改了一个逼真的虚拟环境:

将来,实时内容生成可能会催生新的、沉浸式的故事讲述方法。下一代的“选择你自己的冒险”可能是一个虚拟世界,实时适应你的选择。为了使这些虚拟世界货币化、个性化,自发性的广告可能会出现,类似于《少数派报告》中的生物识别广告。

更远的未来,AI驱动、程序生成的世界可以为用户提供一个无尽的游乐场,那时距离《头号玩家》里的绿洲世界或者著名的网络世界-元界(Metaverse)已经不远。

预计我们将在两三年内看到第一款云原生游戏上市,在谷歌、微软、亚马逊和其他许多公司的投资推动下,下一代云原生游戏将有潜力重塑我们所知道的游戏体验。

在上述认知的推动下,A16Z、腾讯、淡马锡投资了免费沙盒MMO游戏Roblox 1.5亿美金的G轮,相应估值高达40亿美元,他们认为未来游戏将不再只是游戏,甚至将比电影和音乐加在一起的规模还大。游戏的发展也将推动技术革新,而Roblox作为世界上最大的社交平台和多人游戏平台之一,接下来将有望成为未来的Metaverse。

写在最后

至此,这篇接近4万字的《云原生时代》已接近尾声。

我们再来梳理下本文的核心观点:

• 云原生、中台、微服务、CI/CD、Devops、SaaS背后的理念是一致的

• 即更快速、更灵活、更轻量、更自动,从开发开始,不断实现企业的产品目标和业务目标

• 类似理念涉及的维度包括开发、产品、运维、销售,从产品、服务到组织结构

如何判断云原生技术层的项目?

• 是否拥有核心技术是关键

• 单点产品的价值和延展性要足够强。参照Rancher、HashiCorp、Kong

• 面向客户提供一整套产品化的解决方案具有更大价值

• 在云原生体系里,开源项目比普通商业项目更占优势。开源项目更容易被其它产品支持和集成;云原生架构早期使用者以开发者为主,开源项目更容易快速建立口碑和影响力;在社区支持下,开源项目质量更容易得到保证

• 尽量选择成熟和被市场验证的技术和产品

国内的创业机会是否已经到来?

国内已经出现了像PingCap、Kylin、SkyWalking、Dubbo、ServiceComb等优秀的开源项目,在云原生技术不断成熟和普及、国内开源文化和社区逐渐兴起、去IOE和自主可控的时代背景下,国内对标海外的创业机会将会不断涌现。不过由于国内企业IT水平参差不齐,像API集成、API管理等领域的创业时机尚早,所以选择合适的产品切入点和行业将成为成败的关键,另外团队对软件本质的理解、销售和客户服务能力也是相当重要的因素。

最后,我真心希望未来3到5年中国新一代的基础软件企业能够高举国产化的大旗,灯火辉煌。


参考文档:

本文的部分内容参考或者引用以下文章,在此表示感谢,如果有涉及知识产权的问题,请联系我及时修改。

绿盟科技:RSA2019创新沙盒 | Capsule8:混合环境中的实时0day攻击检测、朔源和响应平台

被Palo Alto 4.1亿美元收购的Twistlock是一家什么公司?

DETECTION ENGINEERING FOR CLOUD-NATIVE SECURITY

The Promise of Cloud-Native Games

15 Most Interesting Cloud Native Trends From The CNCF Survey

编辑于 2020-06-18 17:37