深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

科创南方(公众号:southtech001)
作者 |  佳慧
编辑 |  云鹏

AR眼镜、VR眼镜、MR头显、虚拟游戏平台、元宇宙全息舱……

眼下,虚拟现实产业正在高速发展,支持元宇宙的相关产品早已出现,元宇宙也成为热词。随着科技的进步,人们可以通过虚拟现实技术进入一个全新的数字世界,与其他人互动、参与各种活动。

我们或许可以想象一下技术更进一步之后的未来:一切都将都将有虚拟的版本,小到日常生活中的物品,大到宏伟的建筑与山川湖泊,都能够在虚拟空间中得到体验和实现。个人设备将成为每个人无处不在的窗口,无论是沉浸式娱乐、虚拟旅游还是在线学习,人们将进入真实感十足的虚拟世界。

而三维重建技术是元宇宙建设的核心之一。利用三维重建技术的三维扫描仪,可以侦测现实世界中物体或环境的形状与外观数据,如颜色、表面反照率等,并将搜集到的数据进行分析和三维重建计算,在虚拟世界中创建实际物体的模型。

这样得到的模型不仅可以帮助打造元宇宙世界,还可以帮助城市空间的重建,进行规划设计、建筑施工和文化遗产保护。在医学图像处理、手术导航、军事无人机智能系统的导航、自动驾驶车辆的环境感知等领域,也少不了三维重建技术。

在深圳,深圳留形科技有限公司(以下简称“深圳留形”)做出了实时彩色三维重建扫描仪,他们将其称之为留形机。

这是一个手持的、便携的、可以实时现场重建的机器。它运用3D映射算法实现实时3D重建,再利用多个传感器,如激光雷达、摄像头和惯性测量单元(IMU)来提高扫描准确性。

在用留形机扫描的同时,通过真实场景和点云数据的融合,可以在扫描过程中使用MindCloud-Go软件在手机上看到扫描物的彩色模型。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲留形机360和MindCloud-Go软件显示(图源:深圳留形)

深圳留形通过他们的留形机,帮助了香港百年古建筑圣若瑟书院现代化改造,为施工方提供了一份完整、精确的3D图纸;香港历史博物馆的升级建设工程也邀请了深圳留形,为其内部的复杂细节和结构提供三维重建;深圳留形的留形机还还原了平遥古城建筑群和华北地下矿洞。

那么,在如今AI智能飞速发展的时代,三维重建是否能快速实现数字化,走向智能化?为计算机视觉领域提供更多智能化的3D视觉方案?C端消费者是否有可能使用上比AR眼镜更新颖、便捷、有趣的“AI+3D视觉产品”?

近日,科创南方有机会和深圳留形的联合创始人之一兼首席执行官秦佑铭进行交流,他分享了自己创业的经历,以及对三维重建技术未来的发展方向看法。

一、3D重建挑战赛两连冠,世界精度第一,入选英伟达企业案例

深圳留形成立于2021年10月,根据秦佑铭的描述,他的创业大概就是始于“个人计算机之父”的名言,成于享受其中的乐趣,以及团队的坚持。

被誉为个人计算机之父的艾伦·凯(Alan Kay)博士有一句广为流传的话,“真正认真对待软件的人应该自己制造硬件”,这句话曾被乔布斯在第一款iPhone发布会上引用,并被作为苹果多年来十分重要的战略之一。也是受到这句话的启发,他与同门徐威想要自主研发生产了硬件和软件,进行创业。

并且秦佑铭提到,他享受“一切从头开始”(build from scratch)的过程。他从高中开始做社团,本科在弗吉尼亚理工大学做了一个机器人俱乐部RoboGrinder,如今这个俱乐部有100多人,每年都代表弗吉尼亚理工大学,参加全国大学生机器人大赛RoboMaster。RoboMaster是中国最具影响力的机器人项目,也是全球独创的机器人竞技平台。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲秦佑铭的博士毕业照

其实有些一开始想要在某一领域进行创新,并深耕某一领域将其做尖做通的人才,在大公司的高起薪诱惑下进入了大公司为其效力,没有坚持创业这条路。

在秦佑铭的创业热情,和他与合作伙伴徐威的坚持下,深圳留形成立,致力于为三维重建行业带来新产品。

为什么是三维重建?又为什么叫留形?

除了开头提到的卷福破案灵感,秦佑铭还说,三维相当于是机器人的感知,机器人也想感知这个世界,它不像人能长一个眼睛,而是把这个身边的环境变成三维的,然后放到电脑里面去做处理、轨迹规划,以及思考和判断,而香港大学机电与机器人系统实验室的空间感知技术是强项。

2022年,ARWU香港科技大学自动化与控制专业世界大学排名第47。从港大实验室博士毕业的秦佑铭、徐威二人,想要把自己掌握的技术做出像留声机一样的产品,留声机留住声音,留形机快速留住形状。

现在深圳留形的成员不到20位,据香港大学技术创业中心(Techo-Entrepreneurship Core)的Startup Connector项目的新项目总监所说,这个不到20位成员组成的AI初创公司做出的留形机产品,在推出3个月后就盈利了。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

世界最大的建筑工具公司HILTI与苏黎世联邦理工学院联合举办了一项竞赛,即Hilti SLAM Challenge,这是全球规模最大、影响力最强的机器人研究会议之一IROS的一项竞赛。秦佑铭称,在这个竞赛中,深圳留形2021年、2022年连续两年获得了世界第一的精度。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲留形机360(图源:深圳留形)

英伟达初创企业展示是英伟达的重要活动之一,这个活动被用来挖掘中国科技创业优秀项目及人才。2023年,有250家企业报名想要参与今年的英伟达初创企业展示,最终只有20家企业入选了半程展示,深圳留形是其中之一。

并且,在英伟达的初创加速计划中,英伟达会为入选企业提供产品折扣、市场宣传、技术支持、融资对接、业务推荐等服务,加速创业公司的发展。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲(图源:深圳留形)

英伟达为合作的企业推出了一个平台,把不同软件的文件格式统一,完善了产业生态。在英伟达Jetson平台算力支持下,深圳留形的留形机Mind Palace 360实现在便携手持设备上进行实时、真彩、无损的三维重建。

在中国丰富的供应链中,加上港大实验室的技术基础、英伟达的技术支持,以及团队协作,作为研发中心在深圳的新初创公司,深圳留形开发出了其第一台实时彩色3D重建留形机。

二、先做数字化,再做智能化

为什么留形机能够推出3个月后就盈利?为什么深圳留形能够从250多家企业中脱颖而出,进行英伟达初创企业案例展示?深圳留形的产品究竟有哪些魅力让使用者和英伟达的青睐?

秦佑铭称,留形机的优势在于,第一,时间成本更低。

传统的三维重建技术一般使用三角测量仪或定点测量,速度较慢,还需要聘请操作员进行扫描工作,做大量后续处理工序,前期扫描与后期处理的时间比例可达1:7,甚至1:8。整个流程下来,无论是人工成本还是时间成本都十分高昂。但深圳留形通过自主研发算法,将后续处理时间缩减至同类设备的20分之一,甚至50分之一不等,扫描重建的效率更高。

第二,精确度更高。使用带有先进空间感知技术的激光雷达和激光扫描仪,实现多向传感,同时又运用了SLAM建图算法,提高了设备扫描重建的准确性、鲁棒性和稳定性。

其中提到的SLAM建图算法被秦佑铭比喻为“机器人界的圣杯”,这是基于几何方法的计算机视觉核心技术之一,也叫同步定位与建图。这是一种同时完成机器人定位和环境建模的技术,该技术能够使用传感器数据生成地图,并且在地图中实时更新机器人的位置信息。

因此,通过SLAM技术,可以将现实世界中的物体、建筑、地形等进行数字化表示,生成高精度的三维模型,实现对物理世界的数字化重建。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲留形机360的雷达探测(图源:深圳留形)

而在AI技术发展迅速并成为热潮的今天,智能化发展受到追捧和热议。

秦佑铭说,AI是现在特别火的一个概念,很多投资人听到AI这个词就两眼放光,可我们回头看历史上发生的一些事件,例如SR、VR的基建在还没有完善的时候,各种资本就涌入,疯狂追捧,但2022年全球VR和AR可穿戴设备的出货量下降了12%以上,可能进入了寒冬期。

这就像开了一个朋友圈,大家却连手机都没有。机器学习也是一样。由于传感器限制、数据获取成高、隐私和许可问题,以及数据处理和存储挑战,三维重建技术的数据很少。在秦佑铭看来,机器学习算法的精度是和数据量成正比关系的。

因此,秦佑铭称,深圳留形想做的是先做好第一步,在今年、明年这2年,先把数字化门槛降低;后年会引入一些机器学习,例如神经网络等方法在已有大量的、稳定的数据的基础上,提炼更多维度的信息。

在秦佑铭看来,数字化没有做好就讲智能化是不现实的。

并且,就像元宇宙中的建筑的生产制作,最初,背后可能都是人工手搓出来的,需要耗费一个团队几个月的时间。但数字化后,可能使用深圳留形的留形机设备,结合云算力等,可以把做元宇宙的建筑制作变得简单。

可见,数字化是三维重建技术目前急需打牢基础的一步。

三、移动扫描不是奢侈品,要大家都能用得起

如秦佑铭所说,正在做好第一步的深圳留形,还在打基础的阶段。三维重建技术的数字化是第一步,面向B端客户的销售市场也是第一步。

目前,深圳留形的产品使用以B2B,即企业对企业形式为主。在公司总部所在的香港,秦佑铭说,他们曾为香港历史博物馆的发展提供创新解决方案:使用MindPalace 360设备,在20分钟时间内测量了展示大厅和室外停车场等区域,面积17500平方米,测量误差控制在数厘米以内。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲(图源:深圳留形科技)

除此之外,太白海鲜坊、香港圣若瑟书院、平遥古城建筑群、华北河南地下矿洞都是为企业提供服务。

不过秦佑铭说,发展C端,即消费者市场,是他们之后发展的最终目标。这与无人机巨头大疆创新的发展路径比较相似,秦佑铭也曾经在大疆进行过实习。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

飞控技术作为无人机的大脑,大疆创新最初只是为企业提供飞控技术的服务。在大疆创新前,无人机产品也多用于军事行动,很少出现在个人及民用领域。当大疆创新的飞控技术足够成熟后,才开始做消费级无人机,在好莱坞电影中被运用、做整装机。

据秦佑铭透露,深圳留形也会先在面向B端的市场坚守一两年,积累了一定技术后再开启C端消费者市场。并且,秦佑铭认为,C端的消费者未必清楚自己想要什么。那么作为商家,就需要通过长时间的调研和思考,来研发让人眼前一亮的产品。

就像苹果公司之前发布的MR头显Vision Pro一样,C端市场的消费者通过三维重建技术将自己的身体或场景数字化,再通过虚拟现实技术呈现出来,实现在虚拟世界中进行各种动作和交互,以及在虚拟世界中进行漫游。

从三维重建的技术更新来看,很多技术升级的目的都是优化用户体验。

例如,新一代三维重建技术采用了更高分辨率的图像采集设备和更快速的计算算法,使得用户在进行三维重建时能够获得更清晰、更真实的模型。视觉展示效果更逼真,使用者更身临其境。

深圳杀出三维重建黑马,背靠港大,“一只手”重建3D古城

▲深圳留形还原澳门威尼斯人案例(图源:深圳留形科技)

但秦佑铭梳理了历史发展方向,他称,当国家国力提升、制造业水平提升,国家的产品关键词就会转为高端。现在,中国产品正在慢慢成为性价比高、质量好的代言,秦佑铭预测,大概再过几年,国产货应该只有高端货能生存下来,低端货可能流向东南亚市场,国人可能用不起本地产品。

因此,在聊到深圳留形的行业定位时,秦佑铭说,他不希望把移动扫描做成一个奢侈品,而是要把他做成一个大家都能用得起,又很好用的产品。他想把激光雷达、视觉多传感器融合三维重建定义成一个新概念,就叫留形。以此降低接触门槛,每个人都可以在外出,例如旅游的时候,用留形机记录生活。

结语:三维重建正冲出建筑领域,智能化与C端发展需稳扎稳打

三维重建技术正逐渐走出建筑领域,向历史文化保护、教育、娱乐、市场营销、健康医疗等更广泛的领域发展,并为这些领域带来了创新和变革。

同时,各行各业都在追赶AI技术热潮,想要实现产品智能化。但三维重建由于可利用数据较少,机器学习没有足够的学习数据库,很难通过机器智能获得精准的结果。因此三维重建技术还需要先将数字化基础打牢,其次再考虑智能化。

并且从面向B端市场到面向C端市场转变,也需要长期的技术积累和亮眼的产品创意。三维重建技术在走出传统建筑、测绘领域,追赶创新潮流的同时,还需要将自身基础打牢。