智东西（公众号：zhidxcom）
作者 | 李水青
编辑 | 云鹏
在刚刚过去的24小时里，谷歌Gemini的一段演示视频爆火全球。
像机器人贾维斯一样，谷歌Gemini一边看着用户绘画、变魔术、放视频，一边实时对画面进行分析，并主动和用户对话交谈，让人大呼“《钢铁侠》的AI助手指日可待”。
然而，质疑声也随之而来。产业大佬如HuggingFace技术主管菲利普•施密德（Philipp Schmid）称谷歌夸大了测评成绩；爆火的谷歌Gemini宣传视频也被曝不是实时演示录制，而是精心挑选和剪辑的营销内容，不太可信。
对此，谷歌立刻甩出了Gemini演示视频的制作记录文章，大方承认视频经过了后期处理，并秀出在视觉谜题、多模态对话、逻辑与空间推理、翻译视觉效果等方面的交互过程图文解析。
▲谷歌发布了题为《如何制作：通过多模态提示与Gemini互动》的文章
今日，谷歌DeepMind研究与深度学习主管奥里奥·维尼亚尔斯（Oriol Vinyals）再度自证，在X平台上发文称：“视频中的所有用户提示和输出都是真实的，简洁起见做了缩减”，并发布了一段Gemini Pro的对应演示视频。
但原宣传视频是用Gemini Ultra演示的，因此这也招来网友质疑：“为什么不敢放出原视频？”
关于谷歌Gemini演示视频真伪的争论暂时没有定论，但Gemini的原生多模态模型的招牌已经打出，向GPT-4发起了奇袭。
一位来自谷歌DeepMind的研究人员告诉智东西，Gemini的视觉/视频理解能力，是谷歌挑战GPT-4（GPT-4V）的最强点。
不同于市面上的图文拼接的多模态模型，Gemini是一个原生的多模态大模型，是将文本、代码、图片、视频、语音合在一起放进模型里训练而来的，因此能实现更均衡的多模态输出及任意模型切换。据称，谷歌原生多模态的视觉/视频部分，与包括GPT-4在内的大模型形成了代际差。
Gemini演示视频被看作谷歌“复仇”OpenAI的力证。据谷歌称，Gemini首次在MMLU（大规模多任务语言理解）测评上超过人类专家，在32个多模态基准中取得30个SOTA（当前最优效果），全方位赶超GPT-4。《突发！谷歌深夜掀桌子，发最强大模型Gemini，跑分碾压GPT-4【附60页技术报告】》
那么谷歌Gemini到底有多牛？其在多模态及视觉能力上真实表现如何？通过逐帧解析谷歌Gemini演示视频背后的形成过程和技术原理，本文对此进行了深入探讨。
一、懂读心术、贯通文理，Gemini“暴走”竟靠提示词？
看着十分抽象的简笔画、几秒闪过的短视频，接收语焉不详的问题，Gemini却能立马明白用户的意图，给出正确的答案，并不动声色的展现出自己文理兼修的实力。
这是如何实现的？背后离不开提示词的强大“助攻”。
1、空间逻辑力了得，一眼看出天文知识Bug
“这样排序正确吗？”
“不，正确的顺序是太阳、地球、土星。”
几张简笔画，一个抽象的问题，Gemini不仅识别出了图中所画的对象是什么，还准确根据自己的天体物理知识，推断出顺序摆放不对。这让人们不得不感叹AI“成精”了。
题都没说清楚，Gemini为什么能这么对答如流？
根据谷歌昨天第一次发布的解析文件，工作人员真实输入的提示词可能不是视频中所示，而是一系列非常照顾Gemini理解的句子。
根据谷歌发布的文章，其工作人员首先给Gemini看三张按顺序摆放的天体图片时，他输入的内容是：“这是正确的顺序吗？考虑与太阳的距离并解释你的推理。”
可见图片对象、知识点和回答要求都被谷歌工作人员一一Cue到了，这就好像给考生的考题做了批注提醒。
Gemini是在理解其中含义的基础上作答的：“不，正确的顺序是太阳、地球、土星。太阳距离太阳系中心最近，其次是地球，然后是土星。”
而根据谷歌方今天发出的第二次解读，用户首先需要输入一段关于模拟专家身份的说明，然后上传图片并输入视频中简短的提示词“这是正确的顺序吗？”，Gemini就会给出正确的答案。这一提示词前置的方法本质与上述做法类似。
▲谷歌DeepMind研究与深度学习主管发出Gemini Pro演示视频
谷歌本次宣布了Gemini三个版本：适用于高度复杂任务的Gemini Ultra、适用于各种任务的最佳模型Gemini Pro以及适用于端侧设备的Gemini Nano。目前，接入Bard的为Gemini Pro，与GPT-3.5是一个能力层级。
智东西测评发现，Bard对上文提到的两种提示词方式都会给出同一正确答案。
2、联想空气动力学知识，一秒选出更快的赛车设计
在第二道题中，谷歌员工给到两张小车的图片让Gemini做松木赛车挑战，其实也是给了比较详细的提示词。
在演示视频中，Gemini只是被问了“从设计上看，哪个车会跑得更快”。
Gemini立刻回复：“右边的车更快，它更符合空气动力学。”
既要识别左右两辆车，又得自己联系空气动力学知识点，Gemini看起来确实有点神。
但实际上，这也似乎不是仅靠原有提示词触发的效果。
按照谷歌发布文章的解读，谷歌工作人员输入的内容是：“这些汽车中哪一辆更具空气动力学性能？左边那个还是右边那个？使用具体的视觉细节解释原因。”
Gemini答：“右边的车更符合空气动力学。它具有更低的轮廓和更流线型的形状。左边的汽车轮廓更高，形状更四四方方，这使得它的空气动力学性能较差。”
可见，问题限的比较死，因此Gemini的回应也比较严丝合缝。
也就是说，Gemini是具备空间推理和专业知识能力的，但这离不开提示词的帮助。
通过提供图片空间信息和背后知识点线索，提示词工程师和Gemini一起完成了挑战。
3、兼具文化素养，轻松识别模仿的电影桥段
“他们在演什么电影？”
“我想他们是在表演《黑客帝国》中，著名的“子弹时间镜头。”
通过一段几秒钟的视频，Geminij就推断出了这出自哪一部电影，并且还给出了具体涉及的剧情桥段。这可能是很多人都做不到的事。
但按照谷歌的解析文件，这个例子背后制作过程却不是视频呈现的那么简单，而是更详细的提示词做支持。
当谷歌工作人员向Gemini展示视频的几帧静止画面，让它猜电影：“猜猜我在演什么电影。”
Gemini回答：“黑客帝国。”
工作人员进一步说：“好了！但具体是哪一部分呢？看我的身体动作。”
Gemini回答：“尼奥躲避子弹的部分。”
可以看到，谷歌解析文件里介绍的Gemini并不是视频里呈现的“贾维斯”，或许更像一个需要老师循循善诱的“小朋友”。
二、一眼看穿经典魔术，Gemini强在“时间线推理能力”
Gemini的酷炫演示效果离不开提示词的助攻，但不能抹去核心逻辑推理能力的功劳。
比如Gemini拆解经典魔术的功力也让很多人惊掉下巴，大呼“魔术师要失业了”，这绝不仅仅是靠输入策略实现的。
在这个例子的演示中，谷歌工作人员先展示了握在右手心里的硬币，然后双手翻转，手心向下。
还没等工作人员发话，Gemini就迫不及待地说：“硬币应该在右手下面。”
然后工作人员并没有说话，而是拿起右手，只见右手下根本没有硬币。
Gemini对此连忙回应：“嗯……我不知道……硬币在左手下面。你运用了一些手法，使硬币看起来好像消失了。”
工作人员啥也没说，Gemini就像一个人似的知道这是在变魔术，并根据手势变化给出了一波猜测，这实在让人匪夷所思。
Gemini为什么能不被“唤醒”就明白了工作人员想问什么？又为什么能看穿这个魔术？
前者很可能是一个剪辑后的效果，幕后演示应该是先有提示词。同时，Gemini对这一魔术的破解，也是在工作人员一步步的提示推动下完成的。
按照谷歌公开的制作过程，谷歌工作人员先输入一张照片说：“解释一下我在做什么。”
Gemini回答：“你右手拿着一枚硬币。”
紧接着，工作人员紧接着按下硬币，问：“你认为硬币在哪里？”
Gemini回答：“硬币在你的右手。”
这是一个合乎逻辑的答案，但工作人员向Gemini展示下一张图片时玩了点花招：他打开右手，并没看到硬币。
并说：“看看这里，发生了什么？”
Gemini回答：“硬币不见了。”
Gemini注意到硬币不见了，但它能概括出刚刚发生了什么事吗？
于是工作人员说：“从第一张图片开始，逐步总结可能发生的情况。”
这一步十分关键，Gemini回答： “1. 一开始，你右手拿着一枚硬币。2. 然后你用手做了一个动作，硬币就消失了。3. 然后你表明硬币不见了。”
可见，Gemini正在利用这次对话的整个背景，包括文本和图像，来总结它的答案。
最后工作人员再问道：“你能解释一下它是如何消失的吗？”
Gemini回答：“硬币被捧在手里。”
所以说，Gemini是在工作人员一步步的引导下，完成了时间线的推理，从而看透了这个“魔术”。
而这种时间线推理能力，意味着对事情的先后有明确的判断，懂得事情发生的因果（而不仅是规律），这是Gemini令人赞叹的地方。
当然，也有博主将Gemini的这一能力与GPT-4对比，发现后者也能完成一些类似任务，比如猜出东西在三只杯子的哪一个里面。
▲开发者彼得罗·斯基拉诺（Pietro Schirano）称用GPT-4复现了“三个杯子”案例
三、自创游戏师出有门，Gemini强在视觉理解能力
很多人对Gemini创作的“你指我猜”游戏印象深刻。但Gemini并不是天生游戏高手，而是先经过了求师学艺。
这是怎么回事？先来回顾下Gemini的神操作。
谷歌工作人员给到Gemini一张海洋地图称：“根据你所看到的，想一条游戏创意，并加入表情符号。”
Gemini立马回复：“这样如何？我们来玩‘猜国家’游戏。”
工作人员说：“可以，我们开始吧。”
于是Gemini就给出了一个提示：“这个国家是袋鼠、考拉和大堡礁的故乡”
工作人员说：“哦，这太简单了！”随即，他指出了地图上澳大利亚的位置。
Gemini回复：“正确。”
这种几秒中之内想出一个复杂交互的游戏，令很多人赞叹。这是因为，Gemini在之前得到了特别的“紧急训练”：
首先，工作人员向Gemini提示这个游戏的核心思想：
说明：我们来玩一个游戏。想想一个国家并给我一个线索。线索必须足够具体，只有一个正确的国家/地区。我会尝试在地图上指出该国家/地区。
接下来，工作人员为Gemini提供了一个游戏玩法示例，以此展示它被期待如何处理错误和正确答案：
接下来，工作人员对Gemini的学习情况进行测试：
他先试了一道题：这个国家以其独特的野生动物而闻名，包括袋鼠和考拉。（答案：澳大利亚）
工作人员首先尝试指向错误的地方：
Gemini猜测：一个人用右手食指指着世界地图上的巴西，因为该地图包括蓝色的海洋和没有国家边界的绿色大陆。因此不正确。
Gemini的推断是正确的，接下来工作人员指向地图上的正确位置澳大利亚：
Gemini给出判定：正确。
可以看到，Gemini之所以能够创作游戏，是工作人员提前告诉了它存在这样一个游戏，相当于一个更复杂的提示文段。
虽然Gemini并不是天生能设计出这个游戏，但却展现出了极强的图文多模态理解能力。仅仅通过举例，具体说是通过例子里的插图，Gemini就学会了一个复杂游戏逻辑，这可能就比很多人要强。
不同于市面同行将视觉和文本模型拼接的做法，Gemini是业内少有的从头开始构建的多模态大模型，它可以同时识别和理解文本、图像、音频、视频和代码五种信息。这意味着用户可以自然地交错输入：说几句话，添加图像、文本，或是短视频。同样，模型也会自然地交错文本和图像作为输出。
四、看毛线团给创作建议，“交错图文生成”能力或成杀手锏
Gemini还可以用图文结合的方式回应用户需求，具备“交错文本和图像生成”能力，这或许也是它的一个“杀手锏”。
在演示视频中，当谷歌工作人员让Gemini帮他想想这些材料可以做什么时，Gemini随即给出了“编织的火龙果和生日蛋糕”的建议。
如下图所示，Gemini给的答案不仅有文字建议，还有对应的图片示意。
当工作人员将绿色的毛线换了一团蓝色的，并要求Gemini帮他想一些动物造型之后，Gemini立马给出了编织的小猪、章鱼和兔子三个建议，并给出了如下所示的示意图。
这是如何实现的？谷歌的图文交错生成模式在业内还比较少有，当然也离不开提示词的配合。
首先，谷歌工作人员给Gemini提供了一个交互示例：
然后谷歌人员告诉Gemini的核心互动规则：
“我会给两个毛线球拍一张照片，我希望你（Gemini）都能想出一个我可以制作的东西的想法，并生成它的图像。”
紧接着，谷歌人员向Gemini展示了一对它尚未见过的新纱线颜色，看看它是否可以概括：
“给我三个关于我可以用这两种颜色制作的钩针作品的想法。”
随后，Gemini立马给出了三个建议：
可以看到，Gemini正确地识别了新颜色，并给出了比较合适的建议。
虽然提示词功劳不小，但这个应用还是牛在背后的“交错文本和图像生成”能力。
谷歌创意总监亚历山大·陈（Alexander Chen）称，Gemini的图文输出从根本上有别于今天市面上的文生图模型。因为，它不仅是将指令传递给单独的文生图模型，还能看到木桌上的实际图像，真正对文本和图像进行多模态推理。
不过，陈也坦言这个功能在Gemini初版本中还没开放，只是放出来给大家看一眼。
五、图音画无缝翻译，Gemini秀出应用联动能力
“画图触发BGM（背景音乐）”是谷歌Gemini本次演示的另一神来之笔，展现出其插件扩展方面的野心。
当谷歌员工画出一把吉他的简笔画，Gemini立马说“我看到你正在画吉他”，并随即播放了一首吉他相关的曲子。
当画面上多了一个类似音箱的图像，Gemini称“你给吉他加了一个扬声器……我们现在可以放点更响亮的音乐了。”于是，音乐立马被切换成一首更响亮的交响曲。
随着画布上增加了“鼓”，Gemini主动将音乐切换成了带鼓点的音乐。
当画布上增加的“椰树”，Gemini则主动切换了一首更加惬意的音乐。
由前面的解析可知，要实现这些效果，Gemini大概率也是需要谷歌员工先发出提示词触发的。
根据陈的解读，当谷歌工作人员输入以下图片及文字，Gemini就能“看图搜索音乐”。
“步骤1.观察这幅图画，描述其中的所有内容，并针对良好的音乐配乐流派、情绪或配乐提出有趣且具体的想法。
步骤2.通过以下形式提供搜索查询：‘搜索[插入查询]’”
Gemini对此回应：
“该图画的是吉他、鼓和扩音器。还有一棵棕榈树。气氛有趣、乐观、充满热带风情。流派是雷鬼音乐。该配乐可用于以热带地区为背景的电影或电视节目。
搜索‘热带度假的雷鬼音乐’”
可见，图片理解和插件操作一气呵成。
Gemini通过“画图搜索音乐”的应用，实际上是为了展现其图像理解与应用插件结合的能力，那就是：Gemini会对其所看到的内容进行推理，然后生成一个搜索查询，进而搜索到所需的配套应用插件。
从这一过程来看，Gemini强调的是一种多模态“翻译”能力。
这不是语言的翻译，而是从绘画、音乐到思维、插件应用的多种模态翻译。通过多模态提示，用户可以使用Gemini在不同输入和输出之间，发明自己的全新“翻译”特效。
结语：谷歌与OpenAI竞赛打响
通过深扒谷歌Gemini的演示过程，我们发现，谷歌Gemini确实没有宣传视频里看起来厉害，但其在多模态对话、多模态生成、逻辑与空间推理、翻译视觉效果、文化理解等方面确实拿出了实力，向OpenAI发起了强力挑战。落地情况如何，还要等Gemini Ultra发布之后看真实效果。
可以预测，谷歌Gemini与OpenAI GPT两大阵营竞赛即将打响，将在模型能力、应用家族及生态方面展开更深入比拼，而开源大模型与头部玩家的差距或许会变大，行业的头部效应将更加明显。
