FX168财经网_全球视野外汇黄金加密货币NFT资讯网

从嘲笑到封神：深度学习之父 Geoffrey Hinton 的坚持与胜利

时一定只是个笑话。但是这句经典语录出自深度学习之父——Geoffrey Hinton Hinton 坚信人工智能应该是像人类一样可以思考和学习。而人工智能的实现就是要模仿人脑功能，通过人工神经网络来实现高维数据，如图像、语音的输入、输出和建模。对于身处当下的人们而言，这是毋庸置疑的。但是在 1990 年代，这种想法简直就是天方夜谭。那时候的算力、存储和数据量根本无法支撑一个构建类似人脑的智能系统。人们普遍认为 Hinton 疯了，即便没有疯，也一定有另外的阴谋。做正确的事情不难，难的是坚持做正确的事情。因为正确与否的验证往往不是立刻被证实的，有时候需要等上几年，甚至几十年的时间。而 Hinton 坚持人工神经网络的观点被质疑甚至嘲笑了三十几年。随着计算机科学的发展，算力逐渐能够支撑起庞大的数据计算。终于在 2012 年，Hinton 带队参加 ImageNet ILSVRC 挑战赛，他们的研究成果 Alexnet 在图像识别任务上，以低于第二名 10% 的错误率获胜。这个比赛是计算机视觉领域的顶级比赛之一，这次完美的获胜让人工神经网络、深度学习的概念开始走入人们的视野。而 Hinton 也从一个一无是处的老头，逐渐走上了神坛。这个世界总算跟上了 Hinton 的脚步。为什么 Hinton 能够打破时代技术条件的限制，坚持自己的方向呢？伟大的科学家往往拥有大胆的想象，不折不扣的信念。他们是真正的世界边界拓荒者。 Hinton 认为深度学习可以以无监督的方式从数据中学习，这意味着它可以识别数据中隐藏的模式和关系，而不需要明确的标签或指导。这对于处理图像、音频和自然语言等复杂的高维数据尤为重要，这些数据很难甚至不可能手动标记所有相关特征。另一方面，深度学习可以表示具有大量参数的复杂函数，这使其能够对输入和输出之间的复杂关系进行建模。这对于图像和语音识别等任务尤为重要。如今深度学习已经成为人工智能的核心，并在开启一个伟大的智能时代。来源：金色财经

金色财经2023-02-24

ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」

子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。来源：金色财经

金色财经2023-02-24

易点天下：目前公司的主营业务包括效果广告服务、品牌广告服务以及头部媒体账户管理服务

投放、自动化运营投放等关键业务场景中，深度学习及人工智能算法、边缘计算技术等核心技术被广泛应用，提升了互联网广告投放的效率以及准确性。同时，公司自主研发了一系列智能化业务系统平台，以由数据驱动的自动化的投放模式逐渐替代了基于广告运营人员主观经验判断的粗放式决策模式，进一步优化了投放流程、提升了公司整体营运效率。谢谢！投资者：公司有哪些产品和技术用于富媒体？易点天下董秘：您好，目前公司的主营业务包括效果广告服务、品牌广告服务以及头部媒体账户管理服务。公司为客户提供广告投放服务，覆盖媒体类型包括线上新媒体广告，例如网站内广告、移动应用内广告、社交媒体广告等。谢谢！易点天下2022三季报显示，公司主营收入18.68亿元，同比下降24.6%；归母净利润2.5亿元，同比上升26.17%；扣非净利润2.38亿元，其中2022年第三季度，公司单季度主营收入5.54亿元，同比下降35.42%；单季度归母净利润7215.86万元，同比下降1.21%；单季度扣非净利润6965.9万元，负债率38.29%，投资收益1184.34万元，财务费用-7138.06万元，毛利率22.14%。该股最近90天内共有3家机构给出评级，买入评级3家；过去90天内机构目标均价为22.43。近3个月融资净流入8932.39万，融资余额增加；融券净流入0.0，融券余额增加。根据近五年财报数据，证券之星估值分析工具显示，易点天下（301171）行业内竞争力的护城河一般，盈利能力一般，营收成长性一般。财务相对健康，须关注的财务指标包括：应收账款/利润率。该股好公司指标3星，好价格指标2星，综合指标2.5星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）易点天下（301171）主营业务：效果广告服务和头部媒体账户管理服务以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-02-24

AI新时代是时候重估百度了

直接支撑文心大模型的平台，是飞桨产业级深度学习框架。这是目前被广泛使用的深度学习框架。截至 2022 年 11 月底，飞桨平台上已凝聚 535 万开发者、创建 67 万个 AI 模型，服务 20 万家企事业单位，位列中国深度学习平台市场综合份额第一。在百度 AI 能力的整体架构中，深度学习框架位于第二层，整体的四层能力包括「底层芯片 + 深度学习框架 + 大模型 + 应用层」。去年底，百度发布了最新的生成式 AI 产品「文心一言」，这是应用层的最新产品，目前已经被不少新媒体用来生产配图素材。这是一个 AI 作画平台，由飞桨学习框架和文心大模型提供技术支持。百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜介绍，百度将文心大模型已经形成「模型层 + 工具与平台层 + 产品与社区层」的整体布局。「文心一格」产品的发布，意味着百度已经开始积累大模型的工程化落地能力，而接下来「文心一言」产品的发布，将沿着这一方向进行更多探索。「文心一言」融入更多业务深度学习三巨头之一的 LeCun 表示，新的 AI 热潮，将带来企业内部深度学习研发的复兴。对于百度来说正是如此。与学术性质的研发不同，在企业中的技术研发，不仅仅涉及概念验证，还因探索与业务场景结合、规模化而需要更大成本。如微软总裁纳拉德所说，AI 将从根本上改变每一个软件类别。如今，正来到了探索大模型与更多业务场景结合、赋能产品的加速时期。百度也已经公布了相关规划。三月份即将发布的「文心一言」（ERNIE Bot）是基于文心大模型所发布的新的语意理解平台。从英文名 Bot 可以看出，底层的技术将是一个类似聊天机器人（Chatbot）的对话模型。「文心一言」将会利用跨模态、语言理解和生成能力等，为人们提供自然流畅的聊天体验。对于百度来说，拥有了这样的新技术平台，首先能够提升的便是搜索产品。目前，搜索产品的收入大约占到百度整体收入的 60%，依旧是最重要的产品之一。多年来，搜索产品的形态和用户体验没有太大的变化。当对话体验与原有的搜索引擎形成互补，用户在搜索相关链接的同时，也能够直接阅读定向生成的内容，将是十多年来搜索产品最显著的一次产品变革。这也将成为互联网的新流量入口。这种对话能力，还能够接入智能座舱的场景中，以语音交互的形式体现。前不久的三里屯体验中心启动会上，集度汽车 CEO 夏一平表示，「集度将融合百度文心一言的全面能力，支持汽车机器人实现自然交流的再进阶。」当新的模型能力接入汽车终端，人们在座舱内不仅能够通过语音对设备进行更全面的控制，还能够获得类似于和一个「人」交流对话的体验。除了 C 端产品之外，模型能力也将接入百度的智能云中，为 B 端服务能力带来提升。百度集团执行副总裁、百度智能云事业群总裁沈抖表示，「文心一言」将通过百度智能云对外提供服务，率先在内容和信息相关的行业和场景落地。将大模型的能力引入云服务，将是必然的趋势。微软此前已经表示，计划将 OpenAI 的多项技术引入 Azure 云服务中，包括 ChatGPT 以及绘画模型 DALL-E。将来，通过云服务的方式，AI 改写软件的进程才会真正发生。百度智能云宣布，将在 5 月推出针对「文心一言」模型的 API 接口。这将使百度智能云在语音合成、机器翻译、自然语言处理方面的服务能力提升，客户可以直接调用相关能力应用到具体的场景里。去年百度智能云年增长为 12%，在 AI 云市场位列第一。具体而言，在数字人、智慧城市等领域，百度智能云为市场份额第一。百度搜索业务之外的其它业务，主要受智能云及其他 AI 驱动业务的推动。大模型能力的接入，将带来更强的增长势能，也将拓展 AI 云的服务范围。来源：金色财经

金色财经2023-02-24

证通电子：公司目前暂无相关业务规划

力和产品应用场景，积累了丰富的场景化的深度学习、图像分析技术、自然语言处理、语音识别等人工智能技术和模型，为行业提供人工智能综合应用解决方案。感谢您对公司的关注与支持！投资者：请问一下贵公司有参与金融支持横琴粤澳深度合作区建设么？证通电子董秘：尊敬的投资者您好！公司暂未参与横琴粤澳深度合作区建设。公司将密切关注相关行业政策，积极把握市场机会，推动公司主业做强做精。感谢您对公司的关注与支持！证通电子2022三季报显示，公司主营收入8.28亿元，同比上升5.18%；归母净利润1070.53万元，同比下降45.95%；扣非净利润-722.54万元，同比下降18.19%；其中2022年第三季度，公司单季度主营收入2.61亿元，同比上升0.06%；单季度归母净利润-792.72万元，同比下降368.6%；单季度扣非净利润-1625.45万元，同比下降99.68%；负债率53.99%，投资收益199.01万元，财务费用5229.96万元，毛利率33.34%。该股最近90天内无机构评级。近3个月融资净流入5563.11万，融资余额增加；融券净流入3310.62万，融券余额增加。根据近五年财报数据，证券之星估值分析工具显示，证通电子（002197）行业内竞争力的护城河良好，盈利能力一般，营收成长性较差。财务可能有隐忧，须重点关注的财务指标包括：货币资金/总资产率、有息资产负债率、应收账款/利润率。该股好公司指标2星，好价格指标1星，综合指标1.5星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）证通电子（002197）主营业务：公司是一家业务涉及IDC及云计算、金融科技等领域的现代化高科技企业,明确提出了“IDC基础设施、云计算和智能终端为特色的数字化服务提供商”的战略定位,具备为客户提供集研发、生产、销售、服务等一体化综合解决方案的能力以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-02-24

Web3中文｜从Web3看互联网的过去现在和未来

t、HTML5和CSS3。而机器学习、深度学习、语义网和去中心化技术为Web3发展提供动力。应用 Web2应用包括播客、博客、视频软件等，Web3则是结合了人工智能和机器学习驱动的dApp、虚拟世界和3D门户。交易货币 Web2上的付款以法定货币进行，Web3将同时使用虚拟资产进行交易。 Web3有什么好处？去中心化 Web3的去中心化结构是它对用户的主要优势。由于公共分布式账本，Web3具有改善企业运营的潜力。这将赋予用户和个人更多权力，像谷歌和Meta这样的拥有大量用户数据的庞大公司或将面临转变。隐私安全 Web3将优先考虑安全和隐私，而不是监视和控制，用户将完全控制他们的数据，他们可以选择共享或保密信息。鉴于区块链技术及其自治结构，Web3也将比以前的互联网版本更安全。在去中心化系统中，黑客攻击仍然是存在的，但黑客会发现攻击网络变得更为困难，他们的活动会被记录下来。连通性由于语义内容，数据与Web3密切相关，从而改善用户体验，将连通性提升到一个新的水平。用户可以利用语义技术创建在线数据存储库、定义词汇表和建立数据处理规则，内容和信息将可以在全球范围内通过各种应用程序访问，并且越来越多的计算机设备参与到我们的日常生活中。 Web3的关键应用通过区块链构成其中央基础设施，Web3可以扩展到新的应用程序和服务范围，DeFi、跨链桥和DAO等将是Web3的关键应用。 DeFi（去中心化金融）以去中心化为核心，Web3也可以用于去中心化银行业务，这与传统的中心化市场有很大不同。 Cross-chain bridges（跨链桥）在Web3中，由于区块链众多，跨链技术提供了各种区块链之间的连接。 DAO（去中心化自治组织） DAO将是Web3的特点之一。DAO是项目筹集和支出资金的去中心化自治组织，所有决定均由董事会成员投票表决，并通过区块链上的编码规则执行。图源：网络 Web3到来了吗？现在的互联网建立在服务器之上，数据存储在云中的某个服务器或服务器集群中，Web3将打破这种模式，从一台服务器转移到许多不同的、分散的服务器。但人们在对去中心化的互联网感到兴奋的同时，也存在质疑。互联网初心，即自由、平等、开放，还有DIY和草根精神，现在的巨头产品已经很大满足了大家对于便利、高效、沉浸、免费的需求。Web3的产品能不能进一步满足这些用户？从目前发展来看还不能，Web3还处于一个非常早期的阶段。并且，去中心化意味着将是一个完全靠个人能力承担风险的账户体系，一旦私钥丢失，你的账号就丢了，没有公司会负责或者帮你找回。现在的网民是否有能力保管好自己的信息？或者目前Web3有完善的、可信赖账户管理系统吗？在诸多质疑之下，更多人还是会选择中心化公司管理自己的账户信息。除了质疑，Web3也存在很多的反对声音。例如，当Discord的CEO提出一项可以将应用程序连接到加密钱包的功能时，面临用户的强烈反对，并且不得不澄清没有继续推出该功能的计划。当英国的世界自然基金会（WWF）分支机构试图转向区块链时，因其巨大的碳足迹而受到严厉批评，并被迫撤回该功能。 Web3凝聚着人们对互联网现状的反感、反思和反抗，但其才刚刚起步，会面临很多问题，新事物的出现总是会伴随着人们的好奇、探索、质疑与批评。随着越来越多人关注Web3，我们相信互联网将很快迎来下一次重大升级。区块链技术，数字化经济，元宇宙，NFT，DeFi，VR/AR，大数据，AI，仿生学，生物学，加密学，硬件设备，新能源等等技术，都将迎来高度的发展和提升。参考： Spiceworks《Web 2 vs. Web 3: What’s the Difference and Why It Matters》 Thecoinrepublic《Web 1, Web 2 ,Web 3: The Much Needed Inventions 》 Analyticsinsight《Web2 vs Web3: What is the Difference and the Significance?》黄锫坚《Web3凝聚着新人类对互联网现状的反感、反思和反抗》编辑：Bowen@Web3CN.Pro 声明：web3中文编辑作品，内容仅代表作者立场，且不构成投资建议，请谨慎对待，如文章/素材有侵权，请联系官方客服处理。来源：金色财经

金色财经2023-02-23

百度2022Q4业绩电话会议分析师问答

场。此外，Ernie 所基于的我们的深度学习框架 PaddlePaddle 发展势头强劲。数以百万计的开发人员使用 Paddle 来完成他们的 AI 工作。这是——框架层和模型层之间有很强的协同作用。如您所知，AI 预训练非常昂贵。我们相信我们的全栈 AI 功能将使我们能够构建最高效的大型语言模型并支持各种应用程序，从搜索到内容生成或 - 以及可以显着提高生产力的垂直领域。对于百度搜索，我刚才提到我们正在努力——我们正在努力开发基于 Ernie Bot 的百度搜索的革命性版本，它将生成人工智能融入我们的搜索算法和内容创建中。我们也在添加交互功能。用户很快就能直接与新的生成式大型语言模型进行交互。它将补充甚至升级传统的搜索体验并吸引更多用户。 ChatGPT 类型的功能有可能成为互联网用户新的流量入口，从而扩大搜索市场规模。同时，它也将帮助我们的广告商、我们的内容创作者和商家等。凭借我们强大的人工智能能力，我们应该能够不断迭代和升级模型。搜索只是一个例子。我们相信，还有许多其他应用程序也将从中受益。对于 AI 云。我们的人工智能云提供从云基础设施层到深度学习开源框架层再到大基础模型层再到应用的四层全栈产品。所以这是四层。通过向公众开放生成式大型语言模型，即模型即服务，我们应该可以帮助许多企业主和企业家在我们的云上构建他们自己的模型和应用程序；在许多领域带来重大的积极变化和改进，包括提高效率、更好的决策制定和改进的客户体验。综上所述，百度强大的人工智能能力构建了我们在大型语言模型和人工智能基础模型方面的护城河。除了扩大搜索的市场规模，我们还能够帮助很多很多行业建立自己的模型，开发自己的应用程序，显着提高他们的生产力。我们相信它将改变云计算的游戏规则。AI 正在极大地改变许多行业，我们对即将发生的事情感到非常兴奋。我们正在围绕 Ernie Bot 构建一个人工智能生态系统。截至今天，许多组织已经决定将 Ernie Bot 集成到他们的产品和服务中。请记住，这只是旅程的开始。谢谢。于加里你好。谢谢管理层，祝贺你取得了不错的成绩。所以我有几个关于人工智能云业务的问题。第一个是收入增长。我们在第四季度看到的收入征收中断是否会推动第一季度的收益？到目前为止，您是否看到云项目开始重新开放？管理层预计 2023 年整体云收入增长情况如何？提供什么样的产品——我们可以从云服务中看到什么样的产品是 2023 年的主要增长动力。我们如何看待未来几年的公司增长率和云市场？我认为与此相关的第二个问题是，您是否也可以评论公共部门企业与私营部门与公共部门的总体 IT 支出预算。您是否预计今年会赢得相当数量的新云项目？鉴于整体宏观仍然疲软，您是否认为上涨将是渐进的？最后，对盈亏平衡时间表有何评论？到目前为止，达到盈亏平衡的关键瓶颈是什么？谢谢。窦德景嗨，加里，谢谢你的提问。这是窦我会回答前两个问题，然后让罗戎负责最后一个问题。因此，随着我们的研发团队开始着手重新开放后正在进行的项目，我们确实看到云收入逐渐恢复。然而，从销售线索到收入确认的周期从几个月到几个季度不等。现在考虑到这一点，我们今年的 AI 云收入增长应该会有所回落，但与此同时，由于我们专注于提高云的利润率，因此我们将保留 ACE [ph] 和云解决方案项目的低利润业务。这一举措将对我们未来的广告收入增长产生影响，但我们的目标仍然是在 2023 年继续超越我们的互联网同行。从长远看，传统行业上云、用AI提升效率的大趋势没有改变。我相信在不久的将来，数字化和智能化转型将成为GDP增长的主要驱动力。可以肯定的是，我们将从这次转型中获益最多，因为我们认为百度处于独特的位置。实际上，与我们的 - 与其他人相比，我们的 AI 云提供四层全栈产品，正如 Robin 刚才提到的，从云基础设施到深度学习平台，如你所知，这就是 PaddlePaddle；大型地基模型；和新的应用。所有四个层都可以在每个提供的端到端解决方案中无缝地协同工作，以实现我们的最佳结果，即使成本更低，而其他解决方案是由不同的云平台和模型提供商构建的。此外，一旦我们对这些层中的任何一个进行改进，端到端解决方案实际上可以在更短的时间内升级，这将进一步有利于计划。所以如果你在交通、制造、能源和公用事业等行业，我相信百度的云服务应该是最高效的，因为除了我刚才解释的技术优势，我们已经了解这个行业，我们知道痛点。我们通过成功交付业界已有的高质量产品积累了丰富的经验。最重要的是，正如 Robin 刚才提到的，我们计划将 Ernie Bot 集成到我们的云和 AI 产品中，因此这应该可以帮助许多企业主和企业家构建他们的创新应用程序、探索新业务或改善他们的运营。所以我们相信这将是我们人工智能云迈出的重要一步，并有可能重塑整个中国的云产业。因此，我们将帮助更多的企业主和企业家从数字时代跨越到人工智能时代，人工智能技术将在各行各业的生产力中发挥至关重要的作用。最后，我将转向 Rong。罗戎谢谢，窦。是的，我将解决您关于我们的 AI 云利润率的问题。我们不断通过削减低利润业务来提高云的利润率，并继续构建可以扩展的人工智能应用程序，这是多年来一贯的战略。我认为，正如我们之前提到的，我们的人工智能云实际上包括两个部分。第一个将是个人云，它继续产生可观的营业利润率，而企业云仍在亏损，而毛利率和营业利润率的利润率都在提高。事实上，如果你看看我们签署的新项目，我们预计过去几个季度的利润率将继续提高。罗宾在他准备好的发言中谈了很多关于我们如何实现利润率提高的问题。这将帮助我们在未来继续提高利润率。请注意，构建可供行业中型公司使用的可观 AI 应用程序组合需要时间，但我相信百度的全栈 AI 能力可以帮助我们解决[技术难点]。最后，我们几乎有望在未来几年内使 AI 云成为有利可图且健康的业务。梁家辉所以我有几个关于你的投资和利润的快速问题。由于我们正在经历经济复苏，您能否谈谈您在 2023 年的投资计划，例如用户获取和人数？与此相关的是，我认为 Robin 还提到了 AI 聊天机器人的运行成本可能非常高，对吧？所以也与此相关，你能谈谈它的利润率吗？然后你能给我们一些关于你的核心营销业务的利润率概况，以及长期研发和 G&A 费用目标的颜色吗？谢谢。罗戎是的，艾迪。非常感谢您提出问题，让我试着回答您的问题。如果我们还记得的话，其实我们从2021年底就开始降本降费，领先于国内同行业。我们在过去几个季度仔细审查和重组了我们的业务。对于移动生态系统，我们缩小甚至淘汰了百度拥有的一些业务——显然我们没有竞争优势，或者我们无法长期盈利。通过这样做，移动——MEG——移动生态系统今天的增长，比一年前更健康，并且比以前更精简运营。而在过去几年，百度核心的总人数实际上减少了8%。而我们不是——我们专注于我们在同类中最好或我们在同类中第一的领域。同时，对于AI云，我们开始逐步淘汰低利润的业务。我们还加强了对机器人成本的控制。你大概可以看到，因此，2022年，百度核心的运营费用同比下降了9%。如果我们将它们分开，SG&A 同比下降 15%。研发同比下降 3%。 2022年下半年，百度核心的非美国通用会计准则营业利润率同比增长。现在我们拥有比一年前更健康的成本结构和更强大的组织。因此，展望 2023 年，我们将在支出方面保持非常严格的纪律。我们将继续平衡收入增长和利润率，因为我们正在为整个组织建立长期的可持续发展。如果我们研究每个项目，我们将继续监控所有促销活动的投资回报率，尤其是百度的收购成本。我们将仔细管理所有其他可变成本。研发方面，你刚才问了，我们正在非常努力的提高我们团队的效率。今天的研发团队需要专注于构建能够为用户和客户创造更多价值的技术、产品或服务。我们相信，从长远来看，我们应该能够从研发设计中看到运营杠杆。与此同时，我们将继续投资于增长和新机遇，并密切关注回报。对于资本支出，我们将继续投资于大型语言模型或生成式人工智能等尖端技术，因为我们相信，它将改变许多业务并为百度提供巨大的机会。虽然我们能够进一步提高重新分配一些资源的效率，以支持 Ernie Bot 等新计划。简而言之，我们会毫不犹豫地投资我们新的、有前途的业务。因此，总结一下：我们将研究每项业务。未来移动生态系统应该继续产生高利润和现金流，这是我们的基础。对于人工智能云，我们的目标是继续扩大我们的利润率。在AI云里面，对于企业云，我们会继续削减低利润的业务，聚焦重点行业。正如 Robin 和 Dou 刚才所说，我们将继续标准化我们的 AI 解决方案和应用程序。对于个人云，我们未来将继续获得可观的利润和利润率。对于 Apollo Go，我们将继续为未来投资，但与此同时，我们将仔细监控其运营和财务指标，以评估我们的业绩和投资回报。从长远来看，我们相信我们仍有优化成本和支出的空间，但在这个过程中，我们将动态分配资源，平衡增长与利润率和现金流。非常感谢你的问题，艾迪。魏雄你好。晚上好，管理层。祝贺一个强劲的季度，感谢您提出我的问题。我想问问你们的 robotaxi 业务。我在想。该企业目前的单位经济效益是多少？我们应该如何考虑机器人出租车的盈亏平衡时间表？而且，如果管理层可以分享您的技术路线图上的任何颜色，那也将不胜感激？李振宇感谢您的提问。这是甄关于单位经济的问题，大家知道，robotaxi的主要成本是人工成本和车辆成本。首先，劳动力成本。如您所知，完全无人驾驶意味着车内没有安全员，这有助于降低人工成本。2022年，我们在开放道路上提供完全无人驾驶服务方面取得了重大进展。现在我们在武汉和重庆提供完全无人驾驶的网约车服务。例如，在武汉，我们通过覆盖更广的区域和更长的日常运营 - 运营时间以及增加我们的车队来不断扩大业务。去年 12 月，我们获准在北京的开放道路上试驾全自动驾驶汽车。这是首都实现完全无人驾驶的重要一步。在 2023 年，我们计划进一步扩大我们的车队并推动完全无人驾驶操作。我们将继续通过允许更多车辆取消车内安全操作员来降低人工成本。中国越来越多的城市支持自动驾驶网约车运营。作为市场领导者，百度正受益于这一变化。另外，正如我们之前所说，规模化运营帮助我们完善了核心技术并进一步提高了安全绩效。随着我们规模的扩大，我们将进一步改进我们的核心技术并获得监管机构的信任。Apollo Go 仍然是全球最大的自动驾驶叫车服务提供商。去年，我们为公众提供了超过 150 万次乘车服务。现在，平均而言，在北京等一线城市，每辆车每天提供超过 15 次乘车服务。这个数字已经接近出租车所能做到的了。我们相信，通过不断改进我们的技术，未来会有越来越多的城市为我们的完全无人驾驶网约车服务开绿灯。其次，通过Apollo RT6降低车辆成本，旨在提供大规模的完全无人驾驶的网约车服务。我们首次将 robotaxi 的成本纳入大众市场电动汽车的价格范围。我们相信未来车辆成本将继续下降，因为中国电动汽车市场发展非常快，整个供应链高度本地化。汽车零部件的成本还有很大的下降空间。结合这两个因素，我们相信 Apollo Go 独特的经济性将继续改善。正如 Robin 所说，一旦我们扩大规模，我们就可以利用大型语言模型来改进技术。这将有助于我们进一步提高安全绩效。谢谢。肯尼思·方你好。感谢管理层回答我的问题，并祝贺这些非常强大的结果。我对用户流量和用户使用时间有疑问。随着中国重新开放，您是否看到这两个参数有任何影响或变化，尤其是在大城市？谢谢。李彦宏嗨，肯尼斯，我是罗宾。重新开放后，人们开始花更多的时间在户外，但实际上，我认为在 1 月份，用户花在我们主要应用上的时间总体上同比增长了 6.6%。这优于整体移动市场。我们有各种各样的应用程序可以满足用户的各种需求。百度应用是中国为数不多的超级应用之一，百度搜索具有独特的价值主张。我们通过技术帮助人们在网上快速找到最相关和最权威的信息。所以每当用户想要搜索信息和知识时，他们都会来百度。当他们回来工作时，这一点变得更加明显。哪怕是想查看所在地区的疫情动态，或者查看高考成绩，这种需求都可以被百度搜索等百度应用更好地匹配。在过去的几年里，我们继续使用技术来丰富内容和服务，以便我们可以为用户提供更好的搜索、信息流和许多其他产品体验。今天，人们来找我们不仅是为了搜索信息，也是为了寻找产品和服务。这些努力巩固了百度在中国移动互联网领域的领先地位。正如我之前提到的，另一个亮点当然是 Ernie Bot。有潜力成为人们上网新的流量入口。另外，利用AI生成短视频内容是Generative AI的典型应用。我们相信随着时间的推移，AIGC 将帮助我们在平台上积累更多的短视频，直接的好处将是增加视频收视率和广告收入。谢谢。孔林肯谢谢管理层给我机会。我有关于 ChatGPT 和我们的 Ernie Bot 的跟进。因此，似乎许多国内公司 - 最近不断宣布他们正在与我们合作或使用百度的 - Ernie Bot 技术。那么管理层能否详细说明这种合作关系的形式？这里的货币化机会是什么？我们应该考虑这种收入潜力有多大？还有竞争方面：那么我们应该如何看待其他互联网公司来提供类似的服务或挑战并限制我们在这里的货币化机会？谢谢。李彦宏当然。我们很高兴地看到，在我们宣布推出 Ernie Bot 的计划后，许多组织与我们联系并表达了与 Ernie Bot 合作的强烈兴趣。有些人已经宣布他们计划与我们合作，将 Ernie Bot 功能集成到他们的产品或服务或运营中。越来越多的企业意识到生成式大型语言模型将改变他们的行业，他们想抓住这个机会。 Ernie Bot如此受关注，也说明百度的AI能力领先，AI时代终于来了。在货币化机会方面，Ernie Bot 将被整合到百度搜索中以提升用户体验。用户将更加依赖我们的各种任务和需求，因此显着扩大搜索市场规模。我们正在使用 AIGC 来扩展我们的内容，例如文本、图像或视频；这将为我们创造一个很好的机会来吸引新用户，增加用户时间花费和用户粘性；从长远来看，帮助我们在在线广告市场获得份额。对于云客户，他们将能够利用我们的全栈 AI 功能，而不仅仅是基本的东西、存储或带宽或数据库，诸如此类。他们可以基于我们的 AI 框架 PaddlePaddle 和基础模型 Ernie 开发他们的应用程序。它会更容易、更高效、更强大，因此这也将推动我们的云收入。我们的全栈 AI 功能非常独特。它包含云基础设施、深度学习平台（如 PaddlePaddle）和大型语言模型以及广泛使用的应用程序。我们在所有四个层面都有很强的影响力，这四个层面有效地协同工作。我们的大型语言模型 Ernie 3.0 已经接受了数十亿的日常用户搜索请求和其他流行的百度应用系列的训练。百度的 Ernie Bot 将使用这种标记良好的巨大数据池来帮助改进和随着时间的推移快速适应。这方面的进入门槛非常高。这需要多年的重大投资，我们具有先发优势。 Ernie Bot 背后的技术被称为带有人类反馈的强化学习。所以在这里，人的反馈部分是至关重要的。作为先行者，我们获得了越来越多的人类反馈，并进一步提高了我们领先于其他任何人的能力。现在我们正专注于准备Ernie Bot的发布，并在发布后不断改进。而且我们也专注于我们相信的领域，Ernie Bot 将创造即时价值，敬请期待。谢谢。操作员谢谢。女士们，先生们，我们今天的会议到此结束。感谢您的参与。你们都可以断开连接。$百度(BIDU)$ $百度集团-SW(09888)$

老虎证券2023-02-23

英伟达FY2023 Q4业绩电话会分析师问答

为我们加速了端到端的事情，不仅仅是它的深度学习部分，而是使用 CUDA 来加速从端到端的一切。因此，我认为我们计算的普遍性——加速计算平台，我们在每个云中的事实，我们从云到边缘的事实，使我们的架构真的很容易访问并且以这种方式非常不同。最重要的是，对于所有服务提供商而言，由于利用率如此之高，因为您可以使用它来加速端到端工作负载并获得如此好的吞吐量，我们的架构是最低的运营成本。它不是 - 比较还差得远。所以 - 无论如何，这是 2 个答案。克里斯托弗缪斯我猜，Jensen，你谈到 ChatGPT 是一个有点像 iPhone 的转折点。非常好奇，第一，在 ChatGPT 之后，您与超大规模和大型企业的对话是如何演变的？其次，当您考虑具有变革性引擎的 Hopper 和具有高带宽内存的 Grace 时，您如何看待过去几个月演变的这两个产品周期的增长前景？黄仁勋 ChatGPT 是一项很棒的工作，团队做得很好，OpenAI 用它做得很好。他们坚持了下来。所有突破的积累导致了一种服务，其内部模型以其多功能性和能力让每个人都感到惊讶。人们感到惊讶的是，这在我们的行业内是众所周知的。但是单个 AI 模型的惊人能力可以执行从未受过训练的任务和技能。而这个语言模型不只是说英语，或者可以翻译，当然，但不只是说人类语言，它可以用人类语言提示，而是输出Python，输出Cobalt，一种很少有人记得的语言，输出用于 Blender 的 Python，一个 3D 程序。所以这是一个为另一个程序编写程序的程序。我们现在意识到——世界现在意识到也许人类语言是一种非常好的计算机编程语言，我们已经使计算机编程民主化，适用于每个人，几乎任何可以用人类语言解释要执行的特定任务的人。这台新计算机——当我说到计算的新时代，这个新的计算平台，这台新计算机可以接受任何你的提示，无论你的人类解释的请求是什么，并将其翻译成一系列你可以直接处理的指令，或者它等待您决定是否要处理它。因此，这种类型的计算机在其应用中是完全革命性的，因为它对这么多人的民主化编程确实让全世界的企业都兴奋不已。每个 CSP，每个互联网服务提供商，坦率地说，他们是每个软件公司，因为我刚才解释过，这是一个可以为任何程序编写程序的 AI 模型。正因为如此，每个开发软件的人要么被提醒，要么被震惊到警觉，或者积极致力于将 ChatGPT 之类的东西集成到他们的应用程序或集成到他们的服务中。因此，正如您可以想象的那样，这完全是全球性的。在过去的 60 天里，围绕我们构建 Hopper 的 AI 基础设施的活动以及使用 Hopper 和 Ampere 推理大型语言模型的推理活动刚刚火爆起来。因此，毫无疑问，无论我们对今年的看法如何，在我们进入这一年之际，由于过去 60、90 天的原因，已经发生了相当大的变化。马修拉姆齐 Jensen，我想问几个关于 DGX Cloud 的问题。我想，我们都在谈论服务的驱动程序以及您将使用不同的超大规模器在这些服务之上托管的计算。但我认为我们一直在观察和想知道您的数据中心业务何时可能会过渡到更多的系统级业务，这意味着将 [音频不清晰] InfiniBand 与您的 Hopper 产品、Grace 产品配对并在系统上销售更多东西等级。我想知道您是否可以退后一步，在接下来的 2 或 3 年内，您认为数据中心部门的业务组合如何从销售卡发展到系统和软件？随着时间的推移，这对该业务的利润率意味着什么？黄仁勋是的，我很欣赏这个问题。首先，如您所知，我们的数据中心业务仅在概念 GPU 的背景下是 GPU 业务，因为我们实际出售给云服务提供商的是一个面板，一个相当大的 8 Hoppers 或 8 Amperes 计算面板与与 NVLink 相连的 NVLink 交换机相连。因此，该板基本上代表 1 个 GPU。它是 8 个芯片连接在一起成为 1 个 GPU，具有非常高速的芯片到芯片互连。因此，如果您愿意的话，我们一直在研究多芯片计算机已有一段时间了。那是 1 个 GPU。所以当我们想到 GPU 时，我们实际上会想到 HGX GPU，也就是 8 个 GPU。我们将继续这样做。云服务提供商真正兴奋的是托管我们的基础设施供 NVIDIA 提供，因为我们有很多直接合作的公司。我们直接与全球 10,000 家 AI 初创公司合作，涉及各个行业的企业。今天所有这些关系都非常希望能够至少部署到云中，或者部署到云和本地，通常是多云。因此，通过让 NVIDIA DGX 和 NVIDIA 的基础设施在他们的云中成为全栈，我们有效地吸引了客户到 CSP。这对他们来说是一个非常非常令人兴奋的模型。他们张开双臂欢迎我们。我们将成为世界云领域最好的 AI 销售人员。对于客户来说，他们现在拥有最先进的即时基础设施。他们有一个团队，从基础架构到加速软件，NVIDIA AI 开放操作系统，一直到 AI 模型都非常出色。在 1 个实体中，他们可以获得整个跨度的专业知识。所以这对客户来说是一个很好的模型。这是 CSP 的一个很好的模型。这对我们来说是一个很好的模型。它让我们真正的奔跑如风。尽管我们将继续并继续推进 DGX AI 超级计算机，但在本地构建 AI 超级计算机确实需要时间。怎么看都难。不管怎么看都需要时间。所以现在我们有能力真正预取其中的很多内容，让客户尽快启动和运行。蒂莫西·阿库里 Jensen，我想问一下这一切对你的 TAM 有什么影响。现在的大部分重点都放在文本上，但显然，有些公司在视频和音乐方面进行了大量培训。他们在那里研究模型。似乎正在训练这些大型模型的人可能在高端的云中至少有 10,000 个 GPU，他们已经签约，可能还有数万个 GPU 用于推断广泛部署的模型。所以看起来增量 TAM 很容易在几十万个 GPU 中，很容易达到数百亿美元。但我有点想知道这对你去年提供的 TAM 数字有何影响。我想你说的是 3000 亿美元的硬件 TAM 和 3000 亿美元的软件 TAM。那么您如何看待新的 TAM 是什么？黄仁勋我认为这些数字仍然是非常好的锚点。不同之处在于，如果你愿意的话，生成人工智能具有令人难以置信的能力和多功能性，以及去年年中和年底发生的所有融合突破，我们可能会早晚到达那个 TAM。毫无疑问，这对计算机行业来说是一个非常重要的时刻。每一个平台的变化，人们开发计算机方式的每一个转折点，都是因为它更容易使用、更容易编程和更容易访问。这发生在 PC 革命中。这发生在互联网革命中。这发生在移动云上。请记住，移动云，由于 iPhone 和 App Store，出现了 500 万个应用程序，并且还在不断增加。没有 500 万个大型机应用程序。没有 500 万个工作站应用程序。没有 500 万个 PC 应用程序。因为开发和部署令人惊叹的应用程序非常容易，一部分是云，一部分是在移动设备上，而且由于应用程序商店的存在，分发也很容易，所以同样的事情现在也发生在人工智能身上。在没有计算的时代，一个计算平台 ChatGPT 在 60、90 天内达到了 1.5 亿人。我的意思是，这是一件非同寻常的事情。人们正在用它来创造各种各样的东西。所以我认为你现在看到的只是涌现的新公司和新应用程序的洪流。毫无疑问，从各个方面来说，这都是一个新的计算时代。所以我认为——我们解释和表达的 TAM，它在今天确实比以前更容易实现。斯泰西·拉斯根澄清一下，你说 H-100 的收入高于 A100。这是一个总体陈述吗？或者是在同一时间点，比如在 2 个季度的出货量之后？然后是我的实际问题。我想问问汽车，特别是梅赛德斯的机会。梅赛德斯今天举办了一场活动，他们正在谈论他们的 MB Drive 的软件收入，到 20 世纪中期可能达到个位数或低 10 亿欧元，到 20 世纪末达到 10 亿欧元。我知道你们应该将软件收入分成 50-50。你们正在考虑的梅赛德斯交易软件收入的数量级是这种数量级吗？在相似的时间范围内？那是我们应该如何建模的吗？科莱特克雷斯首先让我从您提出的关于 H-100 和 A100 的问题开始。我们在第三季度开始首次发货 H-100。这是一个很好的开始。他们中的许多人在很多季度前就开始了这个过程。这是我们在第三季度获得生产水平的时候。因此，第四季度是我们看到 H-100 大幅提升的重要时刻。这意味着我们的 H-100 是我们在第四季度的许多 CSP 的焦点，他们都希望在云实例中启动和运行。因此，我们实际上在第四季度看到的 A100 数量少于我们在 H-100 中看到的数量。我们倾向于继续销售这两种架构，但就在第四季度，这是一个强劲的季度您对梅赛德斯-奔驰的其他问题。我对我们与他们的共同联系和工作感到非常满意。我们一直在非常努力地准备上市。你是对的。他们确实谈到了软件机会。他们分两个阶段讨论了他们的软件机会，关于他们可以用 Drive 做什么以及他们还可以用 Connect 做什么。他们延长了大约 10 年的时间，着眼于他们在我们面前看到的机会。因此，它与我们与长期合作伙伴的想法一致，并随着时间的推移分享收入。黄仁勋 Stacy，如果我可以补充的话，其中一件事是关于梅赛德斯正在做的事情的智慧。这是唯一的大型奢侈品牌，从每一辆——从入门级到最高端的豪华车，每一辆都安装了丰富的传感器，每一辆他们配备了人工智能超级计算机，这样梅赛德斯车队中的每辆未来汽车都将成为一个可以升级和永远更新的安装基础，以供未来的客户使用。如果你能想象一下如果今天在路上的整个梅赛德斯车队都是完全可编程的，你可以 OTA，那将代表数千万辆梅赛德斯，这将代表创收机会。这就是 Ola 的愿景。我认为他们正在建造的是什么，这将是非凡的。豪华车的庞大安装基础将继续更新——为了客户的利益，也为了创收利益。马克·利帕西斯我认为对你来说，詹森，似乎每年都会出现新的工作负载，并推动对你的流程或生态系统周期的需求。如果我回想面部识别，然后是推荐引擎、自然语言处理、Omniverse 和现在的生成式 AI 引擎，您能与我们分享您的观点吗？这是我们应该期待的未来吗，比如将您的产品需求推向新水平的全新工作负载？我问的原因是因为我发现你在脚本中的评论很有趣，你提到你对生成人工智能将推动你的产品和服务的需求的看法 - 似乎很多，更好比你过去 90 天的想法还要多。所以 - 就您正在处理的新工作负载或可以推动下一级别需求的新应用程序而言，您是否愿意与我们分享一些您认为可以推动它超越您的需求的东西今天见？黄仁勋首先，我有一些您不知道的新应用程序和我们从未分享过的新工作负载，我想在 GTC 上与您分享。这就是我参加 GTC 的诱因，我认为您会对我们将要讨论的应用程序感到非常惊讶和非常高兴。现在，您不断听到有关新应用程序的消息是有原因的。原因是，第一，NVIDIA 是一个多域加速计算平台。它不像CPU那样完全是通用的，因为CPU是95%，98%是控制函数，只有2%是数学，这使得它完全是灵活的。我们不是那样的。我们是一个加速计算平台，与 CPU 一起工作，可以卸载真正繁重的计算单元，这些单元可能会非常非常瘫痪以卸载它们。但我们是多域的。我们可以做粒子系统。我们可以做流体。我们可以做神经元。我们可以做计算机图形。我们可以做的。我们可以加速各种不同的应用程序，第一。第二，我们的客户群非常庞大。这是唯一的加速计算平台，唯一的平台。从字面上看，这是唯一一个在架构上兼容从 PC 到工作站、游戏玩家到汽车再到本地的所有云的架构。每台计算机在架构上都是兼容的，这意味着开发了一些特别的东西的开发人员会寻找我们的平台，因为他们喜欢它的影响力。他们喜欢普遍的影响力。他们喜欢加速，第一。他们喜欢编程工具的生态系统和它的易用性，以及他们可以接触到很多人来帮助他们这一事实。全世界有数以百万计的 CUDA 专家，软件都加速了，工具都加速了。然后非常重要的是，他们喜欢触及范围。他们喜欢你可以看到的事实——他们在开发软件后可以接触到如此多的用户。这就是我们不断吸引新应用程序的原因。最后，这是非常重要的一点。请记住，CPU 计算进步的速度已经大大放缓。而在我职业生涯的前 30 年里，每 5 年在大约相同的功率下性能提高 10 倍，然后每 5 年提高 10 倍。这种持续前进的速度已经放缓。在这个时代，人们仍然非常非常迫切地想要将他们想要带给世界的应用程序，而随着功率的不断增加，他们负担不起这样做。每个人都需要可持续发展。你不能继续消耗电力。通过加速它，我们可以减少您为任何工作负载使用的电量。因此，所有这些原因确实促使人们使用加速计算，并且我们不断发现新的令人兴奋的应用程序。阿蒂夫·马利克科莱特，我有一个关于数据中心的问题。您在 1 月季度看到了建设计划的一些弱点，但您正在指导 4 月和全年的同比加速。因此，如果您可以为我们加速排名的信心。这是基于你的 H-100 斜坡或生成的 AI 销售，还是新的 AI 服务模型？而且，如果你能谈谈你在企业垂直领域看到的情况。科莱特克雷斯当我们考虑我们的增长时，是的，我们将在第一季度连续增长，并且预计第一季度也将实现同比增长。它可能会在那里加速前进。那么我们认为这是什么驱动因素呢？是的，我们有多个产品周期进入市场。我们现在有 H-100 上市。我们也将继续推出新产品，有时我们的 GPU 计算和我们的网络会为这些产品提供动力。然后我们可能会在今年下半年取得成绩。此外，生成人工智能在我们的客户中引起了一定的兴趣，无论是 CSP，还是企业，其中之一是初创企业。我们预计这将成为我们今年收入增长的一部分。最后，让我们不要忘记，鉴于摩尔定律的终结，专注于 AI，专注于加速持续是错误的。因此，随着经济的改善，这对企业来说可能非常重要，并且云优先的存在可以为企业提供动力，因为他们 [音频不清晰]。我将把它转给 Jensen，看看他是否有任何其他想要添加的内容。黄仁勋不，你做得很好。那很棒。约瑟夫摩尔 Jensen，你谈到在过去十年中你训练这些模型的能力提高了 100 万倍。您能否让我们深入了解未来几年的情况，以及您的一些使用这些大型语言模型的客户所谈论的复杂性在那种时间范围内增加了 100 倍的程度。我知道 Hopper 的变压器性能提高了 6 倍。但是你能做些什么来扩大规模呢？其中有多少只是反映了未来将有更大的硬件支出？黄仁勋首先，我会倒着开始。我相信人工智能基础设施的数量将在全世界增长。原因是人工智能，即智能的生产，将在制造业中进行。曾几何时，人们只生产实物商品。未来，几乎每家公司都会制造软商品。它恰好以智能的形式出现。数据进来了。那个数据中心只做一件事，而且只做一件事。它利用这些数据生成一个新的更新模型。在原材料进来的地方，建筑物或基础设施在其上运转，然后精炼或改进的东西产生了巨大的价值，这就是工厂。所以我希望看到世界各地的 AI 工厂。其中一些将托管在云中。其中一些将在本地进行。会有一些很大，有些会非常大，然后会有一些更小。所以我完全希望这会发生，第一。第二。在接下来的 10 年里，我希望通过新芯片、新互连、新系统、新操作系统、新分布式计算算法和新 AI 算法，并与开发人员合作开发新模型，我相信我们会将人工智能再加速一百万倍。我们有很多方法可以做到这一点。这就是 NVIDIA 不仅仅是一家芯片公司的原因之一，因为我们试图解决的问题太复杂了。你必须考虑整个堆栈，从芯片一直到通过软件通过网络进入数据中心。在一家公司的头脑中，我们可以考虑整个堆栈。由于这个原因，它确实是计算机科学家的一个很好的游乐场，因为我们可以在整个堆栈中进行创新。所以我的期望是，你将在未来十年的下一家公司、人工智能平台上看到人工智能模型的真正巨大突破。但与此同时，由于其令人难以置信的增长和采用，您将随处看到这些 AI 工厂。黄仁勋谢谢。Transformer、大型语言模型和生成式 AI 的突破积累，将 AI 的能力和多功能性提升到了一个显着的水平。一个新的计算平台已经出现。新公司、新应用程序和应对长期挑战的新解决方案正在以惊人的速度诞生。几乎每个行业的企业都在积极应用生成人工智能来重新构想他们的产品和业务。围绕 AI 的活动水平已经很高，现在已经显着加快。这是我们十多年来一直努力的时刻。我们准备好了。我们配备新变压器引擎和 Quantum InfiniBand 结构的 Hopper AI 超级计算机已全面投入生产，CSP 正在竞相开放其 Hopper 云服务。在我们努力满足对 GPU 的强劲需求时，不要错过即将到来的 GTC。关于新芯片、系统和软件、新 CUDA 应用程序和客户、新生态系统合作伙伴以及 NVIDIA AI 和 Omniverse 的更多信息，我们有很多要告诉您的。这将是我们迄今为止最好的 GTC。到时候那里见。 (这份记录可能不是100％的准确率，并且可能包含拼写错误和其他不准确的。提供此记录，没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见)

老虎证券2023-02-23

石头科技涨超4%，人工智能ETF（159819）今日成交额超3300万元

别、自然语音处理及数据科学，2006年深度学习提出后AI产业进入快速发展阶段，目前已在安防、金融、医疗、智能汽车等领域广泛应用，推动生产力进步。人工智能支出已经成为支持企业数字化转型支出的主力之一，市场规模快速增长。根据沙利文的报告，2020年全球人工智能技术支出为687亿美元，预计2025年达到2212亿美元，年复合增速达到26.3%，而中国人工智能市场规模年复合增速将达到41.5%，预计增速有望全球第一。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。

有连云2023-02-23

李彦宏：计划将多项主流业务与文心一言整合

人工智能公司，从高端芯片昆仑芯，到飞桨深度学习框架，再到文心预训练大模型，各个层面都有领先业界的关键自研技术，可以实现端到端优化，大幅提升效率。　　我们计划将多项主流业务与文心一言整合。文心一言与搜索整合，将引领搜索体验的代际变革。除了提供更好的搜索和答案，我们还会提供全新的交互和聊天体验，以及独特的生成内容，极大地丰富内容生态和供给，吸引更多用户，并有机会形成新的流量入口。文心一言也将通过百度智能云对外提供服务。之前选择云厂商更多看算力、存储等基础云服务。未来，更多会看框架好不好、模型好不好，以及模型、框架、芯片、应用之间的协同。这会根本性地改变云计算市场的游戏规则。文心一言大模型搭载到Apollo智舱系列产品，会让智能汽车具备领先一代的人车交互体验。文心一言与小度进行集成，将显著提升小度与用户进行多轮对话的体验，更加聪明和善解人意。小度将成为用户身边更加全能的智能助手。　　最近这几年，我不断跟同学们讲困难和挑战，为的是当机会来临时，我们能够抓住机会，勇敢创新。因为只有创新能够驱动增长。让我们牢记使命，“用科技让复杂的世界更简单”，坚持做正确的事，帮助实现人工智能的终极理想，“为人类带来更多的自由与可能”。同学们，你们准备好了吗？　　Robin

金融界2023-02-22

24小时热点