FX168财经网_全球视野外汇黄金加密货币NFT资讯网

AI x Crypto 报告：案例研究、发展瓶颈、技术挑战

有两个文件。例如，LLaMa 2（一个大型语言模型，类似于 GPT-4）就是两个文件：参数，一个 140GB 的文件，其中包括数字。 run.c ，和一个简单的文件（约 500 行代码）。第一个文件包含 LLaMa 2 模型的所有参数，run.c 包含如何进行推理（使用模型）的说明。这些模型都是神经网络。图 30：神经网络的基本图示在像上面这样的神经网络中，每个节点都有一堆数字。这些数字被称为参数，并存储在文件（惊喜！）参数中。获取这些参数的过程称为训练。下面是一个高度概括的过程。想象一下训练一个识别数字（从0到9）的模型。我们首先收集数据（在这种情况下，我们可以使用MNIST数据集）。然后开始训练模型。我们取第一个数据点，即 "5"。然后，我们将图像（"5"）传递给网络。网络会对输入图像进行数学运算。网络将输出一个0到9之间的数字。该输出是当前网络对该图像的预测。现在有两种情况。网络要么是对的（它预测了 "5"），要么是错的（任何其他数字）。如果它预测的数字正确，我们就不用做什么。如果预测的数字不正确，我们将返回网络，对所有参数进行小幅修改。在做了这些小改动后，我们再试一次。从技术上讲，网络现在有了新的参数，因此预测结果也会不同。我们对所有数据点一直这样做，直到网络基本正确为止。这一过程本质上是顺序性的。我们首先通过整个网络传递一个数据点，看看预测结果如何，然后更新模型的权重。训练过程可以更加全面。首先，我们必须选择模型架构。我们应该选择哪种类型的神经网络？并不是所有的机器学习模型都是神经网络。其次，在确定哪种架构最适合我们的问题，或者至少是我们认为最适合的架构之后，我们需要确定训练流程。例如，我们将以何种顺序将数据传递给网络？第三，我们需要硬件设置。我们要使用什么样的硬件（CPU、GPU、TPU）？我们又该如何对其进行训练？最后，在训练模型的同时，我们要验证这个模型是否真的很好。我们希望在训练结束时测试这个模型是否能提供我们想要的输出结果。剧透（其实也不算剧透），训练模型的计算成本非常高。任何微小的低效都会带来巨大的成本。正如我们稍后将看到的，特别是对于像LLM这样的大型模型，低效的训练可能会让你付出数百万美元的代价。在第2部分中，我们将再次详细讨论训练模型所面临的挑战。 1.2.3 推理机器学习管道的第三步是推理，也就是使用模型。当我使用ChatGPT并得到回应时，模型正在执行推理。如果我用脸部解锁iPhone，脸部ID模型会识别我的脸并打开手机。该模型执行了推理。数据已经有了，模型已经训练好了，现在模型训练好了，我们就可以使用它，使用它就是推理。严格来说，推理与网络在训练阶段做出的预测是一回事。回想一下，一个数据点通过网络，然后进行预测。然后根据预测的质量更新模型参数。推理的工作原理与此相同。因此，与训练相比，推理的计算成本非常低。训练LLaMa可能要花费数千万美元，但推理一次只需几分之一。与训练相比，计算成本更低。训练 LLaMa可能要花费数千万美元，但进行一次推理只需几分之一。与训练相比，进行推理的成本很低，而且更容易并行化，这可能为小型闲置计算（如笔记本电脑和手机）提供了机会。推理过程有几个步骤。首先，在实际生产中使用之前，我们需要对其进行测试。我们对训练阶段未见的数据进行推理，以验证模型的质量。其次，当我们部署一个模型时，会有一些硬件和软件要求。例如，如果我的iPhone上有人脸识别模型，那么该模型就可以放在苹果公司的服务器上。然而，这样做非常不方便，因为现在每次我想解锁手机时，都必须访问互联网并向苹果服务器发送请求，然后在该模型上进行推理。然而，如果想在任意时刻使用这种技术，进行人脸识别的模型就必须存在于你的手机上，这意味着该模型必须与你iPhone上的硬件类型兼容。最后，在实践中，我们还必须维护这一模式。我们必须不断进行调整。我们训练和使用的模型并不总是完美的。硬件要求和软件要求也在不断变化。 1.2.4 机器学习管道是迭代式的到目前为止，我把这个管道设计成了依次进行的三个步骤。你获取数据，处理数据，清理数据，一切都很顺利，然后你训练模型，模型训练完成后，你进行推理。这就是机器学习在实践中的美好图景。实际上，机器学习需要进行大量的迭代。因此，它不是一个链条，而是如下图所示的几个循环。图 31：机器学习流水线可以形象地理解为由数据、训练和推理三个步骤组成的链条。不过，在实践中，这一过程的迭代性更强，如蓝色箭头所示。为了理解这一点，我们可以举几个例子。例如，我们可能会收集一个模型的数据，然后尝试对其进行训练。在训练的过程中，我们会发现我们需要的数据量应该更多。这意味着我们必须暂停训练，回到数据步骤并获取更多数据。我们可能需要重新处理数据，或者进行某种形式的数据扩增。数据扩增就像是给数据改头换面，从老一套中创造出新的面貌。想象一下，你有一本相册，你想让它变得更有趣。你把每张照片都复制了几份，但在每份副本中，你都做了一些小改动--也许你旋转了一张照片，放大了另一张照片，或者改变了另一张照片的光线。现在，你的相册有了更多的变化，但实际上你并没有拍摄任何新照片。例如，如果你正在训练一个模特识别狗，你可能会水平翻转每张照片，然后把它也提供给模特。或者，我们改变照片中狗的姿势，如下图所示。就模型而言，这增加了数据集，但我们并没有到现实世界中去收集更多数据。使用合成数据来训练机器学习模型可能会导致许多问题，因此能够证明数据的真实性在未来可能变得至关重要。图 32：数据增强示例。对原始数据点进行多点扩增，无需到世界各地收集更多独特的数据点迭代的第二个更明显的例子是，当我们实际训练了一个模型，然后将其用于实践，即进行推理时，我们可能会发现模型在实践中表现不佳或存在偏差。这意味着我们必须停止推理过程，返回并重新训练模型，以解决这些问题，如偏差和证明。第三个也是非常常见的步骤是，一旦我们在实践中使用模型（进行推理），我们最终会对数据步骤进行修改，因为推理本身会产生新的数据。例如，想象一下建立一个垃圾邮件过滤器。首先，我们要收集数据。本例中的数据是一组垃圾邮件和非垃圾邮件。当模型经过训练并用于实践时，我的收件箱中可能会收到一封垃圾邮件，这意味着模型犯了一个错误。它没有把它归类为垃圾邮件，但它就是垃圾邮件。因此，当 Gmail用户选择 "这封邮件属于垃圾邮件 "时，就会产生一个新的数据点。之后，所有这些新数据点都会进入数据步骤，然后我们可以通过多做一些训练来提高模型的性能。另一个例子是，想象一个人工智能在下棋。我们训练人工智能下棋所需的数据是大量棋局，以及谁赢谁输的结果。但当这个模型用于实际下棋时，就会为人工智能生成更多的数据。这意味着，我们可以从推理步骤回到数据，利用这些新的数据点再次改进我的模型。这种推理和数据相连的想法适用于很多场合。本节旨在让你对机器学习模型的构建过程有一个高层次的了解，这个过程是非常反复的。它不像 "哦，我们只需获取数据，一次尝试就能训练出一个模型，然后将其投入生产"。模型是不断更新的，因此不变的记录可能会给设计带来挑战。 1.3 机器学习的类型我们将介绍三种主要的机器学习模型。监督学习："老师，教我方法" 无监督学习："只需找到隐藏的模式“ 强化学习："试一试，看什么有效" 1.3.1 监督学习 "老师，教我方法" 想象一下，你正在教孩子区分猫和狗。你（对一切都了如指掌的老师）给他们看很多猫和狗的图片，每次都告诉他们哪个是哪个。最终，孩子们学会了自己辨别。这几乎就是机器学习中监督学习的工作原理。在监督学习中，我们有大量的数据（比如猫和狗的图片），而且我们已经知道答案（老师告诉他们哪个是狗，哪个是猫）。我们利用这些数据来训练一个模型。该模型会查看许多示例，并有效地学习模仿老师。在这个例子中，每张图片都是一个原始数据点。答案（狗或猫）被称为"标签"。因此，这是一个标签数据集。每个数据点都包含一张原始图片和一个标签。这种方法概念简单，功能强大。在医疗诊断、自动驾驶汽车和股票价格预测中，使用监督学习模型的应用很多。这种方法概念简单，功能强大。在医疗诊断、自动驾驶汽车和股票价格预测中，使用监督学习模型的应用很多。然而，可以想象，这种方法面临着许多挑战。例如，我们不仅需要获取大量数据，还需要标签。这可能非常昂贵。Scale.ai (opens new window) 等公司在这方面提供了有价值的服务。数据标注对稳健性提出了许多挑战。给数据贴标签的人可能会犯错，或者只是对标签有不同意见。从人类收集的所有标签中，有 20% 无法使用的情况并不少见。激励机制和其他博弈论动态可能有助于提高开放数据集的质量。 1.3.2 无监督学习（Unsupervised Learning, USL） "只需找到隐藏的模式" 想象一下，你有一个装满各种水果的大篮子，但你并不熟悉所有的水果。你开始根据它们的外观、大小、颜色、质地甚至气味将它们分类。你不太清楚每种水果的名称，但你注意到有些水果彼此相似。也就是说，你在数据中发现了一些规律。这种情况类似于机器学习中的无监督学习。在无监督学习中，我们会给模型一堆数据（比如各种水果的组合），但我们不会告诉模型每个数据是什么（我们不会给水果贴标签）。然后，模型会检查所有这些数据，并试图自己找出模式或分组。它可能会根据水果的颜色、形状、大小或任何其他它认为相关的特征进行分组。然而，模型找到的特征并不总是相关的。这就导致了许多问题，我们将在第 2 章中看到。例如，模型最终可能会将香蕉和大蕉归为一组，因为它们都是长条形且呈黄色，而苹果和西红柿可能会被归为另一组，因为它们都是圆形且可能是红色。这里的关键在于，模型是在没有任何先验知识或标签的情况下找出这些分组的--它是从数据本身学习的，就像你根据可观察到的特征将未知水果分到不同的组中一样。无监督学习是许多流行的机器学习模型的支柱，例如大型语言模型（LLM）。ChatGPT不需要人类通过提供标签来教它如何说每个句子。它只需分析语言数据中的模式，并学会预测下一个单词。许多其他强大的生成式人工智能模型都依赖于无监督学习。例如，GAN（生成对抗网络）可用于生成人脸（即使这个人并不存在）。参见 https://thispersondoesnotexist.com/(opens new window) 图 33：人工智能生成的图像来自 https://thispersondoesnotexist.com 图 34：第二张人工智能生成的图片来自 https://thispersondoesnotexis t.com 上面的图片是人工智能生成的。我们并没有教这个模型"什么是人脸"。它是在大量人脸的基础上训练出来的，通过巧妙的架构，我们可以利用这个模型生成看似真实的人脸。请注意，随着生成式人工智能的兴起和模型的改进，对内容进行验证变得越来越困难。加密解决方案可以让我们追踪内容的来源，并以可扩展的方式让我们安全地使用生成式人工智能。 1.3.3 强化学习 (Reinforcement Learning, RL) "试一试，看什么有效 "或 "从试验和错误中学习" 想象一下，您正在教一只狗做一个新的动作，比如捡球。每当狗狗做出接近你想要的动作时，比如跑向球或捡起球，你就给它点心吃。如果狗狗做了与此无关的事情，比如朝相反的方向跑，它就得不到食物。渐渐地，狗狗发现捡到球就能得到美味的食物，所以它就会一直这样做。这基本上就是机器学习领域中的强化学习（RL）。在RL中，你有一个计算机程序或代理（如狗），它通过尝试不同的事情（如狗尝试不同的动作）来学习决策。如果代理做出了好的行为（比如捡球），它就会得到奖励（食物）；如果做出了不好的行为，它就得不到奖励。随着时间的推移，代理会学会多做能获得奖励的好事，少做不能获得奖励的坏事。从形式上看，这就是最大化奖励函数。最酷的地方在于：代理会自己通过试错找出这一切。现在，如果我们想构建一个人工智能来下棋，那么人工智能最初可以随意尝试走棋。如果最终赢得了比赛，人工智能就会得到奖励。然后，该模型就会学会走更多的胜棋。这可以应用于许多问题，尤其是需要连续决策的问题。例如，RL方法可用于机器人与控制、国际象棋或围棋（如 AlphaGo）以及算法交易。 RL方法面临许多挑战。其一，代理可能需要很长时间才能"学会"有意义的策略。这对于学习下棋的人工智能来说是可以接受的。但是，当人工智能开始采取随机行动来观察哪些行动有效时，你会把你的个人资金投入到人工智能算法交易中吗？或者说，如果机器人一开始会采取随机行动，你会允许它住在你家吗？图35：这是一些强化学习代理在训练过程中的视频：一个[真正的机器人](https://www.youtube.com/watch?v=n2gE7n11h1Y)和一个[模拟机器人](https://www.youtube.com/watch?v=hx_bgoTF7bs) 以下是每种机器学习的应用实例简述：机器学习面临的挑战本章概述了机器学习领域的问题。我们将有选择性地对该领域的某些问题展开。这样做有两个原因：1）简明扼要，全面概述该领域的挑战并考虑到细微差别会导致报告非常冗长；2）在讨论与加密货币的交叉点时，我们将重点关注相关问题。不过，本节本身只是从人工智能的角度撰写的。也就是说，我们不会在本节讨论密码学方法。本节所涉主题概述：从偏见到可访问性，数据面临着巨大的挑战。此外，数据层面上存在恶意的攻击也会导致机器学习模型的误判。当模型（如GPT-X）在合成数据上进行训练时，会发生模型崩溃。这会对其造成不可逆转的损害。标注数据可能非常昂贵、缓慢且不可靠。根据不同的架构，训练机器学习模型会面临许多挑战。模型并行化带来了巨大的挑战，例如通信开销。贝叶斯模型可用于量化不确定性。例如：在进行推理时，模型会返回它的确定程度（如 80% 的确定性）。 LLM面临幻觉（hallucination）和训练困难等特殊挑战。 2.1 数据挑战数据是任何类型机器学习模型的关键。不过，数据的要求和规模因使用的方法而异。无论是监督学习还是无监督学习，都需要原始数据（无标签数据）。在无监督学习中，只有原始数据，不需要标注。这就缓解了许多与标注数据集相关的问题。然而，无监督学习所需的原始数据仍然会带来许多挑战。这包括数据偏差：当训练数据不能代表所要模拟的真实世界场景时，机器学习中就会出现偏差。这可能导致偏差或不公平的结果，例如面部识别系统在某些人口群体上表现不佳，因为他们在训练数据中的代表性不足。不均衡的数据集：通常，可用于训练的数据在不同类别之间的分布并不均衡。例如，在疾病诊断应用中，“无病”案例可能比"有病"案例多得多。这种不平衡会导致模型在少数民族/阶层上表现不佳。这个问题与偏见不同。数据的质量和数量：机器学习模型的性能在很大程度上取决于训练数据的质量和数量。数据不足或质量不佳（如低分辨率图像或嘈杂的音频录音）会严重影响模型的有效学习能力。数据的可获取性：获取大型、高质量的数据集可能是一项挑战，尤其是对于规模较小的机构或个人研究人员而言。大型科技公司在这方面往往具有优势，这可能导致机器学习模型开发方面的差距。这是一项重大挑战。不过，众包数据集也会带来一些问题，比如数据质量的保证。经济激励和博弈论设计可以帮助创建开放的高质量数据集。数据安全：保护数据免遭未经授权的访问并确保其在存储和使用过程中的完整性至关重要。安全漏洞不仅会损害隐私，还会导致数据被篡改，影响模型性能。隐私问题：由于机器学习需要大量数据，处理这些数据可能会引发隐私问题，尤其是当其中包含敏感或个人信息时。确保数据隐私意味着尊重用户同意、防止数据泄露以及遵守 GDPR 等隐私法规。这可能非常具有挑战性（见下文示例）。在机器学习模型中，删除特定用户的数据（遵守GDPR）是一项非常具有挑战性的工作。与数据库不同，我们不能随便删除一个条目。模型参数会根据提供的所有数据进行调整，因此在模型训练完成后删除特定用户的信息是非常困难的。图 34：数据隐私的一个特殊问题源于机器学习模型的性质。在普通数据库中，我可以有关于多人的条目。如果我的公司要求我删除这些信息，你只需从数据库中删除即可。然而，当我的模型经过训练后，它持有几乎整个训练数据的参数。不清楚哪个数字对应训练中的哪个数据库条目 2.1.1 模型崩溃在无监督学习中，我们要强调的一个特殊挑战是模型崩溃。在本文中，作者进行了一项有趣的实验。GPT-3.5 和 GPT-4 等模型是使用网络上的所有数据训练而成的。然而，这些模型目前正在被广泛使用，因此一年后互联网上的大量内容将由这些模型生成。这意味着，GPT-5 及以后的模型将使用 GPT-4 生成的数据进行训练。在合成数据上训练模型的效果如何？他们发现，在合成数据上训练语言模型会导致生成的模型出现不可逆转的缺陷。论文作者指出："我们证明，如果我们要保持从网络上搜刮的大规模数据进行训练所带来的好处，就必须认真对待这一问题。事实上，当从互联网抓取的数据中出现由 LLM 生成的内容时，收集到的有关人类与系统之间真正交互行为的数据的价值将越来越大"。这可能表明，围绕数据出处（追踪数据来源）的解决方案存在重大机遇。图 35：模型崩溃示意图。随着使用人工智能模型生成的互联网内容越来越多，下一代模型的训练集中很可能包含合成数据，如本文所示请注意，这种现象并非LLM所特有，它可能会影响各种机器学习模型和生成式人工智能系统（如变异自动编码器、高斯混合模型）。现在，让我们来看看监督学习。在监督学习中，我们需要一个贴有标签的数据集。这意味着原始数据本身（一张狗的图片）和一个标签（"狗"）。标签由模型设计者手动选择，可以通过人工标注和自动化工具相结合的方式获得。这在实践中带来了许多挑战。这包括主观性：决定数据的标签可能是主观的，从而导致模糊不清和潜在的伦理问题。一个人认为合适的标签，另一个人可能会有不同的看法。标签的差异：同一个人（更不用说不同的人）重复运行可能会提供不同的标签。这就提供了 "真实标签 "的噪声近似值，因此需要质量保证层。例如，人类可能会收到一个句子，并负责标注该句子的情绪（"快乐"、"悲伤"......等）。同一个人有时会给完全相同的句子贴上不同的标签。这就降低了数据集的质量，因为它在标签中引入了差异。在实践中，20% 的标签无法使用的情况并不少见。想象一下，创建一个数据集来预测区块链上新协议的质量。你很可能会得到一个范围很广的分数，这取决于你所选择的评分系统的次活动性，以及你所调查的人的意见差异。缺乏专家注释者：对于一个小众的医疗应用，人们可能很难获得大量有意义的标签数据。这是由于能够提供这些标签的人员（医学专家）十分稀缺。罕见事件：对于许多事件来说，由于事件本身非常罕见，因此很难获得大量的标注数据。例如，发现流星的计算机视觉模型。高成本：当试图收集大量高质量数据集时，成本可能高得惊人。由于上述问题，如果需要对数据集进行标注，成本尤其高昂。还有很多问题，比如应对对抗性攻击和标签的可转移性。为了让读者对数据集的规模有一些直观的了解，请看下图。像 ImageNet这样的数据集包含1400万个标签数据点。图 36：各种机器学习数据集的规模示意图。Common Crawl的近似值为10亿个网页，因此总字数远远超过这个数字。小型数据集（如 Iris）包含 150 幅图像。MNIST 大约有 70,000 张图像。请注意，这是一个对数比例 2.1.2 强化学习中的数据收集在强化学习中，数据收集是一项独特的挑战。与监督学习不同的是，监督学习的数据是预先标记好的静态数据，而强化学习则依赖于通过与环境互动而产生的数据，这通常需要复杂的模拟或真实世界的实验。这就带来了一些挑战：这一过程可能会耗费大量资源和时间，对于物理机器人或复杂环境而言尤其如此。如果机器人在真实世界中接受训练，那么它从试验和错误中学习可能会导致事故。或者，也可以考虑让训练机器人通过试验和错误来学习。奖励稀少且延迟：在收到有意义的反馈之前，代理可能需要探索大量的行动，从而难以学习有效的策略。确保所收集数据的多样性和代表性至关重要；否则，代理可能会过度适应狭隘的经验集，而不能通用化。在探索（尝试新行动）和利用（使用已知的成功行动）之间取得平衡使数据收集工作更加复杂，需要复杂的策略才能有效收集有用的数据。值得强调的一点是，数据收集与推理直接相关。在训练一个强化学习代理下棋时，我们可以利用自我对弈来收集数据。自我对弈就像是与自己下棋，以获得进步。代理与自己的副本对弈，形成一个持续学习的循环。这种方法非常适合收集数据，因为它会不断产生新的场景和挑战，帮助代理从广泛的经验中学习。这一过程可以在多台机器上并行执行。由于推理的计算成本很低（与训练相比），这一过程对硬件的要求也很低。通过自我游戏收集数据后，所有数据都将被用于训练模型和改进模型。闲置计算在分布式推理和数据收集中可以发挥强大作用，因为对硬件的要求比训练低得多。 2.1.3 对抗性数据攻击数据毒化攻击：在这种攻击中，通过添加扰动来破坏训练数据，从而欺骗分类器，导致不正确的输出。例如，有人可能会在非垃圾邮件中添加垃圾邮件元素。这将导致将来在垃圾邮件过滤器的训练中加入这些数据时，性能下降。这可以通过在非垃圾邮件上下文中增加 "free"、"win"、"offer "或 "token"等词的使用来解决。规避攻击：攻击者在部署过程中操纵数据，欺骗先前训练好的分类器。规避攻击在实际应用中最为普遍。针对生物识别验证系统的"欺骗攻击 "就是规避攻击的例子。对抗性攻击：这是对合法输入的修改，目的是愚弄模型，或者使用专门设计的"噪音"来引起错误分类。请看下面的例子，在熊猫图像中添加噪音后，模型将其分类为长臂猿（置信度为99.3%）。图 37：通过在熊猫图像中添加特殊类型的噪声，模型可预先判断出图像是长臂猿而不是熊猫。在进行对抗攻击时，我们向神经网络提供一幅输入图像（左图）。然后，我们使用梯度下降法构建噪声向量（中）。该噪声向量被添加到输入图像中，从而导致错误分类（右图）。(图片来源：本文图 1解释和利用对抗性实例》论文中的图 1）在创建开放数据集时，有必要建立一个强大的质量控制层，以避免恶意攻击。此外，数据出处（追溯图像来源）可能会有所帮助。 2.2 训练方面的挑战训练机器学习模型会面临许多挑战。本节绝不是为了说明这些挑战的严重性。相反，我们试图让读者了解挑战的类型和瓶颈所在。这将有助于建立直觉，从而能够评估将训练模型与密码原语相结合的项目构想。请看下面这个无监督学习问题的例子。在无监督学习中，没有 "老师 "提供标签或指导模型。相反，模型会发现问题中隐藏的模式。考虑一个猫狗数据集。每只猫狗都有两种颜色：黑色和白色。我们可以使用一个无监督学习模型，通过将它们聚类为两组来找到数据中的模式。该模型有两种有效的方法：将所有狗集中在一起，将所有猫集中在一起将所有白色动物集中在一起，将所有黑色动物集中在一起。请注意，从技术上讲，这两者都没有错。模型找到的模式很好。然而，要完全按照我们的要求来引导模型是非常具有挑战性的。图 38：训练好的对猫和狗进行分类的模型最终可能会根据颜色将动物聚类在一起。这是因为在实践中很难指导无监督学习模型。所有图像均由人工智能使用 Dalle-E 生成这个例子说明了无监督学习所面临的挑战。然而，在所有类型的学习中，能够评估模型在训练过程中的学习效果并进行潜在干预至关重要。这可以节省大量资金。在无权限系统中，模型的训练无需专家监督，因此可能会浪费大量资源。处理早期停止等问题的自动化工具还很不成熟。训练大型模型的挑战还有很多，这是一个非常简短的清单：训练大规模机器学习模型，尤其是深度学习模型，需要大量的计算能力。这通常意味着要使用高端 GPU 或 TPU，而它们可能既昂贵又耗能。与这些计算需求相关的成本不仅包括硬件，还包括连续运行这些机器（有时长达数周或数月）所需的电力和基础设施。强化学习因其训练的不稳定性而闻名，模型或训练过程中的微小变化都可能导致结果的显著差异。与Adam等监督学习中使用的更稳定的优化方法不同，强化学习中没有放之四海而皆准的解决方案。通常需要对训练过程进行定制，这不仅耗时，而且需要深厚的专业知识。强化学习中的探索-开发两难问题使训练变得更加复杂，因为找到正确的平衡点对于有效学习至关重要，但却很难实现。机器学习中的损失函数定义了模型的优化目标。选择错误的损失函数会导致模型学习到不恰当或次优的行为。在复杂任务中，例如涉及不平衡数据集或多类分类的任务，选择、有时甚至定制设计正确的损失函数变得更加重要。损失函数必须与应用的实际目标紧密结合，这就需要深入了解数据和预期结果。在强化学习中，设计能持续、准确反映预期目标的奖励函数是一项挑战，尤其是在奖励稀少或延迟的环境中。在国际象棋游戏中，奖励函数可以很简单：赢了得 1 分，输了得 0 分。但是，对于行走机器人来说，这个奖励函数可能会变得非常复杂，因为它将包含 "面向前方行走"、"不要随意摆动手臂 "等信息。奖励函数（和损失函数）包含了模型去符号化者认为重要的主观因素。可能有必要建立管理制度，以确保为广泛使用的模型选择适当的函数。在监督学习中，由于深度神经网络的 "黑箱 "性质，要了解是哪些特征驱动了复杂模型（如深度神经网络）的预测具有挑战性。这种复杂性使得调试模型、了解其决策过程和提高其准确性变得十分困难。这些模型的复杂性也对可预测性和可解释性提出了挑战，而这对在敏感或受监管领域部署模型至关重要。同样，训练模式和所涉及的挑战也是非常复杂的话题。我们希望上述内容能让您对所涉及的挑战有一个大致的了解。如果您想深入了解该领域当前面临的挑战，我们推荐您阅读《应用深度学习中的开放性问题》（Open Problems in Applied Deep Learning）和《MLOps 指南》（MLOps guide）。从概念上讲，机器学习模型的训练是按顺序进行的。但在很多情况下，并行训练模型至关重要。这可能只是因为模型太大，一个 GPU 难以容纳，并行训练可以加快训练速度。然而，并行训练模型会带来重大挑战，包括通信开销：将模型分割到不同的处理器需要这些单元之间不断进行通信。这可能会造成瓶颈，尤其是对于大型模型而言，因为各单元之间的数据传输可能会耗费大量时间。负载均衡：确保所有计算单元得到平等利用是一项挑战。不平衡会导致一些单元闲置，而另一些单元超负荷运行，从而降低整体效率。内存限制：每个处理器单元的内存都是有限的。在不超出这些限制的情况下，有效管理和优化多个单元的内存使用情况是非常复杂的，尤其是大型模型。实施的复杂性：设置模型并行涉及计算资源的复杂配置和管理。这种复杂性会增加开发时间和出错的可能性。优化困难：传统的优化算法可能无法直接适用于模型并行化环境，也无法提高效率，这就需要进行修改或开发新的优化方法。调试和监控：由于训练过程的复杂性和分布性增加，监控和调试分布在多个单元上的模型比监控和调试运行在单个单元上的模型更具挑战性。分散和并行训练方面的基本新方法可以极大地推动机器学习的进步。 2.3 推理中的挑战许多类型的机器学习系统面临的最重要挑战之一就是它们可能会"自信地出错"。ChatGPT可能会返回一个我们听起来很有把握的答案，但事实上这个答案是错误的。这是因为大多数模型经过训练后都会返回最有可能的答案。贝叶斯方法可用于量化不确定性。也就是说，模型可以返回一个有根据的答案，来衡量它有多确定。考虑使用蔬菜数据训练图像分类模型。该模型可以获取任何蔬菜的图像，并返回它是什么，例如 "黄瓜 "或 "红洋葱"。如果我们给这个模型输入一张猫的图像，会发生什么呢？普通模型会返回它的最佳猜测，也许是 "白色洋葱"。这显然是不正确的。但这是模型的最佳猜测。贝叶斯模型的输出则是 "白色洋葱 "和一个确定度，例如 3%。如果模型有 3% 的确定性，我们可能就不应该根据这个预测采取行动。图 39：常规模型预测（只返回最有可能的答案）和贝叶斯模型预测（返回预测结果的 s 分布）的示意图这种形式的不确定性定性和推理在关键应用中至关重要。例如，医疗干预或金融决策。然而，贝叶斯模型的实际训练成本非常高，而且面临许多可扩展性问题。推理过程中出现的更多挑战维护：随着时间的推移，尤其是数据和现实世界场景发生变化时，保持模型的更新和正常运行。 RL 中的探索-利用：在探索新策略和利用已知策略之间取得平衡，尤其是在推理直接影响数据收集的情况下。测试性能：确保模型在新的、未见过的数据上表现良好，而不仅仅是在训练过的数据上。分布偏移：处理输入数据分布随时间发生的变化，这种变化会降低模型性能。例如，推荐引擎需要考虑客户需求和行为的变化。某些模型生成缓慢：像扩散模型这样的模型在生成输出时可能需要大量时间，而且速度较慢。高斯过程和大型数据集：随着数据集的增长，使用高斯过程进行推理的速度会越来越慢。增加防护栏：在生产模型中实施制衡措施，防止出现不良结果或误用。在封闭源模型中增加哪些防护措施，这对于确保不出现偏差至关重要。 2.4 LLM 面临的挑战大型语言模型面临许多挑战。不过，由于这些问题受到了相当多的关注，我们在此仅作简要介绍。 LLM 不提供参考文献，但可以通过检索增强生成（RAG）等技术来缓解没有参考文献等问题。幻觉：产生无意义、虚假或无关的输出。训练运行需要很长时间，而且数据集重新平衡的边际值很难预测，这就导致了缓慢的反馈循环。很难将人类的基本评估标准扩展到模型所允许的吞吐量。量化在很大程度上是需要的，但其后果却鲜为人知。下游基础设施需要随着模型的变化而变化。在与企业合作时，这意味着长时间的发布延迟（生产总是远远落后于开发）。不过，我们想重点介绍论文《沉睡代理：训练通过安全训练持续存在的欺骗性 LLMs》一文中的一个例子。作者训练的模型会在提示年份为 2023 年时编写安全代码，但在提示年份为 2024 年时插入可被利用的代码。他们发现，这种后门行为可以持续存在，因此标准的安全训练技术无法将其清除。这种后门行为在最大的模型中最持久，在经过经训练产生思维链路以欺骗训练过程的的模型中也最持久，甚至就算思维链路已经消失也一直存在。图 40 后门示意图。如果是 2024 年，模型的训练表现为 "正常"，但如果是 2024 年，则策略表现不同。资料来源：本文图 1 模型训练过程的透明度至关重要，因为即使是开源模型，也可能被训练出只在特定情况下使用的后门。例如，想象一下，将一个有资金的钱包连接到一个人工智能代理，结果却发现了一个后门。然后，这个代理就会将所有资金转移到一个特定的地址，或者以不同的身份恶意行事。在本章中，我们讨论了机器学习领域的许多挑战。显而易见，研究的巨大进步解决了许多此类问题。例如，基础模型为训练特定模型提供了巨大优势，因为您只需根据使用情况对其进行微调即可。此外，数据标注不再是全手工过程，使用半监督学习等方法可以避免大量的人工标注。本章的总体目标是先让读者对人工智能领域的问题有一些直观的了解，然后再探讨人工智能与密码学的交叉问题。报告外读物 3.1.1 Gensyn 网站： https://www.gensyn.ai/(opens new window) 一句话简介：去中心化机器学习计算协议，实现人工智能开发民主化。描述：旨在通过将全球所有计算能力整合到一个全球超级集群中，彻底改变人工智能和加密货币领域。该网络专为机器学习计算协议设计，任何人都可以随时访问，从而推动机器学习的发展。通过利用区块链技术，Gensyn实现了人工智能训练过程的去中心化，允许点对点、低成本高效率地访问计算资源。这就消除了对云寡头和大型科技公司的依赖，为人工智能开发提供了一个更加民主和无许可的环境。Gensyn的协议使世界各地的设备（包括未充分利用的硬件）都能为去中心化计算网络做出贡献，为任何人、任何地方都能实现人工智能潜力的未来铺平了道路。简短描述什么是数据类别中的公司，最好使用第 2 章中的框架进行细分。 3.1.2 Axiom 网站： https://www.axiom.xyz/(opens new window) 一句话简介： Axiom利用零知识证明，实现对以太坊历史的无信任链上查询和计算，适用于数据丰富的动态的去中心化应用。描述：为人工智能和加密货币的交叉领域铺平了道路，它使开发人员能够在以太坊上创建智能合约，这些合约可以通过零知识（ZK）证明对区块链数据的整个历史进行访问和计算。这一点至关重要，因为它为动态DeFi应用、定制化的预言机和链上忠诚度计划开辟了新的可能性，允许协议根据历史链上活动进行调整，而无需依赖外部预言机或修改已部署的合约。此外，该协议还旨在将 ZK 技术用于人工智能应用，例如通过确保数据完整性和无信任计算，Axiom可以验证在线内容并检测深度伪造。这使得Axiom成为以太坊上未来安全、数据丰富应用的关键参与者，利用人工智能和加密货币的优势，创建一个更加透明、高效和用户驱动的生态系统。来源：金色财经

金色财经2024-02-22

英伟达2024 年第 4 季度业绩电话会分析师问答

造革命性的能力。如果在我们的下一代中，大型语言模型突然实现了惊人的突破，请不要感到惊讶，并且这些突破（其中一些突破将在软件中，因为它们运行 CUDA）将可供安装基础使用。因此，我们一方面带着每个人。另一方面，我们取得了巨大的突破。 Aaron Rakers 我想问一下中国业务。我知道，在您准备好的评论中，您说过您开始向中国运送一些替代解决方案。您还表示，您预计这一贡献将继续占整个数据中心业务的中个位数百分比。所以我想问题是你们今天向中国市场运送的产品有多大，为什么我们不应该期待其他替代解决方案进入市场并扩大你们的广度以再次参与这个机会？黄仁勋想一想，从本质上讲，记住美国政府希望将 NVIDIA 加速计算和 AI 的最新能力限制在中国市场。美国政府希望看到我们在中国尽可能取得成功。在这两个限制之内，如果你愿意的话，在这两个支柱之内，就是限制，所以当新的限制出现时，我们不得不暂停。我们立刻停了下来。为了了解限制是什么，我们以软件无法以任何方式破解的方式重新配置了我们的产品。这需要一些时间。所以我们重新调整了我们向中国提供的产品，现在我们正在向中国的客户提供样品。我们将尽最大努力在该市场中竞争，并在限制范围内取得成功。就是这样。上个季度，当我们在市场上暂停时，我们的业务大幅下降。我们停止在市场上发货。我们预计本季度的情况大致相同。但之后，希望我们能够去竞争我们的业务并尽力而为，我们会看看结果如何。 Harsh Kumar 嘿，黄仁勋、Colette 和 NVIDIA 团队。首先，祝贺您获得了令人惊叹的季度和指南。我想谈谈你们的软件业务，很高兴听到它超过 10 亿美元，但我希望黄仁勋或 Colette 能帮助我们了解该软件的不同部分和组成部分商业？换句话说，只需帮助我们稍微解开它，这样我们就可以更好地了解增长的来源。黄仁勋让我退后一步，解释一下NVIDIA在软件方面会非常成功的根本原因。首先，如您所知，加速计算确实在云中发展。在云中，云服务提供商拥有非常庞大的工程团队，我们与他们合作的方式允许他们运营和管理自己的业务。每当出现任何问题时，我们都会指派大型团队来处理。他们的工程团队直接与我们的工程团队合作，我们增强、修复、维护、修补加速计算所涉及的复杂软件堆栈。如您所知，加速计算与通用计算有很大不同。您不是从 C++ 等程序开始。你编译它，然后它就可以在你所有的 CPU 上运行。每个领域所需的软件堆栈，从数据处理 SQL 与 SQL 结构数据与所有非结构化的图像、文本和 PDF，到经典机器学习、计算机视觉、语音到大语言模型，所有这些——推荐系统。所有这些都需要不同的软件堆栈。这就是 NVIDIA 拥有数百个库的原因。如果没有软件，就无法打开新市场。如果您没有软件，则无法打开和启用新应用程序。软件对于加速计算至关重要。这是大多数人花了很长时间才理解的加速计算和通用计算之间的根本区别。现在，人们明白软件确实是关键。我们与 CSP 合作的方式非常简单。我们有大型团队正在与他们的大型团队合作。然而，现在生成式人工智能正在使每个企业和每个企业软件公司都能够拥抱加速计算——以及何时——拥抱加速计算现在至关重要，因为它不再可能，也不可能仅仅通过简单的方式来维持吞吐量的提高。通用计算。所有这些企业软件公司和企业公司都没有大型工程团队来维护和优化其软件堆栈以在全球所有云、私有云和本地运行。因此，我们将对他们的所有软件堆栈进行管理、优化、修补、调整和安装基础优化。我们将它们容器化到我们的堆栈中。我们将其称为 NVIDIA AI Enterprise。我们将 NVIDIA AI Enterprise 推向市场的方式是，将 NVIDIA AI Enterprise 视为一个像操作系统一样的运行时，它是一个人工智能操作系统。我们对每个 GPU 每年收取 4,500 美元的费用。我的猜测是，世界上每家企业、每家在所有云、私有云和本地部署软件的软件企业公司都将在 NVIDIA AI Enterprise 上运行，尤其是对于我们的 GPU 而言。因此，随着时间的推移，这可能会成为一项非常重要的业务。我们有了一个良好的开端。Colette 提到，它的运行速度已经达到 10 亿美元，而我们实际上才刚刚开始。谢谢。现在，我将把电话转回给首席执行官黄仁勋，让其致闭幕词。黄仁勋计算机行业正在同时进行两个同步平台转变。价值数万亿美元的数据中心安装基础正在从通用计算转向加速计算。每个数据中心都将得到加速，以便世界能够满足计算需求，增加吞吐量，同时管理成本和能源。NVIDIA 实现了令人难以置信的速度——NVIDIA 实现了一种全新的计算范式，即生成式 AI，软件可以学习、理解和生成从人类语言到生物结构和 3D 世界的任何信息。我们现在正处于一个新行业的开端，人工智能专用数据中心处理大量原始数据，将其提炼为数字智能。与上一次工业革命的交流发电厂一样，NVIDIA AI 超级计算机本质上也是本次工业革命的 AI 发电厂。每个行业的每家公司从根本上都是建立在其专有的商业智能之上，并且在未来，其专有的生成人工智能。生成式人工智能已经启动了一个全新的投资周期，以建设下一个万亿美元的人工智能生成工厂基础设施。我们相信，这两种趋势将推动全球数据中心基础设施安装基数在未来五年内翻一番，并代表每年数千亿的市场机会。这种新的人工智能基础设施将开辟一个今天不可能实现的全新应用世界。我们与超大规模云提供商和消费者互联网公司一起开启了人工智能之旅。现在，从汽车到医疗保健到金融服务，从工业到电信、媒体和娱乐，每个行业都参与其中。 NVIDIA 的全栈计算平台具有行业特定的应用程序框架以及庞大的开发者和合作伙伴生态系统，为我们提供了帮助每个公司的速度、规模和覆盖范围，帮助每个行业的公司成为人工智能公司。在下个月于圣何塞举行的 GTC 上，我们有很多东西要与您分享。所以一定要加入我们。我们期待向您通报下季度的最新进展。 (这份记录可能不是100％的准确率，并且可能包含拼写错误和其他不准确的。提供此记录，没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见)

老虎证券2024-02-22

英伟达2024 年第 4 季度业绩电话会高管解读财报

由跨行业、用例和地区的生成式人工智能和大型语言模型的训练和推理推动的。我们的数据中心平台的多功能性和领先性能可为许多用例带来高投资回报，包括人工智能训练和推理、数据处理和广泛的 CUDA 加速工作负载。我们估计，去年大约 40% 的数据中心收入来自人工智能推理。构建和部署人工智能解决方案几乎已涉及每个行业。各行各业的许多公司都在通过云提供商（包括超大规模云、GPU 专用云、私有云或本地云）大规模培训和运营其 AI 模型和服务，以及跨 NVIDIA AI 基础设施的企业。 NVIDIA 的计算堆栈可跨云和本地环境无缝扩展，允许客户采用多云或混合云策略进行部署。第四季度，大型云提供商占我们数据中心收入的一半以上，支持内部工作负载和外部公共云客户。微软最近指出，超过 50,000 个组织使用 GitHub Copilot 业务来提高开发人员的工作效率，推动 GitHub 收入同比增长加速至 40%。Copilot for Microsoft 365 采用率在前两个月的增长速度比之前两个主要 Microsoft 365 企业套件版本的增长速度更快。消费互联网公司是人工智能的早期采用者，也是我们最大的客户类别之一。从搜索到电子商务、社交媒体、新闻和视频服务以及娱乐的公司都在使用人工智能来构建基于深度学习的推荐系统。这些人工智能投资通过提高客户参与度、广告对话和点击率而产生了丰厚的回报。 Meta 在最新季度中表示，更准确的预测和广告商业绩的改善有助于其收入大幅增长。此外，消费互联网公司正在投资生成式人工智能，通过内容和广告创建、在线产品描述和人工智能购物辅助的自动化工具为内容创作者、广告商和客户提供支持。企业软件公司正在应用生成式人工智能来帮助客户实现生产力提升。我们在生成式人工智能的训练和推理方面合作的早期客户已经取得了显着的商业成功。 ServiceNow 的生成式人工智能产品在最新一个季度推动了所有新产品系列发布中有史以来最大的年度净新合同价值贡献。我们还与许多其他领先的人工智能和企业软件平台合作，包括 Adobe、Databricks、Getty Images、SAP 和 Snowflake。大语言模型的基础领域正在蓬勃发展。Anthropic、谷歌、Inflection、微软、OpenAI 和 xAI 在生成人工智能领域不断取得惊人突破，处于领先地位。Adept、AI21、Character.ai、Cohere、Mistral、Perplexity 和 Runway 等令人兴奋的公司正在构建为企业和创作者服务的平台。新的初创公司正在创建法学硕士，以服务于世界许多地区的特定语言、文化和习俗。其他人正在创建基础模型来解决完全不同的行业，例如递归制药和生成：生物学生物医学。这些公司正在通过超大规模或 GPU 专业云提供商推动对 NVIDIA AI 基础设施的需求。就在今天早上，我们宣布与 Google 合作优化其最先进的新 Gemma 语言模型，以加速其在云数据中心和 PC 中 NVIDIA GPU 上的推理性能。过去一年最显着的趋势之一是汽车、医疗保健和金融服务等垂直行业的企业大量采用人工智能。NVIDIA 提供多种应用框架，利用我们的全栈加速计算平台，帮助企业在自动驾驶、药物发现、用于欺诈检测或机器人技术的低延迟机器学习等垂直领域采用人工智能。我们估计去年汽车垂直行业通过云或本地数据中心的收入贡献超过 10 亿美元。NVIDIA DRIVE 基础设施解决方案包括用于开发自动驾驶的系统和软件，包括数据摄取、创建、标记和 AI 培训，以及通过模拟进行验证。全球 OEM、新能源汽车、卡车运输、自动驾驶出租车和一级供应商的近 80 家汽车制造商正在使用 NVIDIA 的 AI 基础设施来训练法学硕士和其他 AI 模型，以实现自动驾驶和 AI 座舱应用。事实上，几乎所有致力于人工智能的汽车公司都在与 NVIDIA 合作。随着 AV 算法转向视频转换器以及更多汽车配备摄像头，我们预计 NVIDIA 的汽车数据中心处理需求将大幅增长。在医疗保健领域，数字生物学和生成人工智能正在帮助重塑药物发现、手术、医学成像和可穿戴设备。过去十年，我们在医疗保健领域积累了深厚的专业知识，创建了 NVIDIA Clara 医疗保健平台和 NVIDIA BioNeMo（一项生成式 AI 服务，用于开发、定制和部署用于计算机辅助药物发现的 AI 基础模型）。 BioNeMo 具有越来越多的预训练生物分子 AI 模型，可应用于端到端药物发现过程。我们宣布 Recursion 正在通过 BioNeMo 为药物发现生态系统提供其专有的人工智能模型。在金融服务领域，客户正在将人工智能用于越来越多的用例，从交易和风险管理到客户服务和欺诈检测。例如，美国运通使用 NVIDIA AI 将欺诈检测准确率提高了 6%。转向我们按地理位置划分的数据中心收入。所有地区的增长均强劲，但中国除外，在美国政府 10 月份实施出口管制法规后，我们的数据中心收入大幅下降。尽管我们尚未获得美国政府向中国运送受限制产品的许可证，但我们已经开始向中国市场运送不需要许可证的替代品。第四季度，中国数据中心收入占我们数据中心收入的中个位数百分比。我们预计第一季度它将保持在类似的范围内。在美国和中国以外的地区，主权人工智能已成为额外的需求驱动力。世界各国都在投资人工智能基础设施，以支持使用本国语言、基于国内数据构建大型语言模型，并支持当地研究和企业生态系统。从产品角度来看，绝大多数收入是由我们的 Hopper 架构和 InfiniBand 网络推动的。它们共同成为加速计算和人工智能基础设施的事实上的标准。我们有望在第二季度实现 H200 的首次发货。需求强劲，因为 H200 的推理性能几乎是 H100 的两倍。网络年化收入运行率超过 130 亿美元。我们的端到端网络解决方案定义了现代人工智能数据中心。我们的 Quantum InfiniBand 解决方案同比增长超过 5 倍。 NVIDIA Quantum InfiniBand 是最高性能 AI 专用基础设施的标准。我们现在正在进入以太网网络领域，推出了专为数据中心人工智能优化网络而设计的新 Spectrum-X 端到端产品。Spectrum-X 通过以太网引入了专为人工智能而构建的新技术。与传统以太网相比，我们的 Spectrum 交换机、BlueField DPU 和软件堆栈中采用的技术可将 AI 处理的网络性能提高 1.6 倍。包括戴尔、HPE、联想和超微在内的领先 OEM 拥有全球销售渠道，正在与我们合作，将我们的人工智能解决方案扩展到全球企业。我们有望在本季度推出 Spectrum-X。我们的软件和服务产品也取得了巨大进展，第四季度的年化收入达到了 10 亿美元。我们宣布 NVIDIA DGX Cloud 将扩大其合作伙伴名单，将亚马逊 AWS 纳入其中，加入 Microsoft Azure、Google Cloud 和 Oracle Cloud 的行列。DGX Cloud 用于 NVIDIA 自己的 AI 研发和自定义模型开发以及 NVIDIA 开发人员。它将 CUDA 生态系统带给 NVIDIA CSP 合作伙伴。好吧，转向游戏。游戏收入为 28.7 亿美元，环比持平，同比增长 56%，好于我们对假期期间消费者对 NVIDIA GeForce RTX GPU 强劲需求的预期。财年收入为 104.5 亿美元，增长 15%。在 CES 上，我们发布了 GeForce RTX 40 Super 系列 GPU 系列。它们起价 599 美元，提供令人难以置信的游戏性能和生成人工智能功能。销售有了一个良好的开端。 NVIDIA AI Tensor 核心和 GPU 提供多达 836 个 AI 顶级，非常适合为游戏 AI 提供动力，创造日常生产力。我们通过 RTX GPU 提供的丰富软件堆栈进一步加速了人工智能。借助我们的 DLSS 技术，八分之七的像素可以由 AI 生成，从而使光线追踪速度提高 4 倍并提高图像质量。借助适用于 Windows 的 Tensor RT LLM，我们的开源库可加速最新大语言模型生成式 AI 的推理性能，在 RTX AI PC 上的运行速度可提高 5 倍。在 CES 上，我们还宣布了各大 OEM 厂商推出的一系列新款 RTX 40 系列 AI 笔记本电脑。这些为各种外形尺寸带来了高性能游戏和人工智能功能，包括 14 英寸和轻薄笔记本电脑。这些下一代 AI PC 拥有高达 686 个顶级 AI 性能，将生成式 AI 性能提高了 60 倍，成为性能最佳的 AI PC 平台。在 CES 上，我们发布了 NVIDIA Avatar Cloud Engine 微服务，它允许开发人员将最先进的生成式 AI 模型集成到数字化身中。ACE 荣获多项 CES 2024 最佳奖项。 NVIDIA 拥有一个端到端平台，用于为 RTX PC 和工作站构建和部署生成式 AI 应用程序。这包括开发人员可以纳入其生成人工智能工作负载的库、SDK、工具和服务。NVIDIA 正在推动下一波进入 PC 的生成式 AI 应用程序。我们已经在路上，拥有超过 1 亿台 RTX PC 和超过 500 个支持 AI 的 PC 应用程序和游戏。转向专业可视化。收入为 4.63 亿美元，环比增长 11%，同比增长 105%。财年收入为 15.5 亿美元，增长 1%。本季度的连续增长是由 RTX Ada 架构 GPU 的丰富组合持续增长所推动的。企业正在更新其工作站，以支持与生成型人工智能相关的工作负载，例如数据准备、LLM 微调和检索增强生成。这些推动需求的关键垂直行业包括制造业、汽车和机器人技术。汽车行业也是 NVIDIA Omniverse 的早期采用者，因为该行业寻求将工厂和汽车从设计到建造、模拟、操作和体验的工作流程数字化。在 CES 上，我们宣布 Brickland、WPP 和 ZeroLight 等创意合作伙伴和开发商正在构建 Omniverse 支持的汽车配置器。像莲花这样的领先汽车制造商正在采用该技术，将个性化、真实性和互动性提升到新的购车体验水平。转向汽车。收入为 2.81 亿美元，环比增长 8%，同比下降 4%。由于汽车制造商继续采用 NVIDIA DRIVE 平台，该财年收入达到 10.9 亿美元，增长 21%，首次突破 10 亿美元大关。NVIDIA DRIVE Orin 是软件定义 AV 车队的首选 AI 车载计算机。其后续产品 NVIDIA DRIVE Thor 通常专为视觉变形者而设计，可提供更多 AI 性能，并将广泛的智能功能集成到单个 AI 计算平台中，包括自动驾驶和停车、驾驶员和乘客监控以及 AI 驾驶舱功能，并将明年上市。本季度有多家汽车客户发布公告，理想汽车、长城汽车、吉利旗下高端电动汽车子公司 ZEEKR 以及小米电动汽车均发布了基于 NVIDIA 的新车。转向损益表的其余部分。由于数据中心的强劲增长和组合，GAAP 毛利率连续扩大至 76%，非 GAAP 毛利率扩大至 76.7%。我们第四季度的毛利率受益于有利的零部件成本。随后，GAAP 运营费用增长了 6%，非 GAAP 运营费用增长了 9%，主要反映了计算和基础设施投资的增加以及员工的增长。第四季度，我们以股票回购和现金股息的形式向股东返还 28 亿美元。在 24 财年，我们使用了 99 亿美元的现金来回报股东，其中包括 95 亿美元的股票回购。让我谈谈第一季度的展望。总收入预计为 240 亿美元，上下浮动 2%。我们预计数据中心和供应商的环比增长将被游戏的季节性下降部分抵消。GAAP 和非 GAAP 毛利率预计分别为 76.3% 和 77%，上下浮动 50 个基点。与第四季度类似，第一季度的毛利率受益于有利的零部件成本。在第一季度之后，在今年剩余时间内，我们预计毛利率将恢复到 70% 左右的范围。 GAAP 和非 GAAP 运营费用预计分别约为 35 亿美元和 25 亿美元。随着我们继续投资于面前的巨大机遇，2025 财年 GAAP 和非 GAAP 运营费用预计将增长 30% 左右。 GAAP 和非 GAAP 其他收入和支出预计约为 2.5 亿美元，不包括非关联投资的损益。GAAP 和非 GAAP 税率预计为 17%，正负 1%（不包括任何离散项目）。更多财务细节包含在 CFO 评论和我们的 IR 网站上提供的其他信息中。最后，让我强调一下金融界即将发生的一些事件。我们将参加 3 月 4 日在旧金山举行的摩根士丹利技术与媒体和电信会议，以及 3 月 5 日在波士顿举行的 TD Cowen 第 44 届年度医疗保健会议。当然，请参加我们于 3 月 18 日星期一在旧金山举行的年度 DTC 会议加利福尼亚州何塞市将是五年来首次面对面举行。DTC 将以 Jen-Hsun 的主题演讲拉开帷幕，我们将在第二天（3 月 19 日）为金融分析师举办问答环节。 (这份记录可能不是100％的准确率，并且可能包含拼写错误和其他不准确的。提供此记录，没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见)

老虎证券2024-02-22

美国突传两则“意外”重磅！美联储“释鸽”按兵不动美元跌破104、黄金2026酝酿涨潮比特币多空交战激烈

片包括H100，被AI开发人员用来创建大型语言模型。 (来源:Bloomberg) 2023年，OpenAI公司的ChatGPT将价值4万美元的英伟达芯片变成了硅谷最热门的商品。 Meta首席执行官马克·扎克伯格(Mark Zuckerberg)在今年1月份表示，该公司计划今年将H100芯片的总库存增加到35万个。黄仁勋指出，英伟达的数据中心平台由日益多样化的驱动因素提供支持，目前汽车、金融服务和医疗保健等行业的支出达到数十亿美元的水平。随着英伟达的重点转向新产品，例如预计将于今年晚些时候开始发货的高端AI芯片B100，投资者正在密切关注黄仁勋能否维持英伟达的高增长率。英伟达周三表示，预计本季收入将再次增长，达到240亿美元。在最新财报公布之前，美国银行分析师称，英伟达股价飙升是由于“恐惧、贪婪以及投资者对AI不加选择的追逐”。巴以新突破：美国联合航空恢复以色列航班英国《金融时报》报道，美国联合航空(United Airlines)是第一家恢复飞往以色列航班的美国航空公司，该公司2023年10月战争爆发后暂停了该航线。#巴以冲突# (来源:Financial Times) 公司表示，将于3月2日恢复新泽西州纽瓦克和特拉维夫之间的航班，四天后开始提供直达服务。哈马斯武装分子于2023年10月7日袭击以色列后，美联航停止飞往以色列的航班，而以色列则通过袭击加沙进行报复。联合航空表示：“一旦旅行需求恢复，渴望在5月份恢复从纽瓦克出发的第二趟每日特拉维夫航班。” 回到经济数据面，联邦公开市场委员会(FOMC)会议纪要显示，一些成员认为利率可能已达到最高水平，表明未来将采取谨慎态度。官员们对实现通胀目标的困难表示担忧，凸显了经济形势的不确定性。根据某些政策制定者的观点，目前认为2023年12月份的经济预测比之前认为的更加乐观。就目前而言，CME的Fed Watch工具显示3月份下次会议降息的可能性为20%，并且5月份也仍然较低，反映出市场情绪倾向于美联储将利率稳定在限制性水平的意图。市场目前将降息的开始时间推迟到6月。周四，市场将密切关注美国每周初请失业金人数和2月份标准普尔PMI初值。美元技术分析：多头表现疲弱，必须恢复100日移动平均线 FXStreet分析师Patricio Martín表示，美元日线图上的指标反映了买卖压力之间的平衡。相对强弱指数(RSI)处于正值区域，但其负斜率表明购买动力正在失去动力。移动平均线收敛背离(MACD)的绿色条不断减少，意味着任何看涨势头正在减弱，并可能转变为看跌倾向。此外，该指数与其简单移动平均线(SMA)相比的定位提供了一个有趣的视角。尽管面临看跌压力，多头仍设法将美元指数保持在20日和200日移动平均线之上。这表明买家在更广泛的时间范围内继续发挥一定的力量。然而，美元指数低于100日移动平均线可能暗示看涨走势存在中间障碍。因此，尽管更广泛的趋势可能仍然倾向于买家，但短期前景呈现出多头和空头之间的控制权争夺战。黄金技术分析：黄金可能转向更大上升趋势 FXEmpire分析师Bruce Powers表示，金价短暂反弹至周二高点2031美元之上，引发看涨趋势延续，随后在2032美元遭遇阻力。这是两周内第三次成功测试50日均线的阻力位。首先，这告诉市场50日线代表阻力，可能导致再次下跌以测试近期低点。此外，它还表明市场正在再次尝试突破该线。第二次测试是在周二，周三不仅创下了新的日高，而且还创下了更高的日低，表明五日趋势仍然良好。周三的上涨还触发了上周锤子烛台形态的周度看涨突破，该形态是在突破2031美元后触发的。日收市价高于2031美元将确认周线突破，并将更高的价格提上议事日程。第一个中期目标将是2045美元左右。如果达到这一点，金价将升至下降趋势线上方，标志着反映需求改善的关键进展。尽管如此，日收市价高于55日均线将提供下一个走强迹象，目前位于2031美元。由于今天是金价连续第五天上涨，并且继续测试50日线阻力，如果这样的话，可能会导致先转跌再上破。在这种情况下，当跌破今天的低点2020美元时，首先表明疲软。在先前看到的低点的推动下，有两个潜在的支撑位值得关注，它们分别位于2015和2009美元。 38.2%斐波那契回调位位于2014美元，足够接近以确认2015美元价格区域。此外，2008美元的50%回撤确认了2009美元价位区域是潜在的重要支撑。跌破每日低点1995美元可能会导致进一步测试近期波动低点1984美元，并可能导致更低的价格。关键的较低支撑位是200日均线，目前位于1965美元。自2023年12月底B点波动高点以来，黄金一直走低。每日收市价高于标志着下跌动态阻力的下降趋势线，将首次确认下降趋势已转变为正在发展的上升趋势。到那时，完成3000美元的上升ABCD形态就成为主要的初始目标。 (来源:FXEmpire) 比特币技术分析：多空陷入激烈交战 CoinTelegraph表示，比特币过去几天一直横盘整理，表明多头和空头之间正在展开一场艰苦的战斗。卖方会压倒买方并开始短期调整，还是买方会脱颖而出？这是每个加密货币投资者心中的问题。美联储提前降息的希望逐渐减弱，导致标准普尔500指数获利回吐。这可能预示着近期的避险情绪，增加了比特币和部分山寨币回调的风险。然而，下跌可能不会改变长期看涨观点。投资者可能将每次下跌视为买入机会，因为比特币即将在4月份减半周期，这在历史上一直是看涨事件。比特币正在努力维持在52000美元上方，表明空头正在激烈捍卫该水平。如果价格跌破50000美元，短线交易者可能会放弃并获利了结。这可能会将比特币拉至20天指数移动平均线48842美元。如果价格从20日均线强力反弹，则表明市场情绪依然乐观，交易者正在较低水平买入。这将增加反弹至52000美元上方的可能性。随后，比特币可能会跃升至60000美元。相反，如果价格继续走低并跌破20日均线，则将标志着开始回调至50日简单移动平均线44924美元。#VIP会员尊享# (来源:CoinTelegraph)

小萧2024-02-22

会员

Covalent Network 发展新里程碑：SOC 2 数据安全认证通过,进一步加强了其人工智能支持

金色财经2024-02-21

信实工业支持的印度语言大模型计划3月发布

个类似ChatGPT的服务，这项印度语大型语言模型以印度教深喉哈努曼的名字命名。BharatGPT当地时间2月20日在孟买举行的技术会议上表示，这些模型目前可以支持11种印度语言，包括印地语、泰米尔语、泰卢固语、马拉雅拉姆语和马拉地语，研发者希望可以扩展至22种印度语言。研发者与信实工业的合作包括在电信和零售等领域的行业应用模型。

金融界2024-02-21

Groq售价2万美元LPU芯片打破了AI性能记录或颠覆GPU主导行业

源：X) 这是因为Groq背后的团队为大型语言模型(LLM)开发了自己的定制专用集成电路(ASIC)芯片，使其每秒可以生成大约500个tokens。相比之下，该模型的公开版本ChatGPT-3.5每秒可以生成大约40个tokens。该模型的开发商Groq Inc声称已经创建了第一个运行模型的语言处理单元(LPU)，而不是通常用于运行AI模型的稀缺且昂贵的图形处理单元(GPU)。 (来源：X) 在 ArtificialAnalysis.ai最近进行的基准测试中，Groq在几个关键性能指标（包括延迟与延迟）上优于其他8名参与者，包括吞吐量和总响应时间。Groq的网站指出，LPU的卓越性能，尤其是Meta AI的Llama 2-70b模型，意味着“意味着“必须扩展轴才能在延迟与吞吐量图表上绘制 Groq”。根据ArtificialAnalysis.ai的数据，Groq LPU实现了每秒241个tokens的吞吐量，大大超过了其他托管提供商的能力。这种性能水平是竞争解决方案速度的两倍，并有可能为跨各个领域的大型语言模型开辟新的可能性。Groq的内部基准进一步强调了这一成就，声称达到每秒300个代币，这是传统解决方案和现有提供商尚未接近的速度。（来源：ArtificialAnalysis.ai） GroqCard加速器是这项创新的核心，售价为19,948美元，可供消费者轻松购买。从技术上讲，它拥有高达750 TOP(INT8)和188 TFLOP(FP16 @900 MHz)的性能，以及每个芯片230 MB SRAM和高达80 TB/s的片上内存带宽，优于传统的CPU和GPU设置，特别是在法学硕士任务中。这一性能飞跃归因于LPU能够显着减少每个字的计算时间并缓解外部内存瓶颈，从而实现更快的文本序列生成。（来源：CryptoSlate）将Groq LPU卡与成本相似的英伟达旗舰A100 GPU进行比较，Groq卡在处理大量简单数据 (INT8) 的速度和效率至关重要的任务中表现出色，即使 A100 使用先进技术来提高其性能也是如此。然而，当处理更复杂的数据处理任务（FP16）时，需要更高的精度，Groq LPU无法达到A100的性能水平。从本质上讲，这两个组件在AI和ML计算的不同方面都表现出色，Groq LPU卡在高速运行LLMS 方面极具竞争力，而A100在其他方面领先。Groq将LPU定位为运行LLM的工具，而不是原始计算或微调模型。然而，Groq背后的公司并不最近成立的。它成立于2016年，当时注册的商标名为Groq。去年11月，当马斯克自己的人工智能模型（也称为 Grok，但拼写为“k”）受到关注时，最初的Groq背后的开发人员发表了一篇博客文章，呼吁马斯克选择另外的名字。自从Groq在社交媒体上疯传以来，马斯克和X上的Grok页面都没有对这两个工具名称的相似性发表任何评论。尽管如此，平台上的许多用户已经开始将LPU模型与其他流行的基于GPU的模型进行比较。一位从事人工智能开发的用户称Groq是需要低延迟的产品的“游戏规则改变者”，低延迟是指处理请求和获得响应所需的时间。 (来源：X) 另一位用户表示，Groq的LPU可以为GPU提供“巨大的改进”，以满足未来人工智能应用的需求，并表示它也可能成为人工智能“高性能硬件”的良好替代品。在此背景下，业界主要的人工智能开发商正在寻求开发内部芯片，以避免仅仅依赖英伟达的模型。据报道，OpenAI正在向世界各地的政府和投资者寻求数万亿美元的资金来开发自己的芯片，以克服产品扩展方面的问题。

楼喆2024-02-21

腾讯公司申请文本预测模型专利，提高了对象在多个场景下的沟通效率

文本、第二样本文本以及第三样本文本，对大型语言模型进行训练，得到文本预测模型。本申请提高了对象在多个场景下的沟通效率。

金融界2024-02-20

Octavia：基于 AI 构建链上意图设施,引领智能化加密时代

进行处理，这将保证 Octavia 的大型语言模型不会陷入指导饱和，即像 ChatGPT 那样其模型性能随着提示复杂度和任务特定微调而变差。我们看到。通过链上链下的全局结合，Octavia 更适用于作为加密投资者全面的投资工具，Octavia 本身建立在区块链上，除了能够实时追踪各项链上数据，其还能够通过与 MetaMask 等钱包插件集成，通过授权代替用户实现各类链上交易意图（比如在 GMX、UniSwap 上实现某笔交易）。在 Octavia 推出的个人版产品中，支持用户进行市场研究、自动化交易等，比如可以在 Telegram、Discord、Twitter 和 Octavia 应用程序（即将推出）上发送消息，向 Octavia 通过对话的形式提出“意图”，Web3 智能助手将代替用户实现系列意图，比如编写推文、参与一些代币的预售、了解市场趋势、实现一系列递归指令、监控代币发行、实时跟踪代币趋势、实时获取最新加密资讯、代币价格走势预测、项目研究与推荐、代币效应研究、链上分析预警以及代币价格监控等等。所以有了 Octavia，对于加密投资者而言，用户能够更加深入、准确的对市场趋势、风险进行实时的了解，并有望大幅提升链上投资的盈利几率、提升加密投资的容错率。除了个人版产品外，Octavia 还推出了面向 Groups 的版本，一个基于 AI 的社区管理器是这个部分的首个产品，能够对 Telegram 和 Discord 社区进行审核和社区管理。利用 Octavia 技术，它可以准确地响应有关其所代表的社区的上下文问题，并维护 Telegram/Discord 组中的规则执行。 Octavia 经济体系与生态进展作为面向 Web3 的生态，Octavia 推出了原生代币 $VIA，$VIA 可用于质押、高级功能解锁、投票参与治理以及机器学习模型的训练，从而使用户能够赚取额外的 $VIA 代币，该资产 Octavia 生态系统的运营中发挥着至关重要的作用。质押通过质押 $VIA 资产，用户将能够获得生态系统奖励。该机制旨在激励用户积极参与 Octavia 生态系统。质押的代币将被锁定，减少流通供应并确保健康的生态系统，而产生的奖励可以成为代币持有者的被动收入来源。高级功能 $VIA 持有者将有机会访问先进的工作流程、私人模式、自动交易等。通过质押足够的 $VIA 代币，该实用程序鼓励用户持有和使用 $VIA 代币，从而促进市场上 $VIA 的需求增加和流通量减少。治理作为一个去中心化平台，Octavia 允许 $VIA 代币持有者参与决策过程。他们可以对新功能、协议调整或生态系统的任何变化提出、讨论和投票。这意味着 Octavia 平台的方向和发展掌握在社区手中，这符合去中心化和开放发展的精神。 “Train-To-Earn” Train-To-Earn 是一个全新的概念，用户可以通过提供有关 Octavia 产出的反馈来获得生态系统奖励，从而直接为 Octaiva 的发展做出贡献。该机制经过专门设计，不仅增强了 Octavia 的功能，而且还创建了一个积极的反馈循环，用户因对平台的贡献而获得奖励。目前，Octavia 已经与 Openfabric AI、Masterblox、DexCheck、Chappyz、DeFiMint、NeoCoder、Arcanum Ventures、HyperGPT、Solidus Ai Tech 等建立了合作伙伴关系，并获得了 Genesis Capital、Brotherhood Ventures、Castrum Capital、Poolz Ventures、MoonBoots DAO、Xtream Capital、 Normie Capital、DCI Capital 、Automatic Venture Group、Founderheads、Simurg、Mapleblock Capital 、PMZ Capital、 Coinvestor Ventures、DuckDAO、BlockVerse Capital 等的投资支持。目前，随着 Octavia 应用程序的启动，$VIA 代币也正在被推向市场。在 2024 年 2 月 12 日至 2 月 19 日期间，$VIA 代币已经陆续在 DAO Maker、ChainGPT、Decubate、Poolz 几个 LaunchPad 平台进行了 Launch，并实现了早期的启动。而在北京时间 2 月 20 日 21:00（LaunchPad 结束），$VIA 将上线 Gate 平台，并在后续上线 MXC 。引领智能化加密时代 OpenAI 推出的 ChatGPT 正在让高质量的 AIGC 服务向 B 端用户开放，这也让越来越多的互联网用户能够通过 AI 技术来享受便利，该工具在学术、办公等诸多领域备受欢迎。而在 ChatGPT 被推出后 OpenAI 的估值水涨船高并且不断获得融资，目前估值超 500 亿美元，科技领域对于 AI 叙事方向始终有着较高的想象空间。在加密行业，如何提升投资的收益率是绝大多数加密投资者们始终所追求的， Octavia 正在通过这套智能化体系满足用户们的需求，理论上所有加密交易者都是其潜在用户群体。另一方面，Octavia 相对于 ChatGPT 有着更稳定的底层系统，并且能够带来优于 ChatGPT 的使用体验以及功能抓手，并通过开放的 API 横向拓展至全行业，通过这种间接的方式正在让 Octavia 捕获用户具备“可复制性”的能力，这也有望让其生态规模实现指数型增长。Octavia 有望背靠更加广泛的用户规模与市场，这对于 Octavia 想象空间与估值都是可期的。或许在不久，通过智能化投资分析工具做投资决策，将成为加密投资者必备的手段，而 Octavia 正在加速智能化加密时代大门的开启。来源：金色财经

金色财经2024-02-19

ChatGPT 周年纪念反思：AIGC的瓶颈与Web3的机遇

Transformer 架构的预训练大型语言模型 ( LLM )。前一类将文本输入与扩散模型相结合以生成高质量的图像或视频，而后者则采用人类反馈强化学习（RLHF）来生成与人类逻辑非常相似的输出。 2.2 目前生成式AI的技术架构：有很多优秀的文章从不同的角度讨论了生成式人工智能对现有技术架构的影响。例如，A16z 的一篇题为《谁拥有生成式 AI 平台》的综合文章，全面总结了当前生成式 AI 的技术架构。根据这项研究，当前Web2时代的生成式AI架构分为三个层次：基础设施（算力）、模型、应用。文章还对这三个层面的当前发展提出了见解。基础设施：目前重点仍然主要集中在Web2基础设施逻辑上，真正整合Web3和AI的项目很少。基础设施在现阶段获得了最大的价值。在存储和计算领域深耕数十年的Web2巨头，在人工智能的探索阶段，通过“卖铲子”获得了丰厚的利润。模型：理想情况下，模型应该是人工智能的真正创造者和所有者。然而，目前很少有商业模式能够让这些模型的作者捕捉到相应的商业价值。应用程序：多个垂直领域开发的应用程序已产生超过数亿美元的收入。然而，高昂的维护成本和较低的用户保留率对维持这些应用程序作为可行的长期商业模式构成了挑战。 2.3 生成式人工智能在Web3中的应用 2.3.1 利用AI分析Web3海量数据数据是构筑未来人工智能发展技术壁垒的基石。为了理解它的重要性，我们首先看一下关于大型人工智能模型性能来源的研究。这项研究表明了大型人工智能模型的独特涌现能力：当模型规模超过一定阈值时，模型精度会突然激增。如图所示，每个图表代表一个训练任务，每条线表示大型模型的性能（准确性）。对各种大型模型的实验一致得出这样的结论：超过一定阈值后，模型性能在不同任务上会出现突破性增长。本质上，模型大小的量变会导致模型性能的质变。这个大小与模型参数的数量、训练持续时间和训练数据的质量有关。目前，在模型参数（各公司顶尖研究团队设计）和训练时长（大部分计算硬件采购自NVIDIA）没有显着差异的情况下，开发领先产品主要有两条路径。首先是识别并解决利基领域的具体痛点，这需要对目标领域有深入的理解和洞察。第二，更实际的做法是收集比竞争对手更全面的数据。这为生成式 AI 大型模型进入 Web3 领域打开了一个绝佳的切入点。现有的人工智能大模型或基础模型是在来自各个领域的海量数据上进行训练的，而Web3中链上数据的独特性使链上数据模型成为一个令人兴奋且可行的途径。在Web3中，数据层面目前有两种产品逻辑：第一种激励数据提供者，鼓励用户共享数据使用权，同时保护数据的隐私和所有权。海洋协议在这方面提供了有效的数据共享模型。第二种方法涉及集成数据和应用程序的项目，以便为用户提供特定于任务的服务。例如，Trusta Lab收集和分析用户的链上数据，并通过其独特的MEDIA评分系统，提供女巫账户分析、链上资产风险分析等服务。 2.3.2 AI Agent在Web3中的应用如前所述，链上人工智能代理的应用正在蓬勃发展。借助大型语言模型并优先考虑用户隐私，他们提供可量化的链上服务。根据 OpenAI 首席人工智能研究员 Lilian Weng 的博客文章，人工智能代理可以分为四个部分：代理 = LLM（大型语言模型）+ 规划 + 内存 + 工具使用。 LLM作为AI Agent的核心，处理外部交互，从大量数据中学习，并用自然语言进行逻辑表达。规划+记忆方面类似于用于训练 AlphaGo 的强化学习技术中的行动、策略和奖励概念。它涉及将任务分解为更小的目标，并通过重复训练和反馈来学习最优解决方案，根据功能将信息存储在各种类型的记忆中。工具使用是指智能体利用模块化工具、互联网信息检索、访问专有信息源或API等工具的能力。值得注意的是，大多数这些信息在预训练后很难修改。考虑到AI Agent的这种逻辑，我们可以设想Web3和AI Agent结合的无限可能性。例如：在目前的交易应用中，集成AI Agent模型可以为客户提供自然语言界面，提供包括价格预测、交易策略、止损策略、动态杠杆调整、智能跟随意见领袖、借贷等多种交易功能。在执行量化策略时，策略可以进一步分解为子任务，分配给不同的AI Agent来执行。协作人工智能代理可以增强隐私保护并实现实时监控，以防止被对手利用。基于区块链的游戏中的许多 NPC自然而然地与 AI 代理保持一致。已经有项目应用GPT来动态生成游戏角色对话。未来的发展可能会超越预设文本，创建更真实的实时 NPC（甚至数字人）交互，并且独立于玩家干预进行操作。斯坦福大学的“虚拟小镇”就是此类应用的一个很好的例子。尽管目前的Web3+AI Agent项目主要集中在初级市场或AI基础设施，尚未出现杀手级消费应用程序，但改变游戏规则的Web3+AI项目的潜力是巨大的。通过集成分布式链上治理、零知识证明推理、模型分布和改进的可解释性等各种区块链特性，这些项目在未来具有广阔的前景。 2.3.3 Web3+AI潜在垂直领域应用 A. 教育领域的应用 Web3 和人工智能的融合预示着教育领域的一场革命，其中生成式虚拟现实教室是一项值得注意的创新。将人工智能技术嵌入在线学习平台，学生可以获得个性化的学习体验。该系统根据每个学生的学习历史和兴趣生成定制的教育内容。这种个性化的方法有望提高学生的学习动机和效率，使教育更加个性化。此外，基于代币的信用激励代表了教育领域的创新实践。利用区块链技术，学生的学分和成绩可以编码成代币，形成数字化的学分体系。这种激励机制鼓励积极参与学习活动，创造一个更具吸引力和激励性的学习环境。受最近流行的SocialFi项目FriendTech的启发，类似的关键定价逻辑可以应用于在学生之间建立同行评审系统，为教育添加更多社交元素。利用区块链的不可篡改性，同行评价变得更加公平和透明。这种同行评审机制不仅有利于培养学生的团队合作能力，而且可以对学生的表现进行更全面、多维度的评估，将多元化、整体性的评价方式引入教育体系。 B. 在医疗领域的应用在医疗领域，Web3与AI的融合推进了联邦学习和分布式推理。通过将分布式计算与机器学习相结合，医疗专业人员可以大规模共享数据，从而实现更深入、更全面的群体学习。这种集体智慧方法可以加速疾病诊断和治疗计划的制定，推动医学领域的进步。隐私保护也是医疗领域应用的一个重要方面。借助Web3的去中心化和区块链的不变性，患者医疗数据可以更安全地存储和传输。智能合约可以实现对医疗数据的精确控制和权限管理，确保只有授权人员才能访问敏感的患者信息，从而维护医疗数据的隐私。 C. 保险领域的应用在保险行业，Web3与AI的融合有望为传统运营带来更加高效、智能的解决方案。例如，在汽车和房屋保险中，计算机视觉技术的应用帮助保险公司通过图像分析和评估更有效地评估财产价值和风险水平。这为保险公司提供了更加精细化、个性化的定价策略，增强了保险行业的风险管理。同时，链上自动化索赔处理是保险行业的一项创新进步。利用智能合约和区块链技术，索赔流程变得更加透明和高效，减少了繁琐的程序和人为干预的可能性。这不仅加快了理赔流程，还降低了运营成本，为保险公司和客户提供更好的体验。动态保费调整是另一个创新领域。通过实时数据分析和机器学习算法，保险公司可以更加精准、及时地调整保费，根据被保险人的实际风险状况进行个性化定价。这种做法不仅使保费更加公平，而且鼓励被保险人采取更健康、更安全的行为，促进全社会的风险管理和预防措施。 D. 版权领域的应用在版权领域，Web3 和人工智能的结合为数字内容创建、管理和代码开发引入了新的范式。通过智能合约和去中心化存储，数字内容的版权信息可以得到更好的保护，让创作者更轻松地追踪和管理自己的知识产权。区块链技术还可以建立透明且不可变的创作记录，为追踪和验证作品提供更可靠的手段。工作模式的创新也代表着版权领域的重大转变。代币激励的协作工作将工作贡献与代币奖励相结合，鼓励创作者、策展人和开发者共同参与项目。这不仅促进了创意团队之间的协作，也让参与者有机会直接从项目的成功中受益，从而催生更多优秀作品。另一方面，使用代币作为版权证明重塑了利益分配模式。通过智能合约自动执行的分红机制，作品的所有参与者都可以在作品被使用、出售或转让时实时获得自己的收益份额。这种去中心化的利益分配模式有效解决了传统版权模式中的不透明和延迟问题，为创作者提供了更加公平、高效的利益分配机制。 E. 虚拟宇宙领域的应用在元宇宙中，Web3与AI的融合为创建低成本AIGC以丰富基于区块链的游戏内容开辟了新的可能性。AI生成的虚拟环境和角色可以丰富游戏内容，为用户提供更加生动多样的体验，同时减少制作的人力和时间成本。创建生动的数字人是元宇宙应用的创新。数字人类具有细到头发的详细物理外观和基于大型语言模型构建的心理逻辑，可以在元宇宙中扮演各种角色。他们可以与用户交互，甚至参与现实世界场景的数字孪生。这为虚拟现实提供了更加真实、深刻的体验，推动数字人技术在娱乐、教育等领域的广泛应用。基于区块链用户画像自动生成广告内容是元宇宙中的智能广告应用。通过分析用户在元宇宙中的行为和偏好，人工智能算法可以创建更加个性化和有吸引力的广告，从而提高点击率和用户参与度。这种广告创作方式不仅更符合用户兴趣，也为广告主提供了更高效的推广渠道。生成式交互式 NFT是元宇宙中一项引人注目的技术。通过将NFT与生成设计相结合，用户可以在元宇宙中参与创作自己的NFT艺术品，赋予其互动性和独特性。这为数字资产的创造和交易开辟了新的可能性，推动了虚拟宇宙中数字艺术和虚拟经济的发展。三．签名 Web3 协议在本节中，作者选择了五个具有代表性的协议来深入了解 Web3 领域中生成式 AI 的现状：Render Network和Akash Network被强调为通用 AI 基础设施协议和 Web3 中 AI 类别的领先者；Bittensor被认定为当前模型训练领域的热门项目；Alethea.ai因其与生成式 AI 应用程序的密切相关性而被选中；Fetch.ai展示了人工智能代理在去中心化Web3世界中的潜力。 3.1 渲染网络（$RNDR） Render Network 由母公司 OTOY 的创始人 Jules Urbach 于 2017 年创立。OTOY 的核心业务是基于云的图形渲染，由 Google 和 Mozilla 联合创始人提供建议，为奥斯卡获奖电影项目做出了贡献，并与 Apple 进行了项目合作。 Render Network 是 OTOY 进军 Web3 领域的举措，旨在利用区块链的分布式特性，将小规模渲染和人工智能需求与去中心化资源连接起来。这一举措旨在为小型工作室节省成本，否则这些小型工作室将租用昂贵的集中式计算资源（例如AWS、MS Azure和阿里云），并为那些拥有闲置计算资源的人提供创收机会。在发布专有渲染器 Octane Render 的 OTOY 的支持下，Render Network 凭借固有的需求和扎实的商业模式推出，很快被认为是一个具有坚实基础和潜力的 Web3 项目。随着生成式AI的兴起，分布式验证和推理任务的需求不断增加，与Render的技术架构完美契合，使其成为未来发展的一个有希望的方向。Render 一直引领着 Web3 领域的 AI 赛道，演变成一个有点像 meme 的实体，每当围绕 AI、元宇宙和分布式计算的叙述升温时，它都会受益于上升趋势，展示了它的多功能性。 2023 年 2 月，Render Network 宣布了更新其定价等级系统的路线图，并为 $RNDR 引入了社区投票的价格稳定机制（尽管发布日期尚未公布）。该项目还宣布从 Polygon 迁移到 Solana（将 $RNDR 代币升级为基于 Solana SPL 的 $RENDER 代币，已于 2023 年 11 月完成）。渲染网络的新定价体系将链上服务分为三个级别，从高到低，每个级别对应不同的价格点和渲染服务质量。这些层根据客户的特定渲染需求为客户提供选择。社区投票的$RNDR价格稳定机制已从不定期回购转变为“销毁和铸币均衡（BME）”模式。这一变化强调 $RNDR 作为交易的稳定币，而不是长期持有资产。一个BME Epoch的具体业务流程如下：产品创建：Render上的产品创建者，即渲染资源的提供者，将闲置的渲染资源打包成产品（节点）并上线，等待使用。购买产品：有渲染需求的客户可以直接销毁$RNDR代币作为服务费用。如果他们没有 $RNDR 代币，他们首先用法定货币在 DEX 上购买它们，然后销毁代币。服务支付的价格公开记录在区块链上。铸造代币：根据预设规则铸造新代币。注：Render Network 收取产品购买者支付的项目运营交易费用的 5%。在每个 BME Epoch 中，都会铸造预设数量的新代币（数量会随着时间的推移而减少）。这些新代币被分发给三方：产品创造者：他们获得的奖励是： A。任务完成：根据各产品节点完成的渲染任务数量进行奖励。 b. 在线奖励：鼓励资源提供者在线完成任务，根据市场待机时间给予奖励。 2. 产品购买者：与购物中心的产品优惠券返还类似，购买者可以获得高达 100% 的 $RNDR 代币返还，鼓励未来使用 Render Network。 3. DEX 流动性提供商：合作 DEX 中的提供商，确保以合理的价格提供 $RNDR 代币以进行必要的销毁，将根据质押的 $RNDR 数量获得奖励。从过去一年$RNDR的价格走势来看，作为Web3中领先的AI赛道项目，$RNDR受益于ChatGPT在2022年底和2023年初带动的AI热潮。随着新代币机制的引入，$RNDR的价格2023年上半年达到顶峰。经过一段时间的稳定后，随着 OpenAI 新版本引发的 AI 复苏、Render Network 向 Solana 的迁移以及新代币机制的预期实施，$RNDR 的价格达到了近期高点。鉴于 $RNDR 的基本面变化很小，未来对 $RNDR 的投资需要谨慎的头寸管理和风险控制。 Dune Analytics仪表板的数据表明，自2023年初以来，渲染任务总数有所增加，但渲染节点数量并未增加。这表明导致工作负载增加的新用户是那些有渲染需求的用户，而不是那些提供渲染资源的用户。鉴于生成式 AI 到 2022 年底将激增，有理由推断额外的渲染任务与生成式 AI 应用程序相关。这种需求的增加是代表长期趋势还是暂时的激增还有待观察，需要进一步观察。 3.2 Akash Network（$AKT） Akash Network 是一个去中心化的云计算平台，旨在为开发者和企业提供更灵活、高效、更具成本效益的云计算解决方案。该项目的“超级云”平台基于分布式区块链技术，利用区块链去中心化的特性，为用户提供全球性、去中心化的云基础设施，包括CPU、GPU、存储等多样化的计算资源。 Akash Network 由拥有丰富项目背景、经验丰富的企业家 Greg Osuri 和 Adam Bozanich 创立，其使命很明确：降低云计算成本、提高可用性并让用户更好地控制计算资源。通过激励提供商通过竞价流程开放闲置计算资源，Akash Network 实现了更有效的资源利用，为资源需求者提供有竞争力的价格。 2023 年 1 月，Akash Network 启动了 Akash Network Economics 2.0 更新，以解决当前代币经济中的各种缺陷，包括： $AKT 市场价格的波动导致长期合同价格和价值的不匹配。对资源提供者释放大量算力的激励不足。社区激励措施不足阻碍了项目的长期发展。 $AKT 的价值捕获不足对项目稳定性构成风险。据官网介绍，Akash网络经济2.0计划中提出的解决方案包括引入稳定币支付、增加订单费用以增加协议收入、增强对资源提供者的激励以及增加社区激励等。值得注意的是，稳定币支付功能和订单费用功能已经实现。作为 Akash 网络的原生代币，$AKT 在协议中具有多种用途，包括用于验证（安全）、激励、网络治理和支付交易费用的质押。据官网显示，$AKT 的总供应量上限为 3.88 亿枚，截至 2023 年 11 月，已解锁约 2.29 亿枚（59%）。项目启动时分配的创世代币于2023年3月完全解锁并进入二级市场。创世代币的分配如下：关于价值获取，白皮书中提到的一个值得注意的尚未实施的功能是 Akash 计划对每一次成功的租赁收取“费用”。这些费用将被发送到收入池以分配给持有人。该计划规定对 AKT 交易收取 10% 的费用，对使用其他加密货币的交易收取 20% 的费用。此外，Akash 打算奖励长期锁定 AKT 持有量的持有者，从而激励长期投资。 CoinGecko 的价格趋势显示，$AKT 在 2023 年 8 月中旬和 11 月下旬经历了上涨，尽管涨幅不如人工智能领域的其他项目，这可能是由于当前的市场情绪所致。总体而言，Akash Network 是 AI 赛道上为数不多的优质项目之一，其基本面优于大多数竞争对手。其潜在的业务收入可以为该协议带来未来的盈利能力，随着人工智能行业的发展和对云计算资源的需求不断增加，Akash Network 有望在下一波人工智能浪潮中取得重大进展。 3.3 Bittensor（$TAO）对于那些熟悉 $BTC 技术架构的人来说，理解 Bittensor 的设计非常简单。事实上，在设计 Bittensor 时，其创建者从加密货币先驱 $BTC 的几个特征中汲取了灵感。其中包括总代币供应量为 2100 万枚，大约每四年产量减半，并涉及工作量证明 (PoW) 共识机制等。为了将其概念化，想象一下最初的比特币生产过程，然后用训练和验证人工智能模型来取代计算密集型的“挖矿”过程，该过程不会创造现实世界的价值。矿工根据人工智能模型的性能和可靠性获得激励。这形成了 Bittensor ($TAO) 项目架构的简单总结。 Bittensor 由人工智能研究人员 Jacob Steeves 和 Ala Shaabana 于 2019 年根据神秘作者 Yuma Rao 撰写的白皮书成立。简而言之，它是一个开源、无需许可的协议，创建了一个由许多子网络连接的网络架构，每个子网络负责不同的任务（机器翻译、图像识别和生成、大型语言模型等）。优秀的任务完成会受到奖励，并且子网络可以相互交互和学习。就目前主要的人工智能模型而言，都是科技巨头大量计算资源和数据投资的结果。这些AI产品表现出色的同时，这种方式也带来了很高的中心化风险。 Bittensor 的基础架构允许交流专家网络进行交互和相互学习，为大规模模型的去中心化训练奠定了基础。Bittensor 的长期愿景是与 OpenAI、Meta 和 Google 等巨头的闭源模型竞争，保持去中心化特征，同时渴望与它们的推理性能相匹配。 Bittensor的技术核心是Yuma Rao独特设计的共识机制，也称为Yuma Consensus，它混合了PoW和Proof of Stake（PoS）的元素。供应方主要涉及“服务器”（矿工）和“验证者”（验证者），而需求方则由使用网络中模型的“客户端”（客户）组成。流程如下：客户端将请求和数据发送给验证器进行处理。验证者将数据分发给特定子网下的矿工。矿工使用他们的模型和接收到的数据进行推理并返回结果。验证者按质量对推理结果进行排名，并记录在区块链上。最好的推理结果返回给客户端，矿工和验证者根据排名和工作量获得奖励。值得注意的是，Bittensor 本身并不在大多数子网络中训练任何模型；它更像是模型提供者和用户之间的纽带，通过较小模型之间的交互进一步提高各种任务的性能。目前，在线有（或已经有）30个子网络，每个子网络对应不同的任务模型。 $TAO 作为 Bittensor 的原生代币，在创建子网络、在子网络中注册、支付服务费用以及向生态系统内的验证者质押方面发挥着至关重要的作用。效仿 BTC 的精神，$TAO 选择公平发布，这意味着所有代币都是通过对网络的贡献生成的。目前，$TAO 的日产量约为 7,200 个代币，均匀分配给矿工和验证者。自项目启动以来，已生产了 2100 万枚代币中的约 26.3%，其中 87.21% 用于质押和验证。该项目还遵循 BTC 大约每四年产量减半的模式，下一次减半计划将于 2025 年 9 月 20 日举行，预计将成为重要的价格驱动因素。从 2023 年 10 月下旬开始，$TAO 的价格趋势出现大幅上涨，这主要是受到 OpenAI 会议之后新一波人工智能热情以及资本转向人工智能领域的推动。 $TAO作为Web3+AI赛道的新项目的出现，其品质、长远的愿景也吸引了投资。但必须承认，与其他AI项目一样，Web3+AI的结合虽然潜力巨大，但尚未在实际业务中找到支撑长期盈利项目的应用。 3.4 Alethea.ai（$OR） Alethea.ai 成立于 2020 年，是一个致力于利用区块链技术为生成内容带来去中心化所有权和治理的项目。 Alethea.ai 的创始人相信，生成式人工智能将带领我们进入一个由生成式内容引起的信息冗余时代，在这个时代，通过简单的复制粘贴或单击即可轻松复制或生成大量数字内容，但原创者很难获得利益。通过将区块链原语（例如 NFT）与生成式人工智能连接起来，他们的目标是确保生成式人工智能及其内容的所有权，并在此之上进行社区治理。在这一理念的推动下，Alethea.ai最初推出了新的NFT标准iNFT，它利用Intelligence Pods将AI动画、语音合成甚至生成式AI嵌入到图像中。Alethea.ai 还与艺术家合作，利用他们的艺术品创建 iNFT，其中一件在苏富比拍卖会上以 478,000 美元的价格售出。 Alethea.ai 随后推出了 AI 协议，允许任何生成式 AI 开发者或创作者无需许可即可使用 iNFT 标准进行创作。为了展示 AI 协议，Alethea.ai 开发了 CharacterGPT，这是一种基于 GPT 等大型模型理论的工具，用于创建交互式 NFT。最近，他们发布了 Open Fusion，使得任何 ERC-721 NFT 都可以与 Intelligence 结合并发布在 AI 协议上。 Alethea.ai 的原生代币是 $ALI，它有四个主要用途：锁定一定数量的$ALI来创建iNFT。锁定的 $ALI 越多，情报舱的级别就越高。 $ALI 持有者参与社区治理。 $ALI 作为 iNFT 之间交互的凭证（尚无实际用例）。从 $ALI 的用例来看，很明显，代币的价值捕获仍然主要基于叙述。过去一年的代币价格趋势证实了这一点：$ALI 受益于 ChatGPT 自 2022 年 12 月开始引领的生成式 AI 热潮。此外，当 Alethea.ai 在 6 月宣布新的 Open Fusion 功能时，引发了价格飙升。然而，除了这些情况之外，$ALI 的价格一直呈下降趋势，甚至没有像类似项目那样对 2023 年底人工智能炒作做出反应。除了原生代币之外，Alethea.ai 的 NFT 项目（包括其官方集合）在 NFT 市场的表现也值得关注。根据 Dune 仪表板的数据，第三方销售的 Intelligence Pods 和 Alethea.ai 的第一方 Revenants 系列在首次发布后逐渐淡出了人们的视线。作者认为，主要原因是最初的新颖性逐渐减弱，没有实质性的价值或社区参与来留住用户。 3.5 Fetch.ai（$FET） Fetch.ai 是一个致力于促进人工智能 (AI) 与区块链技术融合的项目。其目标是通过结合机器学习、区块链和分布式账本技术来构建去中心化的智能经济，以支持智能代理之间的经济活动。 Fetch.ai 由英国科学家 Humayun Sheikh、Toby Simpson 和 Thomas Hain 于 2019 年创立，其创始团队拥有令人印象深刻的背景。 Humayun Sheikh 是 DeepMind 的早期投资者，Toby Simpson 曾在多家公司担任高管职务，Thomas Hain 是谢菲尔德大学人工智能领域的教授。创始人的多元化经历横跨传统IT公司、区块链明星项目、医疗、超级计算领域，为Fetch.ai提供了丰富的行业资源。 Fetch.ai的使命是建立一个由自治经济代理（AEA）和人工智能应用程序组成的去中心化网络平台，使开发人员能够通过创建自治代理来完成预设的目标导向的任务。该平台的核心技术是其独特的三层架构：底层：基于 PoS-uD（无许可权益证明）共识机制，该基础层支持智能合约网络，促进矿工协作以及基本的机器学习训练和推理。中间层：开放经济框架（OEF）为AEA之间交互和底层协议提供共享空间，支持AEA之间的搜索、发现和交易。顶层：AEA 是 Fetch.ai 的核心组件。每个AEA都是一个智能代理软件，能够通过技能模块执行各种功能，执行用户预定义的任务。这些代理并不直接在区块链上运行，而是通过 OEF 与区块链和智能合约进行交互。智能代理软件可以纯粹基于软件，也可以绑定到智能手机、计算机和汽车等物理硬件。Fetch.ai 提供基于 Python 的开发套件 AEA 框架，该框架是模块化的，使开发人员能够构建他们的智能代理。在此架构之上，Fetch.ai 推出了 Co-Learn（智能体之间共享机器学习模型）和 Metaverse（智能体云托管服务）等后续产品和服务，以支持用户在其平台上开发智能体。关于代币，$FET 作为 Fetch.ai 的原生代币，涵盖了支付 Gas、验证质押以及在网络内购买服务等标准功能。超过90%的$FET代币已解锁，具体分配如下：自成立以来，Fetch.ai 经历了多轮代币稀释融资，最近一次是 2023 年 3 月 29 日从 DWF Lab 获得的 3000 万美元投资。鉴于 $FET 代币不能从项目收入中获取价值，其价格动能主要依赖于项目更新和市场对人工智能领域的情绪。事实上，在两次人工智能市场繁荣的浪潮中，Fetch.ai 的价格在 2023 年初和年底经历了超过 100% 的飙升。 Fetch.ai 的发展轨迹更像是一家 Web2.0 人工智能初创公司，重点是完善其技术。它通过持续的筹款和广泛的合作寻求认可和盈利。这种方法为未来在 Fetch.ai 上开发的应用程序留下了充足的空间，但也意味着它可能对其他区块链项目没有那么大的吸引力，从而可能限制生态系统的活力。Fetch.ai 的一位创始人甚至尝试基于 Fetch.ai 推出一个 DEX 项目 Mettalex DEX，但最终以失败告终。作为一个专注于基础设施的项目，生态系统的衰弱也阻碍了 Fetch.ai 内在价值的增长。四．生成式人工智能的美好未来 NVIDIA首席执行官黄仁勋将生成大型模型的推出比作人工智能的“iPhone时刻”，表明人工智能角色的关键转变，高性能计算芯片成为人工智能稀缺资源的核心。锁定Web3 AI子赛道大部分资金的AI基础设施项目仍然是投资者长期关注的焦点。随着芯片巨头逐渐升级计算能力，AI的能力将会扩展，很可能在Web3中催生更多的AI基础设施项目，甚至可能是专门为Web3中的AI训练而设计的芯片。虽然以消费者为中心的生成式人工智能产品仍处于实验阶段，但一些工业级应用已经显示出巨大的潜力。其中一种应用是将现实世界场景转移到数字领域的“数字孪生” 。考虑到工业数据中尚未开发的价值，NVIDIA 的元宇宙数字孪生平台将生成式 AI 定位为工业数字孪生的重要组成部分。在Web3中，包括虚拟世界、数字内容创作和现实世界资产，受人工智能影响的数字孪生将发挥重要作用。新型交互硬件的开发也至关重要。从历史上看，计算领域的每一次硬件创新都带来了革命性的变化和机遇，比如现在无处不在的电脑鼠标或 iPhone 4 的多点触控电容屏。 Apple Vision Pro宣布将于 2024 年第一季度发布，以其令人印象深刻的演示吸引了全球关注，有望为各行业带来意想不到的变化和机遇。以快速内容制作和广泛传播而闻名的娱乐行业往往首先受益于硬件更新。这其中包括Web3的元宇宙、区块链游戏、NFT等，都是值得长期关注和研究的。从长远来看，生成式人工智能的发展代表着量变导致质变。ChatGPT 的核心是推理问答这一长期研究的学术问题的解决方案。只有通过扩展数据和模型迭代，才达到了 GPT-4 令人印象深刻的水平。Web3中的AI应用也类似，目前正处于Web2模型适应Web3的阶段。完全基于 Web3 数据的模型尚未出现。未来富有远见的项目和致力于研究 Web3 特定问题的大量资源将为 Web3 带来自己的 ChatGPT 级杀手级应用程序。生成式人工智能的技术基础还有很多有前景的探索途径，比如思想链技术。这项技术允许大型语言模型在多步推理方面取得重大飞跃。然而，它也凸显甚至加剧了大型模型在复杂逻辑推理方面的局限性。有兴趣的读者可以探索原作者关于Chain-of-Thought的论文。 ChatGPT之后，Web3中出现了各种以GPT为主题的项目，但简单地将GPT与智能合约结合起来并不能满足用户需求。ChatGPT 发布大约一年后，未来仍然拥有巨大的潜力。未来的产品应该从Web3用户的真实需求出发。随着Web3技术的日益成熟，生成式AI在Web3中的应用必将是广阔而令人兴奋的。来源：金色财经

金色财经2024-02-18

24小时热点