FX168财经网_全球视野外汇黄金加密货币NFT资讯网

金色观察 | MetaMask和Unity达成合作 NFT游戏会爆炸吗

直在不断发展，增加了增强现实（AR）、机器学习、WebGL和现在的MetaMask支持等功能。为什么说Unity很重要？在过去的20年里，Unity已经成为游戏开发大众化的重要工具。过去，制作一款电子游戏需要昂贵的硬件、软件和专业技能。但现在有了Unity，任何人都可以着手制作游戏，即使他们的资源或经验有限。此外，Unity资产商店（Unity Asset Store）提供了一个巨大的预制资产库，里面包含了动画、模型、音效和纹理等，可以用来快速启动游戏开发。Unity还有一个非常活跃的高支持度的社区，里面满是帮助游戏开发者的论坛和教程。基于所有这些原因，Unity让成千上万的开发者能够更轻松地创建游戏，并让游戏产业在这一过程中更具创新性、更加多样化、更令人兴奋。 MetaMask入驻Unity资产商店 2月28日，MetaMask宣布其流行的web3钱包和连接SDK（软件开发工具包）已作为“验证解决方案”加入Unity的资产商店。这一新支持将使各种类型的游戏开发者更容易创建与加密货币和NFT兼容的游戏，即web3游戏。此外，它还将帮助web3游戏收获更大的开发者和玩家群体，因为现在任何一款Unity游戏都可以使用MetaMask钱包。此举是Unity资产商店引入去中心化（Decentralization）类别页的一部分，该页面现在与MetaMask一起支持其他ConsenSys支持的资源，如Infura和Truffle，以及来自Immutable X、Solana和Tezos等链的SDK。为了开始MetaMask和Unity的融合，ConsenSys还推出了web3早期采用者计划（web3 Early Adopter Program），为有兴趣向NFT飞跃的游戏开发者提供workshop和10万美元资助。伟大前景软件开发人员、最终成为比特币先锋人物的哈尔·芬尼（Hal Finney）于1993年首次提出了“加密交易卡”。 30年过去了，我们确实有了这种数字卡片的现代版本，并且得益于最近NFT生态的蓬勃发展，第一批web3游戏实验和特许经营开始出现。那么，未来30年，NFT游戏将会带来什么？你可以鉴于过去20年基于Unity的游戏的兴起，进而猜测如果NFT游戏真的会在接下来几年内突破主流，MetaMask入驻Unity资产商店无疑将成为这一发展方向的关键早期催化剂。与此同时，接下来Unity x MetaMask游戏实验将会激增！来源：金色财经

金色财经2023-03-01

马斯克被曝正在“招兵买马” 准备进军AI赛道

为ChatGPT等聊天机器人提供动力的机器学习模型。Igor Babuschkin在近期采访中透露，他和马斯克已经讨论组建一个团队，但该项目仍处于早期阶段，还没有开发具体产品的确切计划。值得一提的是，马斯克曾是OpenAI的联合创始人，他们的初衷是“实现安全的通用人工智能(AGI)，并使其有益于人类”。不过在2018年，马斯克退出OpenAI董事会席位，或许是有潜在的利益冲突所致，因为当时特斯拉也在开发基于人工智能的自动驾驶技术。经过多年的打磨，ChatGPT一出场便火爆全球。去年11月底，当ChatGPT刚刚面世时，马斯克评论发推文说“ChatGPT好得吓人，我们离强大到危险的人工智能不远了”。不过他不满的是，ChatGPT拒绝回答某些有争议的问题，并多次批评其安装了防止冒犯用户的安全措施。 2月17日，马斯克在推特上写道：“我们需要的是TruthGPT。”虽然他没有详细说明什么是TruthGPT？但从他对ChatGPT的评价和Twitter的改造，其欲推出的聊天机器人可能对争议性话题限制更少，将拥有更多的言论自由。不过，研究人员Babuschkin曾表示，构建一个“限制更少”的聊天机器人并不是马斯克的目标，他的目标是提高大型语言模型的推理能力和真实性，确保模型的反应更值得信赖和可靠。事实上，早在2017年，马斯克就提出了一个立场鲜明的观点：不受监管的人工智能可能是我们作为文明面临的最大风险。前段时间，微软推出了新版搜索引擎New Bing，只不过随着大量试用者记录曝光，这款聊天机器人的问题也随之暴露出来：威胁、PUA用户，辱骂用户，坚持错误的言论……不由得让人们对此心生恐惧。业内人士在推特上表示，微软需要关闭New Bing中的类ChatGPT功能，因为系统有时表现得像精神病一样，会给用户错误答案。马斯克对此评论称：“同意，它显然还不安全。” 随着AI技术更多被应用到现实生活中，人们一边对AI改善自己生活有了更多的期待，另一边又对AI的使用甚至滥用所造成的道德困境提高了警惕。总结虽然马斯克对AI的愿景让人捉摸不定，但如何平衡AI的“智能”与“可控”确实是一个问题。人类在创造新事物时，总是需要具有创新观念的人来引领，因此也期待马斯克会带来更多惊喜。来源：金色财经

金色财经2023-02-28

模拟代币经济：代币设计如何影响代币价格及其稳定性？

型与其他方法预测建模的标准行业方法是机器学习（Machine Learning，ML）。虽然这是一系列算法的广泛术语，但它可以归结为多个输入的相关模型。使用 ML 对代币经济建模，可以根据历史用户采用率、代币价格、代币供应、比特币价格或任何其他现实世界指标来预测代币价格。基于汇总这些输入的大量数据，该模型将使用加权回归来预测一段时间内的代币价格。这些模型通常用于短期应用——例如社交媒体信息流和短期交易决策。在秒和毫秒的时间尺度上，用户偏好或市场趋势很可能与之前的趋势相关。然而，对于更长的时间段，输入数据的固有偏差会产生相对不可靠的预测。宏观经济趋势、外生冲击（Exogenous Shocks）和其他趋势的随机性根据定义是罕见的，而且通常难以或不可能量化，从而在 ML 预测能力方面造成差距。通过使用代理人基模型（ABM），我们可以考虑随机的偶然性，并允许代理人单独行动而不受输入数据的影响。这使我们能够收集和分析数百次模拟的输出，并从最常发生的结果中得出见解。最重要的是，ABM 方法使我们能够理解结果发生的原因。通过详细的输出日志，我们可以了解代理人行为与市场趋势之间的因果关系。另一方面，ML 模型输出预测，但不包括其周围的环境。总之，ABM 提供了将不同行为分配给不同参与者的能力，实现了更长期的预测，无需收集、存储和标记数百万个数据点，并使我们能够通过分析输出日志得出因果关系。模型设计概述 ABM 模拟“基础设施经济（Infrastructure Economies）”，其中提供商为用户提供服务。此类经济体的示例包括 Helium、Filecoin 和 Chainlink。这清楚地转化为具有不同激励的代理类别。用户为服务付费，而提供商则获得用于支付成本和实现利润最大化的奖励。代理人都是根据市场趋势进行投机，所有代理人都以利润最大化为目标。我们还包括两个投资者代理人——机构和散户，他们不直接参与网络，而是购买/持有/质押/出售代币以实现利润最大化。为了启动模拟，我们输入了一组“初始条件”，包括代币价格、代币供应、网络规模等。然后模拟进入循环阶段，在此阶段发生一系列事件，代理人进行交易。每个周期代表一天，重复进行，直到指定的总天数完成。然后，该模型会输出模拟的每一天的数据，包括代理人行为、代币价格和供应变化以及市场状况。用户用户被引入到模拟中，其参数来自概率分布，包括资本量和风险承受能力。这可以理解为他们在市场上的特点，一些代理人倾向于高回报、高风险的行为，而另一些代理人则倾向于保守的行为。在每个时间点，用户都会为服务付费、评估市场并做出购买或出售代币的决定（如果有的话）。有几个因素会影响他们的决定，包括当前的代币价格、他们自己的风险承受能力、代币的近期趋势以及他们自己过去的行为。提供商提供商的行为与代理人类似，并被引入模拟中，具有风险承受能力和资本，以及占总网络计算能力的百分比，或他们提供的“多少”服务。他们的动机与用户不同，因为他们更有可能在任何时间步骤中出售代币，并假设他们必须支付运营成本。提供商向用户提供类似的输入，评估相同的市场趋势和宏观趋势。投资者投资者代理人包括两类：散户投资者和机构投资者。散户投资者并没有按预期参与协议，而是对代币进行投机以实现利润最大化。他们在决定交易策略时使用类似的指标，包括宏观趋势、代币价格、他们自己过去的行为以及他们的盈亏。机构投资者可能有与散户投资者不同的代币锁定期和不同的投资目标。他们的决定受到无数因素的影响，包括他们对代币的买入价、他们的出售倾向、锁定期和他们期望的回报。网络增长代理人根据不同的概率分布和代币价格趋势流入和流出经济体。我们假设持续的价格增长会导致更多的提供商和用户进入市场，反之亦然。网络增长分布的确切参数随我们模拟的协议而变化；我们使用真实世界的数据来定制我们的模型以适应我们模拟的协议。模型校准我们通过超过 90 天的回溯测试来校准模型，这是一个迭代过程，其中模型被填充初始条件、运行并与实际结果进行比较。目标是建立一个模型，最大限度地减少过度拟合并描述各种现实世界的基础设施协议。我们针对三个大型基础设施经济体进行了回测：Helium（HNT）、Filecoin（FIL）和 Chainlink （LINK）。我们使用两个指标来衡量模型表现：代币价格相关性和相对价格变动模式匹配。我们的模型在这些指标上表现出普遍、准确的性能，这验证了模型模拟现实代币价格变动以响应宏观市场条件和网络采用的能力。实例探究一旦我们的模型结果得到了现实世界数据的验证，我们便开始探索其生成可操作见解的能力。我们的初始模型包括几个可配置的参数：市场趋势、代币发行率、网络增长和质押回报。一个自然的起点是对这些参数进行实验。 ABM 的优势在于能够对复杂的参数间关系进行建模。对于这个初始部分，我们决定隔离每个参数以了解其对整体经济的影响。这产生了关于不同代币经济学设计选择的一些见解。控制案例是一个处于早期阶段的通货膨胀经济，起始供应量为 1500 万个代币，每月铸造约 10 万个代币。考虑到流行代币和其他基于基础设施的经济体的通货膨胀率，这大约是 8% 的年通货膨胀率，我们认为这是一个合理的方法。我们初始化 10,000 个活跃用户和 1000 个提供商，比例为 10:1，这是基于 Filecoin 大约 35,000 个活跃用户与 4000 个提供者的比例。我们还在每次运行时初始化 1000-2000 之间的投资者的可变数量，并使用 ETH 作为我们的加密货币市场情绪的代理，因为 ETH 和 BTC 都能很好地跟踪宏观走势。每个实验运行 25 次，每次运行模拟 90 天。选择较短的时间段是为了捕捉模拟经济的更精细图像，并关注我们实验的直接结果。对于每个实验，我们都会改变一个关键参数并研究结果。案例研究 1：加密货币市场的影响过去一年，加密货币在很大程度上与宏观经济趋势相关联。通过分析现实世界的历史价格，我们可以看到宏观因素与加密货币价格之间存在很强的相关性。通过 ABM，我们可以更深入地挖掘，并开始了解这种影响在各种市场条件下的范围和强度。我们只改变“加密货币市场趋势”参数：对于所有其他案例研究，我们在每次运行中都使用相同的真实世界 ETH 代币价格数据子集。在本案例研究中，我们改变了这些子集，选择了三个不同的 90 天 ETH 价格历史时期：下降趋势、稳定增长和高增长。我们发现宏观趋势的影响与我们模拟的代币价格走势高度相关。尽管除了宏观趋势外，每批次的运行都具有完全相同的初始条件和参数，但我们发现 L1 代币走势与我们的代币价格之间存在高度相关性。在回顾其他案例研究时，即使在严重通货紧缩或极高的质押回报等极端情况下，市场走势的影响也是明显的。我们清楚地观察到代理商受到整体市场情绪的强烈影响，并相应地进行交易。这种程度的影响可能会让人相信，代币设计作为一个领域对现实世界的结果影响不大。我们认为情况更加微妙。尽管市场趋势的影响肯定不能完全减轻，但糟糕的代币设计有助于加速熊市的崩盘，而智能代币设计可以提高稳定性和代币价格表现，即使在动荡的市场中也是如此。良好的代币设计的好处使该学科值得追求，使协议设计者能够在各种宏观环境中对其网络进行一定程度的控制。案例研究 2：代币发行计划代币设计的一个主要部分是通货膨胀率。一种常见的代币设计是使经济膨胀直到代币供应量达到最大值，之后代币会通货紧缩或保持稳定。其他协议可能使用算法平衡，在这种情况下，协议使用一些方法来销毁代币，以响应铸币率的波动。我们将它们分为四种类型：高通胀、稳定通胀（我们的控制案例）、零通胀和通货紧缩。通过模拟，我们发现控制运行 (~ +8%) 具有最高的稳定性。高通胀 (~ +37%) 使代币价格小幅下降，稳定性损失很小，通货紧缩 (~ -37%) 使代币价格略有上涨，但稳定性较差。令人惊讶的是，这些变化与代币经济中稀缺性的直观理解相矛盾。当我们使代币通货紧缩并因此变得更加稀缺时，我们看到代币价格只有小幅上涨，稳定性略有下降。代币价格在净零通胀和高通胀之间没有显着变化，但我们注意到随着通胀上升，稳定性有所提高。人们可能认为高通胀会使货币贬值，从而降低代币价格，但我们的结果显示影响不大。这可能是因为较短的 90 天运行没有捕捉到通货膨胀对代币价格的长期影响。由于 ETH 在合并后变得通缩，其价格没有持续上涨，而是由于对整个加密市场的更强烈的外生冲击而下跌，这与我们的模型的结果相似。我们已经看到一些代币追求通货膨胀或通货紧缩策略。一般来说，我们不鼓励代币设计者使用排放率作为代币价格增长的驱动力，而是鼓励关注与其代币相关的激励措施。你的代币应该激励哪些具体行为？哪些具体行为会损害你的经济？代币如何缓解这些行为？如果不回答和实施这些基本细节，代币发行对代币价格表现的实际影响很小。案例研究 3：用户和提供商采用的影响双边市场中长期存在的问题是，应该激励市场的哪一方？对于我们模拟的基础设施经济，了解哪种代理人增长对经济更有利——用户或提供商，将是非常有用的。我们执行两个模拟，改变“网络增长”参数来引入进来的提供商或用户: 我们发现，增加提供商带来了更高的代币增长和略低的稳定性，而增加用户带来的代币增长明显减少，但稳定性略高。这些趋势可以通过用户和提供商之间的动态来解释，其中提供商的涌入导致新用户的流动更加稳定，导致代币价格在大多数运行中上涨。当模拟大量用户涌入时，进入经济的提供商数量比引入固定比例的用户时少约 23%。显然，在任何协议中，用户增长和提供商增长之间仍然需要取得平衡。根据业务的不同，人们可能会偏向于优先考虑用户的增长而不是提供商，反之亦然。我们的结果表明，在基础设施经济中，提供商的引入比用户的引入具有更大的影响。基础设施经济中的代币设计者应该仔细考虑他们的代币如何激励用户和提供商。例如，提供商奖励应该带来足够多的提供者来满足网络的需求，而不会出现过剩。在这种情况下，多余的资源仍然是不需要的，而提供者的投资会蒙受损失。 2020 年，对 Filecoin 模式的普遍抱怨是缺乏流动性和用户流量来支持存储提供商的财务需求。通过过分强调提供商流入，网络未得到充分利用，代币价格表现受到影响。同样，应仔细激励用户增长以匹配网络容量，避免需求激增，导致提供商数量过少的网络不堪重负。案例研究 4：不同的质押率 Staking（质押）允许代理人锁定代币一段时间以获得额外奖励。在我们的模型中，代理人可以选择在每个时间段内进行 6 个月的锁定期质押。他们根据预期回报和锁定代币的机会成本，以及市场趋势和他们自己过去的行为等一系列其他因素做出决定。为了研究不同质押激励的影响，我们在 0%、5%、12% 和 20% 之间改变质押回报率。正如预期的那样，对于 0% 质押奖励的运行，没有代理人做出质押决定。我们发现增加到 5% 对代币价格几乎没有影响，并且对稳定性有一些边际改善。将质押奖励增加到 12% 和 20% 都提高了总体代币价格，但在 20% 的运行中观察到更高的不稳定性。随着质押回报的增加，网络发展得更快，增加了更多财富在经济中的流动。自然，这种活动的结果是代币价格上涨。然而，我们也看到散户投资者代理人的增加，由于投机交易的结果，在 20% 的质押回报率下，给我们带来了更多的不稳定性。这些结果可能意味着质押回报存在一个“平衡”点，协议设计者必须在增加的资本流动与增加的投机代理人数量之间取得平衡。在我们的实验经济中，12% 是我们运行中最接近这种平衡的，这使我们的代币价格显着上涨，而稳定性几乎没有损失。当将我们的模拟用作咨询工具时，我们可以扫描更多级别的质押或模拟不断变化的奖励计划，从而使我们的分析具有更高的粒度。虽然 12% 提供了网络增长而稳定性损失很小，但这并不意味着每个协议都应该使用 12%。例如，在其生命周期早期的协议可能希望减少散户投资者以关注核心网络用户和提供商，并会被激励保留代币以保持低质押或关闭质押。我们建议协议监控参与经济体与投机投资者的比例，并考虑调整质押以激励他们所需的代币持有者组合。更广泛地说，我们鼓励协议为 Stakers 提供金融 APY 之外的额外效用。示例包括更大的治理权重、对网络安全的贡献以及其他无形奖励等。出于纯粹的财务动机进行质押，尤其是对于新生协议，可能会扭曲基本面并吸引唯利是图的流动性，一旦质押奖励减少，这种流动性就会流失。总结与展望代币经济的动态极其复杂。借助 ABM，我们可以更深入地了解其中的一些复杂性，从分析个人之间的互动以及代币如何影响他们的行为开始。我们遵循着著名的格言：“所有模型都是错误的，但有些是有用的”。创建一个预测模型最重要的一步是清楚地了解其局限性和假设。这个初始部分的一些缺点可能是 90 天的运行时间和仅针对三个代币的校准等。当我们试验这个模型的功能时，我们将迭代地改进这些假设，并将努力增加新的代理类型、代理功能和协议设计。来源：金色财经

金色财经2023-02-27

一文了解AIPad：专注于人工智能项目的加密Launchpad

ensor，它正在构建一个基于区块链的机器学习网络，该网络将为人工智能的去中心化市场提供动力。 CryptoGPT则是一个围绕人工智能构建 ZK layer-2 的项目——同时提供了SDK，开发人员可以使用该 SDK 轻松地将 AI 功能插入到他们的应用程序中，以帮助用户有选择地将他们的使用数据货币化。而SingularityNET 可以说是最受欢迎的以人工智能为中心的区块链项目之一。该平台的核心任务是开发通用人工智能（AGI）。它希望通过提供一个基于区块链的平台来实现这一目标，AI 可以通过该平台进行合作，并且可以轻松购买、销售和共享 AI 工具和代理。但并不是所有的区块链/AI 融合工作都按计划推进，很多项目还未面世就胎死腹中。一个名为 DEEP AERO 的项目，曾承诺使用人工智能和区块链为低空飞行的自主无人机提供动力。尽管在其 2018 年 ICO 期间筹集了高达 135, 000 的 ETH，但该项目现在已经不再运营。自 2023 年初以来，以人工智能为核心概念的加密货币和区块链项目一直处于飞速上升的趋势。仅在 2023 年 1 月，前三大 AI 项目平均涨幅超过 150% ，比同期市场平均水平高出约五倍。从那以后，大多数著名的 AI 项目继续保持上涨走势。这种增长背后的原因很明显：传统 AI 应用程序（特别是 GPT-3、Midjourney 以及最近的 ChatGPT）的迅速和扩散，以及围绕该技术未来的巨大热议和兴奋浪潮引起大型科技公司的极大兴趣。可以理解的是，区块链 AI 领域出现了一些溢出效应。因此，绝大多数已建立的区块链 + AI 项目在最近几周表现良好——尽管大多数仍远低于其历史最高值。例如，与 2021 年 2 月的历史高点相比，Graph （GRT）仍下跌了 90% 以上。有一些人认为，最近的这种势头仅仅是昙花一现，而不是由于这些项目的基本效用和价值发生了变化。同样，虽然许多项目声称具有人工智能功能，但许多项目仍在开发中，或者只是将人工智能用作流行语。因此，在投资任何项目之前进行调查和了解清楚项目就变得非常重要。人工智能驱动的加密项目 AI + 区块链领域目前由少数几家大公司主导——其中最大的公司市值超过 1 亿美元。目前，市值排名前 100 的加密货币项目中，只有三个具有 AI 元素。一些流行的人工智能驱动的区块链加密项目包括： The Graph (GRT) 目前市值最大的人工智能加密项目，The Graph 是一个索引来自广泛区块链数据的平台。该平台使用 AI 更有效地索引和检索这些数据，有助于为下一代去中心化应用程序 (DApps) 提供动力。 The Graph 最近向 Semiotic AI 提供了 6000 万美元的资助，后者现在进行研发以探索如何使用 AI 来增强 The Graph 的功能。 SingularityNET (AGIX) SingularityNet 是首批通过为 AI 服务提供去中心化平台来整合区块链和 AI 技术的项目之一。它允许 AI 开发人员和企业将他们的算法和模型货币化，同时使最终用户能够在去中心化和安全的环境中访问和使用 AI 服务。 Ocean Protocol (OCEAN) Ocean Protocol 是一个去中心化平台，可以为人工智能 (AI) 和机器学习 (ML) 应用程序实现安全和透明的数据交换。它利用区块链技术和智能合约为数据提供者提供一个安全的环境，使他们能够通过数据获利，同时保持对其使用的控制。 Fetch.AI (FET) Fetch AI 是最著名的应用 AI 和区块链的项目之一，Fetch AI 使用这两种新兴技术为一系列自主代理提供支持——可用于改进和扩展各个行业。该平台旨在创建一个开放且可互操作的网络，在该网络中可以轻松访问数据和服务并将其货币化，从而有助于推动新的经济增长和商业模式。 Numerai (NMR) Numerai 使用人工智能为分散的众包对冲基金提供支持。来自世界各地的人工智能模型在加密的金融数据上进行训练以做出预测。然后将这些模型组合起来做出在全球金融市场上交易的预测。网络参与者通过代币奖励系统受到激励，从而实现民主分配利润。至少100 多个区块链项目现在在一定程度上利用人工智能。其中一些在一开始就专注于人工智能，而另一些最近将人工智能纳入了他们的路线图或即将推出的应用程序。最近整合人工智能的一些流行的项目包括：TRON、PRIMAL、XANA等。什么是 AIPad？目前，许多最大和最成熟的传统人工智能公司都是私有的——只有投资者能够参与他们的私募融资轮，否则很难接触到他们或参与其中。与此同时，人工智能驱动的区块链项目往往被风投和知名天使投资人垄断，他们能够在种子期和私募阶段进行投资，以获得最好的条款和价格。这使得散户投资者除了在现货市场上市后购买或通过衍生产品或加密货币指数基金对其进行投机外，投资早期区块链 AI 项目的选择有限。为了帮助实现这些新投资机会的去中心化，Launchpad BSCPad 和 GameZone 背后的同一个团队创建了AIPad。新的Launchpad专注于建立在区块链技术之上的 AI 项目，并使用基于层级的分配模型来允许 AIPAD 代币的持有者参与这些项目的 IDO 和私募轮次。除了为 AI 项目托管 IDO 外，该平台还利用 OpenAI 的聊天机器人技术为访问者和用户提供支持。据了解，AIPad（官网：https://www.aipad.tech/ ）计划在平台上发行三个 AI 项目，未来将致力于让每个人都能接触到人工智能（AI）并对其产生影响。即将推出的人工智能加密项目区块链行业发展迅速。每当一项新技术展现出巨大的潜力和能力时，开发人员和企业家通常会迅速创新并开发新的商业理念和用例。因此，下一代人工智能项目一直在开发中，其中一些最突出的项目包括： CryptoGPT 即将推出的 ZK layer 2 ，可让用户快速轻松地通过数据获利。该平台引入了数据胶囊 NFT 的概念，它们是链上数据存储库，可以使用新数据进行更新，并通过 AI 开发请求轻松货币化。该平台将为用户提供一个简单的启动器，可用于捕获和存储来自各种应用程序的数据，并将这些数据变现。 AI Arena AI Arena 自 2021 年开始开发，是一种基于以太坊的应用程序，它使用人工智能使 NFT 更具能力和生产力。该游戏以玩家拥有的 NFT 角色为中心，这些角色会随着时间的推移通过模仿人类行为而进化，然后在竞技场中相互战斗。该游戏目前正在 Arbitrum 上构建。 Bittensor Bittensor 希望将去中心化的 AI 市场系统引入 Polkadot 生态系统。该平台旨在通过提供分布在区块链上的机器智能的开源存储库来帮助促进人工智能的商品化。 HyperCycle 团队来自 SingularityNET 的团队，HyperCycle 是一个第 2 层区块链，专为高度可扩展和可访问的去中心化人工智能应用程序而设计。它将使用 Cardano 的 Hydra 侧链框架启动，并利用 SingularityNET 的信誉证明 (POR) 系统和 TODA 数据结构。 PLAI Labs PLAI Labs 自称是“下一代社交平台”，旨在利用人工智能、区块链技术和游戏化来打造全新的社交游戏体验。该公司正在创建一个新平台，将战斗和交易游戏玩法融入一个长线剧情中。 Rejuve Network 该项目旨在利用人工智能收集、分析和评估用户的健康数据，以提供基于研究的健康长寿建议。它将使用人工智能对人体进行机械模拟，人工智能代理和研究人员可以对其进行研究和测试，以产生健康建议和预防措施。来源：金色财经

金色财经2023-02-27

ChatGPT嗨翻天，AIETF(512930)狂飙到何时？

指数，投资覆盖大数据、云计算、云存储、机器学习、机器视觉、人脸识别、语音语义识别、智能芯片等人工智能领域；持仓股包括科大讯飞、三六零、浪潮信息、韦尔股份等热门股，市值权重分布上相对均衡，在小市值风格较强的当下具有行业主题+风格属性双击的优势。 AI ETF（512930）管理费率为0.15%，托管费率为0.05%，远低于市场同类型权益ETF费率，有助于投资者节约投资成本，提高投资效率。同时具备透明度高、申赎更加灵活、交易费率更低、流动性更强等特征，可以作为投资者投资标的指数的有效工具。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。

有连云2023-02-27

你好ETHDenver的2023年BUIDLathon已经准备就位开始建造

后你就可以制作出DApp 的原型，会将机器学习、生物识别、智能城市解决方案或完全去中心化的游戏带入到区块链中。未来无限，有你掌舵！想要获得更多灵感，请查看由Cartesi 的核心贡献者生成的这些BUIDLathon 项目想法，以帮助ETHDenver 的建设者。我们有很多的举措来支持BUIDLers 我们将在 Cartesi Discord 上举办一场创新式马拉松，直到3月1日，为了进一步更好地支持开发人员和 ETHDenver 社区，我们还将在 2 月 25 日星期六加入 SporkDAO 的Ideathon。 Cartesi 的解决方案架构师将回答建设者的问题，并帮助每个人在你们忙于#BUIDLing 之前完善他们的项目想法。在这里参加活动： https://discord.com/events/541487144884240436/1075440279588442244 我应该如何开始使用 Cartesi？你知道 Cartesi 技术可以帮助你开发 DApps 而无需掌握 Solidity 吗？借助 Cartesi，你可以使用熟悉的堆栈和库构建完全去中心化的应用程序。这一切都是可能的，无论你是区块链编码的初学者还是经验丰富的人。查看我们的文档是一个很好的开始方式。根据你的目标或者角色选择一个途径并完全投入其中。我们还建议你查看我们的支持工具包，你可以在其中找到很多需要的。一个很棒的视频列表，开发人员在其中谈论使用 Cartesi 技术进行构建、解释用例、使用的堆栈等等。 Cartesi Rollups 示例可供使用、探索和启发。帮助您深入研究的资源。聆听 Cartesi Core Devs 谈论我们的技术，深入了解我们如何为 Web3（和 Web2！）开发人员提供支持。已经在考虑如何在 BUIDLathon 之后将你的想法提升到一个新的水平？检查我们的资助计划并申请赠款。 https://medium.com/cartesi/hello-cartesi-community-grants-program-8dadf20ec5b6 可以参考以前的黑客马拉松，并从以前的获胜团队中提取灵感。哈克波士顿（https://medium.com/cartesi/goodbye-hackboston-2022-hello-highlights-b8efedd18114）波哥达联邦理工学院（https://www.instagram.com/p/Cjkzzzfo-tG/）旧金山联邦理工学院（https://medium.com/cartesi/goodbye-eth-san-francisco-builders-lets-recap-the-biggest-ethereum-hackathon-of-the-year-yet-428187f016df）印度联邦理工学院（https://medium.com/cartesi/goodbye-eth-india-2022-builders-lets-recap-a-beautiful-weekend-of-building-7b1d41301205）但是请你注意，可能性是无限的。请确保在美国标准时间3月5日上午9点之前提交呢的项目。评审将在之后立即开始，预计将在下午5点之前完成，奖金将在 MST 3 月 10 日下午 5 点之前生效。利用所有现有的技术支持，今天就来我们专门的 USA Discord Development 社区，让自己惬意的如同回到家。与开始使用 Cartesi 技术构建的其他开发人员联系，并从我们的核心开发人员那里获得直接指导： https://discord.gg/GxQx55jaRe 你已经在丹佛市了吗？ Cartesi 核心贡献者也是如此！不要害羞，一定要来打个招呼！我们很高兴能共同建设未来！保存我们在丹佛举行的面对面研讨会的日期： Cartesi 不可知模块化执行层： 2 月 25 日星期六，美国标准时间上午 11:00 在本次研讨会中，体验未来 DApp 的样子：完全去中心化但使用现有库和 30 多年的软件开发：Linux、Python、C++、 JavaScript，铁锈。将 Linux 带入以太坊生态系统：介绍 Cartesi Rollups 3 月 1 日星期三，09:20–09:40 MST Cartesi Rollups 简介：基于 RISC-V 的自定义 VM 和启动 Linux 操作系统的应用程序特定汇总的基础设施。你想要在丹佛参加会外活动吗？Cartesi 核心贡献者将查看Supra Gam3rs和气候峰会，并很乐意在那里与你联系。 ETH Denver 2023 之后的下一步是什么？今年无法旅行和参加 ETH Denver？我们已经为您准备好了。The BUIDLing 继续举办我们的首个全球在线黑客马拉松！从 3 月 25 日开始，每个人都被邀请加入并构建 DApp，同时在自己舒适的家中争夺 15,000 美元的奖池。 https://youtu.be/_32v472tAtg 注册现已开放，快来注册并使用 Cartesi 构建一些很棒的东西： https://taikai.network/cartesi/hackathons/cartesi-hackathon 关于 Cartesi Cartesi 是具有 Linux 运行时的特定于应用程序的Rollups执行层。Cartesi Rollups 可以部署为第 2 层（在以太坊之上）、第 3 层（在 Optimism、Arbitrum、zkEVM 链等之上），或作为 sovereign rollups。它为更具表现力和计算密集型的区块链应用程序开辟了设计空间。 DApp 部署在自己可定制的特定于应用程序的汇总链上； DApp 不会在 Cartesi 的生态系统中相互竞争稀缺的区块空间； Cartesi 为以太坊或 L2 提供了数量级以上的计算能力；开发人员可以使用他们最喜欢的库、编译器和其他经过时间考验的开源组件来编写去中心化逻辑； DApps 保留了底层区块链强大的安全保障和审查阻力； Cartesi Rollups 为更具表现力和计算密集型的区块链应用程序开辟了设计空间； Cartesi Rollups 可以部署为第 2 层（在以太坊之上）、第 3 层（在 Optimism、Arbitrum、zkEVM 链等之上），或作为 sovereign rollups；来源：金色财经

金色财经2023-02-26

ChatGPT：OpenAI的技术「执拗」与「豪赌」

hot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。作者：追一科技来源：机器之心、DeFi之道来源：金色财经

金色财经2023-02-26

元宇宙周刊｜腾讯云支持全球Web3生态; Roblox测试生成式AI工具

金色财经2023-02-24

ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」

hot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。来源：金色财经

金色财经2023-02-24

易点天下：目前公司的主营业务包括效果广告服务、品牌广告服务以及头部媒体账户管理服务

术驱动发展”的战略定位，掌握了大数据、机器学习和人工智能算法等领域的前沿互联网广告技术，成为公司开展效果广告服务的核心竞争力之一。其中，在数据采集及分析、广告创建与投放、自动化运营投放等关键业务场景中，深度学习及人工智能算法、边缘计算技术等核心技术被广泛应用，提升了互联网广告投放的效率以及准确性。同时，公司自主研发了一系列智能化业务系统平台，以由数据驱动的自动化的投放模式逐渐替代了基于广告运营人员主观经验判断的粗放式决策模式，进一步优化了投放流程、提升了公司整体营运效率。谢谢！投资者：公司有哪些产品和技术用于富媒体？易点天下董秘：您好，目前公司的主营业务包括效果广告服务、品牌广告服务以及头部媒体账户管理服务。公司为客户提供广告投放服务，覆盖媒体类型包括线上新媒体广告，例如网站内广告、移动应用内广告、社交媒体广告等。谢谢！易点天下2022三季报显示，公司主营收入18.68亿元，同比下降24.6%；归母净利润2.5亿元，同比上升26.17%；扣非净利润2.38亿元，其中2022年第三季度，公司单季度主营收入5.54亿元，同比下降35.42%；单季度归母净利润7215.86万元，同比下降1.21%；单季度扣非净利润6965.9万元，负债率38.29%，投资收益1184.34万元，财务费用-7138.06万元，毛利率22.14%。该股最近90天内共有3家机构给出评级，买入评级3家；过去90天内机构目标均价为22.43。近3个月融资净流入8932.39万，融资余额增加；融券净流入0.0，融券余额增加。根据近五年财报数据，证券之星估值分析工具显示，易点天下（301171）行业内竞争力的护城河一般，盈利能力一般，营收成长性一般。财务相对健康，须关注的财务指标包括：应收账款/利润率。该股好公司指标3星，好价格指标2星，综合指标2.5星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）易点天下（301171）主营业务：效果广告服务和头部媒体账户管理服务以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-02-24

24小时热点