FX168财经网_全球视野外汇黄金加密货币NFT资讯网

ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」

om their naturally occurring demonstrations.” 后来一系列事情的发展也证明了他们确实是一直朝着这个 promising path 的方向在前进。如果说在 2018 年，GPT 初代模型出来的时候，GPT 的生成式预训练还面临着被 BERT 这类以「提取特征」为目地的预训练模型在各方面碾压，那么在 GPT-2 中的发现，给了生成式预训练一个 BERT 类模型无法替代的潜在优势，即语言模型任务所带来的多任务能力，且这种多任务能力是无需标注数据的。当然，在那个时间点上，生成式的技术路径依然面临风险和挑战。毕竟当时的 GPT-2 在各任务上的表现还是差于经过微调的模型，这导致了 GPT-2 虽然有着翻译、摘要等等能力，但效果太差以至于无法实际使用。因此，如果在当时想要一个可用的翻译模型，最好的选择依然是老老实实用标注数据训练一个专门用来翻译的模型。 GPT-3，数据飞轮的开始从 ChatGPT 时代往回看，也许 OpenAI 在 GPT-2 中的发现确实坚定了他们对 GPT 系列模型的信心，并决定加大研发投入力度。因为在随后的 2020 年他们发布了 1750 亿参数量的 GPT-3，一个即便以现在的眼光去看也大得让人惊叹的模型。虽然 OpenAI 没有明确公开训练这个模型的费用，但大家的估算是当时花了 1200 万美元。同时公开的还有一篇长达 60 多页的论文（Language Models are Few-Shot Learners），其中详细阐述了这个新的庞然巨物所展示出来的新能力。最重要的发现莫过于论文标题中所说的，语言模型具有小样本（few-shot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。来源：金色财经

金色财经2023-02-24

最新突发超级重磅！美国三大监管机构联合声明：不制定新加密法规、不阻止银行加密服务

存款保险公司(FDIC)和货币监理局(OCC)发表联合声明，提到主管机关不会制定新的加密法规，且不会阻止银行提供加密服务。但声明中强调了与虚拟货币相关的某些资金来源所带来的流动性风险。联合声明中示警的，包括由于存款流入和流出的规模和时间的不可预测性，而可能对银行机构带来的流动性风险。在特定情况下，由加密货币相关实体提供的某些资金来源，可能对银行机构的流动性产生高度风险。 (来源:美联储官网) 声明举例： · 加密货币相关实体为其客户提供的存款，这类存款的稳定性可能会取决于客户或加密产业的动态，而不仅仅是银行机构的直接交易对手，即加密货币相关实体本身。这类存款的稳定性可能会受到市场波动，加密货币产业相关脆弱性以及客户对加密货币产业相关市场事件、媒体报道和不确定性的反应影响。这类不确定性和由加密货币相关实体提供的存款保险不实，或是误导性陈述可能会导致客户的曲解，进一步恶化存款波动性。 · 构成稳定币相关储备的存款，这类存款的稳定性可能与稳定币的需求、稳定币持有者对稳定币的信心，以及稳定币发行商的储备管理做法有关。此类存款可能容易因意外的稳定币赎回，或虚拟资产市场混乱等原因而大量快速流出。声明中也提醒各家企业，当银行机构的存款资金基础集中在高度关联，或是具有相似风险状况的虚拟资产相关实体时，流动性风险可能会进一步增加。为能解决加密货币相关的高度流动性风险，银行机构应该积极监控与这些资金来源相关的风险，并建立和维护有效的风险管理和控制措施，旨在应对来自这些资金来源的流动性风险。其中，有效做法包括： 1. 了解虚拟货币相关实体存款行为直接和间接的驱动因素； 2. 评估虚拟货币相关实体存款的潜在集中度或关联性； 3. 将与虚拟货币相关存款相关的流动性风险或资金波动纳入流动性应变计划，并进行压力测试和其他资产负债管理和风险管理流程； 4. 对建立存款帐户的虚拟货币相关实体进行严格的尽职调查和持续监控，并评估这些虚拟货币相关实体对其客户有关存款帐户的陈述，以避免错误陈述导致大量的存款外流。除此之外，银行机构必须遵守相关法律规定，包括适用的经纪人存款规则和提交各项主管机关要求的申报报表(Call Report)。美国官方公告：136家银行涉足加密业务 16%美国人购买加密货币数据指出截止2023年1月，约有136家银行正计划或已开展加密货币相关业务。业务范围包括且不限于向加密货币交易所提供银行存款、托管、贷款。报告强调说，考虑到16%的美国人，即5200万人购买加密货币。自2021年以来，在这一群体中约有46000人因加密货币诈骗损失超过10亿美元，因此需要更多保护。除了敦促重视加密货币行业的监管原则，声明文件还更新美国FDIC内部的规定，即禁止持有特定加密货币的员工参与与该币种有业务往来银行的资产审查工作。由于越来越多银行涉足加密货币行业，与之没有利益冲突的员工正逐渐减少。这项考量源于美国政府道德办公室在2022年提出的要求，该要求旨在杜绝部分员工可以依靠职能操纵加密货币市场，并从中获利的情况。#NFT与加密货币#

小萧2023-02-24

Bankless：一文解读 Coinbase L2 的机会

券交易所（NYDFS）、美国中央银行（OCC）或其他对美国金融系统有着管辖权的机构仍有可能在 Base 的问题上找上 Coinbase。发行代币？可笑的是，根本不可能。在美国开始为空投以及美股如何发行空投制定明确的监管框架之前，在没有潜在代币的情况下，相对于其竞争对手，Base 将处于重大不利地位。乐观前景? Coinbase 确实有一个有利的因素，即该公司仍然拥有坚实的品牌资产。虽然消费者可能不愿意使用 Coinbase Web3 一栏中列出的 Aave 和 Uniswap 等协议，但随着 Coinbase 品牌 dApps 的推出，这种情况可能会改变。我当然可以看到，最无摩擦的方式是通过交易商的品牌产品，让不熟悉的非加密原住民进入 Web3。 Base 很可能是通往许可、KYC DeFi 的门户，但该产业链肯定不是只有 KYC。毕竟，正如 Coinbase web3 负责人 Jesse Pollak 在采访中提到的那样，Coinbase 在扩展解决方案方面的尝试包括一套具有去中心化身份基元的基础设施产品。由于监管透明度有限，机构不清楚如何与 DeFi 打交道，而好打官司的监管机构也在紧追不舍，Coinbase 品牌的、半许可的 dApps 可以作为 DeFi 这个可怕世界中的一个儿童游泳池。Coinbase 已经有了这些关系，为机构和高净值个人提供着托管和大宗经纪服务。机构 ? Base 是否有可能成为 coinbase 品牌 dapp 的启动平台，从监管风险和资金安全的角度为这些实体提供安慰？如果是这样的话，这可能会是一个巨大的解锁，向以前面临结构性障碍的一类不情愿的投资者打开 DeFi 的世界，让他们进入这个空间！毫无疑问，Base 的推出对整个 Coinbase 团队来说是一个巨大的成就，代表着 OP Stack 的一个不可思议的飞跃。但现实情况是，消费者宁愿生活在 TradFi 的围墙花园内，对上链仍然犹豫不决。虽然 Coinbase 有 1.1 亿的验证用户，并在平台上持有 800 亿美元的资产，但其中只有一小部分可能会迁移到 Base 上。不过，对 Coinbase 来说，800 亿美元仍然是一个非常大的数字，仅有 2.5% 的迁移就足以超越 Arbitrum，确保 Base 成为 TVL 的第四大链。区块链技术仍然处于起步阶段！每月有 1000 万个活跃地址以及约 100 万个实际的个人在链上进行交易，这个领域的增长潜力是巨大的。 Coinbase 决定出击并创建自己的 L2，是对以太坊和更广泛的加密金融系统的巨大信心投票，可能会在未来某个未知的时间点获得丰厚的回报，但值得注意的是，Optimism 和 Arbitrum 在过去一年只获得了 900 万美元的收入，而 Coinbase 的顶线收入超过 30 亿美元。在可预见的未来，Base 除了成为一个金钱陷阱之外，几乎不可能再充当任何角色。虽然 Coinbase 已经提供了各种迹象表明它打算成为以太坊生态系统的忠实管家，通过对 OP Stack 的贡献和成为 RocketPool oDAO 的成员（以及其他行动）来促进去中心化，但让该公司履行他们的承诺仍然是至关重要的。请记住，伙伴们：DYOR，不要 ape in。当你读到这份免责声明时，这里所反映的事实很可能已经纳入了 COIN 和 OP 的价格中！你的优势不在于试图超越使用光纤连接的高频算法交易员，你的优势在于了解加密领域的发展，并在代币（和加密货币股票 ?）中进行具有巨大不对称上升空间的高预测性赌注！你的优势在于了解加密领域的发展。来源：金色财经

金色财经2023-02-24

GMX和DYDX的机制差异、下波牛市该如何表演？

下波牛市该如何表演？

金色财经2023-02-23

西方石油成交量激增市场猜测巴菲特进一步买入

能源股普遍遭遇抛售之际，西方石油公司（Occidental Petroleum）股价跌至去年9月底以来的最低水平，当时伯克希尔哈撒韦对该公司股份进行了其披露的最后一次买入。　　该公司股价周二下跌1.5％，收于59.82美元，上周五下跌了2.8％。　　但这只股票的成交量在上周五飙升至2000万股，为今年以来最高，且高于1300万股的90日平均成交量。　　这引发了人们的猜测，伯克希尔哈撒韦CEO巴菲特是否进一步增持了西方石油的股票。　　伯克希尔上一次买入西方石油股票发生在9月26日至28日，当时该股的交易价格在58美元至61美元之间。伯克希尔目前持有1.944亿股西方石油股票，相当于约21％的股份，价值约116亿美元。去年11月，西方石油的股价一度超过75美元。　　巴菲特一直对价格很敏感，自去年3月伯克希尔开始披露其对西方石油的购买情况以来，他已经以50美元左右的价格购买了大量股份。投资者应该在周三之前知道伯克希尔是否增持了西方石油的股票，因为根据规定，持股超过10％的股东必须在两个工作日内披露买入情况。　　巴菲特可能会在周六的年度股东信中谈到他在西方石油的持股情况。巴菲特是西方石油公司首席执行官Vicki Hollub的支持者。　　近期天然气价格的下跌抑制了西方石油公司的利润前景，该公司预计今年每股收益不到7美元，低于2022年的近10美元。该公司将于2月28日公布第四季度业绩。

金融界2023-02-23

市场策略：近期美国监管机构密集出手将如何影响加密市场？

银行监管机构 Fed、FDIC 和 OCC 联合声明 1 月 3 日，十分罕见地，美国的三个顶级银行监管机构——美联储（Fed）、联邦存款保险公司（FDIC）和货币监理署（OCC）发布了一份关于加密货币资产及其对银行系统构成风险的联合声明。声明承认，不禁止或不鼓励银行向任何类别的客户提供服务，其中包括加密货币公司，但指出，与加密货币相关的公司和资产存在特定风险。他们警告银行不要发行或持有加密货币作为储备，并表示他们将密切监测与加密资产有关的风险。 Fed 关于加密货币活动的政策声明继 Fed、FDIC 和 OCC 发布联合声明之后，联邦储备系统理事会发表了一份与加密货币活动和州政府特许银行有关的政策声明。它提出要在州政府和联邦特许的银行之间建立公平的竞争环境，并在另一份声明中拒绝了 Custodia 银行向联邦储备系统提出的申请。 Custodia 是怀俄明州特许的特殊目的存款机构（SPDI）之一，希望提供一系列数字资产相关的活动和服务。政策声明，明确国家或州政府监管的银行没有被授权持有加密货币资产作为储备，这可能意味着银行不能在资产负债表上持有加密货币作为投资资产。关于稳定币，该声明明确表示，发行稳定币等数字资产被推定为不太可能符合安全银行业务的做法，但并没有完全排除这种可能性。声明还提出了针对可能与银行进行交易的验证机构的关切，包括未托管的钱包。并提到，他们的指导意见中并没有禁止银行保管数字资产——如果它是以规范、安全和健全的方式进行的。 NYDFS 破产保护指导意见纽约金融服务部（NYDFS）发布了最新指南，旨在当虚拟货币服务提供商（主要是托管人）破产时保护消费者。鉴于过去一年破产事件频发，出台更新的指导意见并不奇怪，其中包括所有权的分离、适当的记录保存、与交易服务相关的商业惯例、披露和次级托管安排。 NYDFS 叫停 BUSD 发行在围绕 BUSD 稳定币（也被称为 Binance USD）的争议之后，NYDFS 下令停止铸造新的 BUSD，其发行方 Paxos Trust Company 宣布将终止与 Binance 的合作。虽然没有给出叫停的具体原因，但争论的焦点可能是 BUSD 在其他区块链上的发行并没有得到 NYDFS 批准。我们已经多次详细介绍了 BUSD 的问题，包括挂钩资产支持不足的问题，客户资金的混合，以及试图创建一个生息稳定币。证券监管机构 Paxos 收到 SEC 的 Wells 通知除了 NYDFS 叫停 BUSD 之外，SEC 还向 Paxos 发出了 Wells 通知，表示其正在考虑对 Paxos 采取行动。虽然该通知没有被公开，但 Paxos 的新闻稿表明，SEC 认为 BUSD 是一种证券，其发行没有根据联邦证券法进行注册。Paxos 公开表示不同意 BUSD 是证券的说法。值得注意的是，该通知不包括 Paxos 的其他稳定币，如 Pax Dollar。Paxos 的竞争对手，第二大稳定币 USD Coin（USDC）的发行商 Circle 则表示没有收到 Wells 通知。 Kraken 与 SEC 就 Staking 服务达成和解上周，SEC 对 Kraken 提出指控，并就其提供的 Staking 服务与之达成和解。Kraken 支付了 3,000 万美元来解决这些指控，并同意终止该项服务。以太坊是市值第二大的数字资产，去年秋天将其共识机制从 PoW 升级至 PoS，允许 ETH 持有者通过质押 ETH 参与区块验证获得回报。SEC 主席 Gary Gensler 曾多次警告 Staking 服务可能会引发证券监管，直到上周 SEC 首次正式采取执法行动。需要注意的是，并不是说用于抵押的基础资产本身是证券，而是服务活动属于证券行为。一个有效的比喻是，比特币本身不是证券，但在比特币支持的金融产品中提供的权益，如ETF，是证券。在执法行动之后，以太坊上的第二大质押节点 Coinbase 发表了一篇博文强调其观点，即 Staking 服务不是证券。（当前以太坊流动性质押分布中，排名第一的为 Lido，占比 30.24%，第二为 Coinbase，占比 14.44%，第三为 Kraken，占比8.3%，WEEX Blog 注。） SEC 提议更新 RIA 托管规则 SEC 提议根据《1940年投资顾问法》加强对投资者的保护。虽然这还只是一个提议，但它扩大了需要由合格保管人（QC）持有的资产的定义，以涵盖数字资产，要求 RIA 和 QC 之间签署书面协议，并要求 RIA 更新政策和程序。该提案将进入讨论阶段，可能会根据 SEC 收到的意见进行调整，然后进入实施阶段。我们预计最早要到 2024 年夏季才会生效。 SEC 对 Genesis 和 Gemini、Do Kwon、Terraform Labs 提出指控在 Genesis 的贷款部门破产后，Gemini Earn 项目中的用户存款兑付问题随之而来，SEC 指控这两个实体参与了向零售投资者进行未注册的证券销售。指控称， Gemini Earn 项目与 Genesis 公司的合作构成了证券的发售和销售，而这本应经过注册。 SEC 还指控 Terraform Labs 及其首席执行官在提供加密资产证券 Mirror（MIR）、Terra（LUNA）和Terra USD（UST）方面存在欺诈行为。值得注意的是，SEC 的指控称，MIR 代币（通常作为 Mirror 协议的治理代币销售）和 UST（一种算法稳定币）都是证券。 WEEX Blog 获悉，币安宣布将于 2 月 27 日 17:00 下架 Mirror Protocol（MIR）及 Aion（AION）、Anchor Protocol（ANC），MIR/BUSD、AION/USDT、ANC/BUSD交易对将被移除。同时，币安赚币、币安礼品卡以及 Binance Pay 也将下架上述币种。 Wahi 对 SEC 反击两周前，Jones Day 律师事务所的律师针对 Coinbase 前产品经理 Ishan Wahi 和两名共同被告的内幕交易案提交了一份重要的法律简报。Wahi 已经对司法部提出的电信欺诈指控认罪，但 SEC 也提出了与证券内幕交易有关的民事指控，这是该简报的主题。这个案件很重要，因为 SEC 主张这 9 种代币是证券（包括 AMP、RLY、POWR、LCX 等，WEEX Blog 注），这可能会对 Coinbase 产生次生影响，因为这些代币在 Coinbase 上市和交易。此案仍在进行中，此案以及 XRP 与 SEC 之间 2 年多的诉讼结果，将对数字资产行业背景下的「证券」定义产生重要影响。前进的道路虽然加密领域的监管活动层出不穷，但到目前为止，我们所看到的或预见的任何行动，都不意味着数字资产被禁止或取缔。当然，一些行业参与者的商业行为正在受到质疑。我们始终认为，合理的护栏和对道路规则的明确将使投资者能够更有信心地配置加密资产，并最终支撑加密市场价格的上涨。 WEEX 唯客也认为，加密行业野蛮发展的时代已经过去，走向合规化是大势所趋。其中就交易所而言，合规与安全是生命线，在稳守安全、严格风控的前提下积极拥抱监管，在监管框架下寻求合规化运营，才能赢得用户信任，行稳致远，实现可持续发展。为此，WEEX 唯客顺应监管潮流，积极响应各国对于加密资产交易的监管要求，并配合各国政府的要求进行相关的许可申请，目前已取得美国MSB、加拿大MSB、SVGFSA监管牌照。市场更新上周比特币再次表现强劲，主要是受周中反弹的推动，显示市场对美国过于激进的监管的担忧有所缓解。年初至今，比特币上涨了 48.4%，远超过了其他资产类别。上周股市同样上涨，标普 500 指数上涨 0.3%，纳斯达克综合指数上涨 0.6%。大宗商品涨跌互现，尽管通胀数据高于预期，但黄金下跌 1.3%，石油上涨 0.6%。债券市场下跌，投资级债券下跌 1.8%，高收益债券下跌 1.4%，长期美国国债下跌 2.8%。实际收益率和通胀预期在上周出现回升。上周重要新闻投资>> CME 集团拟于 3 月 13 日将比特币期货纳入其事件合约套件，当前正等待监管审查监管和税收>> Paxos 将停止铸造新的 BUSD Coinbase 称 Staking 服务不属于证券 SEC 提议加强对 RIA 的保障规则 Binance 预计将支付罚金以解决美国的调查 SEC 指控 Terraform 和 CEO Do Kwon 欺诈投资者公司>> WEEX 合作之第三方买卖币平台已品牌升级为 ChipPay 赵长鹏曾悄悄将 4 亿美元从币安转移到个人公司 WEEX 推出「滑点包赔交易安心」活动 Bakkt 加强对可扩展的 B2B2C 解决方案和 Sunset 消费者应用程序的关注已破产的加密借贷机构 Celsius 向 NovaWulf 提出出售计划本周大事件 2 月 24 日 - CME期货和期权到期来源：金色财经

金色财经2023-02-22

50%大跌行情一触即发！？“加拿大巴菲特”警告：科技股估值比互联网泡沫时期还要高

佛龙(Chevron)和西方石油公司(Occidental Petroleum Corp.)等几家关键公司都有共同的持股。沃特萨也和巴菲特一样喜欢高度集中投资：截至去年12月底，包括黑莓(Blackberry)在内的7只股票占Fairfax 40亿美元投资组合的近90%。

市场焦点2023-02-22

比特币在经济放缓期间接近 25,000 美元

公司 (FDIC) 和期权清算公司 (OCC) 发表联合声明，劝阻银行与加密行业打交道。为Crypto.com等交易所提供服务的大都会商业银行不久后就停止了与该行业的业务往来。币安很快宣布，由于 Signature Bank 的一项新政策，他们将只处理超过 100,000 美元的法定交易，然后完全暂停零售客户的美元银行转账。然后，在 1 月下旬，堪萨斯城联储拒绝了 Custodia 的主账户申请。卡特写道，这让他想起了奥巴马时代的“瓶颈行动”，他将其描述为一项计划，通过向银行业施加压力，使合法经营的特定行业边缘化。加拿大也不能幸免于同样收紧加密监管的环境。CoinDesk 在 2 月份报道说，加拿大的伞式市场监管机构加拿大证券管理局 (CSA) 正在准备新的监管举措。一位与 CoinDesk 交谈的消息人士表示，新提议的规则将使在加拿大开展业务对交易所而言过于昂贵。但这些规则的更新并不是因为 Trucker Convoy 公然蔑视该国的第一个加密货币制裁。尽管 Rouleau 和当局知道比特币按照抗议者的预期运作，允许他们保留他们的硬币以便他们可以在另一天战斗，但增加的加密法规不会因此而出现，而是作为不断定义加密的推动力作为安全。在加密行业你想抓住下一波牛市机会你得有一个优质圈子，大家就能抱团取暖，保持洞察力想抱团取暖，或者有疑惑的，欢迎加入我们——公众号：老王的交易思考感谢阅读，喜欢的朋友可以点个赞关注哦，我们下期再见！来源：金色财经

金色财经2023-02-21

为何SEC等监管机构纷纷对BUSD出手？BUSD会被挤兑吗？

币BUSD 的发行商。美国货币监理署(OCC) 于2021 年4 月有条件地批准了Paxos 的国家信托银行(Paxos National Trust) 许可申请，但Paxo 仍需以实际执行成果向OCC 证明其商业模式是可以安全地运行的，之前市场即谣传Paxos 被要求从OCC 撤回其国家信托银行执照申请。币安稳定币BUSD 是什么？ BUSD即币安USD（Binance USD），是以一比一锚定美元的稳定币。币安和Paxos于2019年合作发行BUSD，并表示BUSD有获得纽约当局批准。Paxos 在以太坊区块链上发行BUSD（ERC-20），但另一方面，币安也在币安链上提供与BUSD 挂钩的Binance-Peg BUSD（BEP-20）代币。根据币安官网数据，截至2月13日，BUSD有620万名持有者。稳定币是什么？根据币安，稳定币是一种加密资产，与具有稳定价格的资产挂钩，例如法币、贵金属。稳定币的存在是为了避免加密货币市场常见的高波动性。稳定币分为三种类型──法币支援、加密货币支援和演算法支援的稳定币。对于稳定币的详细介绍我此前的文章也有写到，不理解的朋友们可以去翻翻之前的文章看看。像BUSD等法币支援的稳定币，与传统法币挂钩，方法是保留可兑换稳定币的法币储备。像DAI这种加密货币支援的稳定币，就是用其他加密货币做为抵押，由于波动性的缘故，通常需要超额抵押。例如若用以太币做为DAI的担保储备，就必须储备稳定币1.5到2倍价值的以太币，若质押率太低就会启动清算，以免稳定币价值崩盘。演算法稳定币不需要储备，是透过智能合约调整稳定币的供给，来维持价格锚定。 BUSD 等稳定币遭监管当局审查监管当局今年对加密货币公司扩大审查，美国证券交易委员会向Paxos表示计划起诉Paxos违反投资人保护法。SEC先前从未对大型稳定币发行商采取执法行动。稳定币近年来成了利润巨大的事业。想要轻松买卖加密货币的交易者蜂拥向这些美元的替代品，因为不需要银行清算就可以买进卖出。加密货币震荡剧烈、多空行情往往来得又快又猛，但要使用现金购买加密货币比较麻烦，损失的时间成本可能造成投资人错失大好交易机会。像Paxos这类公司，就透过发行稳定币取得稳定的收入，并把使用者的现金存款拿去投资短天期美国公债，赚取利息收入。 SEC 对BUSD 出手的理由？ SEC向Paxos发出「威尔斯通知」，指控BUSD是未注册证券。威尔斯通知是用来知会接到的公司和个人，SEC即将采取执法行动。接获通知的公司及个人有机会书面回应并向SEC据理力争，力求避免走入诉讼。 SEC对稳定币的态度如何？ SEC先前就说过稳定币会是执法焦点。SEC主席坚斯勒（Gary Gensler）认为稳定币类似银行存款或是货币基金。2021年11月，美国财政府领导的小组委员会表明稳定币应该要有特定的监管架构，并限制由银行发行。 SEC最近动作频频。上周Payward Inc旗下交易平台Kraken同意停止在美国提供加密货币质押服务，并就贩卖作为质押生息产品的未注册证券，支付3000万美元罚金。 BUSD 受监管，哪家稳定币受影响最大？从市值来看泰达币长期主宰市场，但USDC在其他领域也有坐大之势。根据Dune Analytics数据，USDC市占过去一年显著成长，目前在整个稳定币市长占了44.4%。USDT和BUSD分占35.2%和18.7%。USDC显著成长的原因之一可能是殖利率升高，持有人数也显著成长，过去几个月增加到超过150万人。用USDC做的交易笔数相对于USDT也显著增加。不过，对Paxos 的制裁引发了人们对BUSD 能否持续运行的恐慌，导致了「稳定币大迁徙」，有大量用户将资产兑换为其他稳定币或是现金。值得注意的是，USDC 并不是本次迁徙的首选，链上数据指出，这次受益最大的USDT，BUSD/USDT 交易对在全网的交易量短时间内一度激增4836.2%。至于可能原因，或许是因为社群传出USDC 近期同样有被SEC 监管的可能性在。 BUSD 会被挤兑吗？根据coinmarketcap 上的数据，BUSD 在昨日消息曝光后，流通供给量由161.5 亿美元下滑至158 亿美元，减少了3.5 亿美元，约占原先总流通量的2%。尽管当前尚未出现更大规模的BUSD 赎回，但由于BUSD 已不会再增发，流动量的减少也代表BUSD 永久性的赎回。今天的分享就到这里，后期会给大家带来其他赛道的龙头项目分析。感兴趣的可以点个关注。我也会不定期整理一些前沿资询和项目点评，欢迎各位志同道合的币圈人一起来探索。有问题可以评论提问或者私信来源：金色财经

金色财经2023-02-14

必要时“不排除起诉美国证监会”！Paxos坚决不同意“币安稳定币为证券” BUSD逃难交易量激增4836%

icense，此前曾向美国货币监理署(OCC)申请国家信托银行执照。美国政府提供“禁止BUSD原因”解释：未能做好风险评估命令Paxos停止发行新BUSD稳定币的纽约金融服务部也分享关于制裁Paxos的主要原因，是因为Paxos未能实现对BUSD用户的定期风险评估和尽职调查承诺，以防止不良行为的产生。近来美国政府接踵而至的组合拳也让加密货币产业处于风声鹤唳的氛围，福斯知名记者兼制作人Eleanor Terrett预言，在接下来2至3周时间里，美国证监会将会对更多加密公司发出起诉预告的威尔斯通知(Wills)。 Coinmarketcap数据显示，BUSD的市值在近24小时内快速下降，从161亿美元下降到158亿美元。区块链分析公司Nansen数据指出，币安在过去24小时内净流出约8.31亿美元。创下了该交易所自2022年11月FTX爆雷垮台以后最大的单日净流出量纪录。 BUSD/USDT交易量激增4836% 据币安提供的数据显示，BUSD正持续着微幅的脱钩状态，其中较为严重的是由Tether发行的USDT，BUSD/USDT交易对在周一下午最低曾一度跌至0.995。 (来源:Binance) 此外，BUSD/USDT全网交易量也迎来激增，链上分析频道CryptoCompare数据显示，BUSD/USDT交易对在全网的交易量短时间内激增4836.20%，推测可能是有大量用户将手上的BUSD换成USDT。 (来源:Crypto Compare) Kaiko研究主管Clara Medalie认为出现脱钩情况源于用户青睐更加稳定、持续的资产。她解释：“从本质上讲，Paxos停止发行BUSD，意味BUSD无法增长。虽然BUSD交易对仍将得到币安的支持，但交易者将逐渐开始迁移到其他稳定币，这可能会导致BUSD的折扣。”#NFT与加密货币#

小萧2023-02-14

24小时热点