FX168财经网_全球视野外汇黄金加密货币NFT资讯网

ChatGPT爆火之后 AIGC往何处去？

，还“涌现”出了其他一些智能，包括上下文学习，以及更强大的零样本和少样本执行任务的能力，等等。 GPT-3生成的文本质量非常高，有时候人们甚至难以区分文本到底是人类写的，还是GPT-3生成的。基于GPT-3，已经衍生出很多应用，人们用GPT-3来创作各种类型的文本。有人用它写了一篇新闻，被某热门新闻点评网站排到头部。一家名为Jasper的公司利用GPT-3为企业提供商业文本写作服务，2022年其收入达到9000万美元左右。 GPT-3之后，OpenAI通过增加程序代码训练和人类反馈强化学习等多种训练手段，并将主版本升级到GPT-3.5。最终，2022年11月，ChatGPT横空出世。 ▍训练GPT-3模型的三“大”要素：算法、数据、算力我们称GPT-3为大模型，这个“大”体现在哪些地方？首先是算法。GPT-3采用的是Transformer的解码器，具有1750亿个参数和2048个Token（可简单理解为单词，下同）的训练文本长度。图片来源：OpenAI团队论文《Language Models are Few-Shot Learners》第二是数据。上图是GPT-3的训练数据，总共接近5000亿个token的文本，主要包括Common Crawl、Webtext2、Books1、Book2、Wikipedia等等。其中占比最大的训练数据是Common Crawl，它是一个开源的数据集，抓取并保存了全球大量网页的数据。第三是算力。据微软发布的信息， OpenAI 使用一台全球排名前5的超级计算机系统来训练GPT-3，该系统拥有超过28.5万个CPU核心，1万个GPU和每秒400G的网络。据悉其训练成本约为1200万美元。 02 人们如何看待ChatGPT？ ChatGPT诞生以来，引发的讨论非常多。那么说回来，人们如何看待这个新事物，对它又有什么期待？虽然众说纷纭，有3个议题是被频繁提到的。 ▍人们肯定ChatGPT是一个称职的语言模型首先，ChatGPT是迄今为止最成功的人类语言模型，已经具备形式语言能力（洞悉语言的规则模式等知识）。 ChatGPT具备理解和生成人类语言文本的能力，可跟人类轻松对话。它用数据驱动的大型神经网络的计算方式，某种程度上解码了人类语言的内部规律。这个内部规律不是某种公式，而是一个神秘、暂不被人类理解的权重参数矩阵。以前，人们认为算法模型如果仅靠输入文本，很难获取关于语言的知识。但如今，ChatGPT可以从文本中直接学习语言的层次结构和抽象类别等，这是一种无监督学习的能力。此外，ChatGPT也不只是个话痨。它可以写作文、创作诗歌、撰写商业文本、翻译、做阅读理解、代码理解和生成等。可以说，作为一个语言模型，ChatGPT已经比较称职。 ▍人们期待ChatGPT具有思维能力人们对ChatGPT的期望不仅仅是语言模型，人们甚至期待ChatGPT成为一个思维机器，发展出功能语言能力（用语言思考和做事的能力）。 ChatGPT“涌现”出一些智能，包括上下文学习（理解和学习人类对话输入文字的能力）、世界知识抽象（例如事实性知识和常识）、执行泛化任务（包括没有做过的新任务）、复杂推理等。然而，当前ChatGPT的这些功能都还不算强大，出错甚至崩溃时有发生。当前，人们在思维机器方向的探索有很多，例如有一种借助思维链（Chain of Thought）的方法，试图引导或者优化语言模型展现出复杂的推理能力。这些研究方向的进展仍在持续。上图展示的是，一位科研人员在跟ChatGPT的对话中，通过分步骤提示引导的示例训练（引导过程未展示），使ChatGPT展现出分步骤思考和计算的能力。据分析，ChatGPT的这个能力来自GPT-3.5模型本身，思维链训练方法只是让它意识到应该用这种方式来思考和回答问题。整个过程有点类似老师辅导学生做题。虽然这道题对于10岁的孩子来说很容易，但对语言模型来说却很难，主要是由于数学和语言混合在一起。这类问题只是开始，当前思维链的前沿科研工作已经转向更有难度的问题，例如高中、大学，甚至是国际数学奥林匹克问题。加利福尼亚大学洛杉矶分校(UCLA)近期的一篇论文发现，ChatGPT似乎展现出了类比推理的能力。什么叫类比推理？推理分三种，包含演绎、归纳、类比。“类比推理通常被视为人类抽象和概括能力的典型能力。在广泛的问题类型中，ChatGPT达到或者超越人类水平...显示出这种零样本类比推理的能力。” 然而，ChatGPT的推理能力因其对世界缺乏物理理解而受限，因为它仅仅依靠文本输入，缺少视觉（图像和视频）、声音、嗅觉等多模态数据输入。文本对世界的物理描述是有限的，比如你很难通过文字描述清楚一间屋子里不同物品的位置具体，相反，看一张关于这间屋子的图片，物品的位置信息就一目了然。听说GPT-4将于2023年发布，届时会加入视觉等多模态数据输入，这将有望进一步提升它的智能。 ▍对于ChatGPT能否成为“人类大脑”或通用人工智能，人们持有巨大争议目前，针对ChatGPT是否能够变成“人类大脑”或者通用人工智能（AGI），争议还非常大。Yan Lecun是深度学习的三巨头之一，他也是Meta（原Facebook）公司的首席AI科学家。他认为机器和人类不一样，人类会在心智里面构建一个虚拟世界，进行推理和模拟，这点目前机器做不到。著名语言学家乔姆斯基在2019年的一次采访中提到，深度学习更偏工程，有点像推土机，可以使用，但它没有能力告诉你人类语言的任何事情。（注：ChatGPT这类语言模型可以输出很精彩的文本，但是我们没有确凿证据证明它真正掌握了语言的规律，当然也有可能是它掌握了规律，但人类无法理解。） Kyle Mahowald等学者认为，“擅长语言” 未必 “擅长思考”。虽然人类的语言和思想是不可分离的，但专⻔处理语言的人脑区域，与负责记忆、推理和社交技能的人脑区域是分开的。因此不应该对语言模型有过多期望。 Kyle Mahowald提到了一个GPT-3没能理解的失败案例：怎么把沙发放到你家屋顶上。就像我们在上文提到的，屋顶、沙发、起重机等更偏世界的物理知识，对于人类来说，很容易就想到用各种办法把沙发放到屋顶上去，但你很难让ChatGPT理解这样的操作思路。这个例子也说明世界物理知识的输入，特别是视觉等多模态数据输入的重要性。 03 背后的技术和发现很精彩，也还有很多发展空间讲完ChatGPT究竟是什么，我们再来讲一下背后的技术。我们在上文提到，ChatGPT相当于用“文字接龙”这样简单的技术原理来训练和使用语言模型，从而实现跟人类的高质量智能文本对话。这个技术原理，理论上是有升级和改善机会的，从而可能达到更好的效果。在神经网络参数量方面，业界有人认为有优化空间，例如是否可以用参数量较小的模型达到同等效果。2048个token文本输入窗口的设计及计算机制，也可能有优化空间。例如当前有人试图让ChatGPT写推理小说，但推理小说里面的推理线索往往不易察觉且距离较远（例如好几个章节之前的一个小线索），这个距离远远超出2048个token文本的窗口，如何把当前窗口之外的知识信息容纳进来，也存在优化可能。整体而言，作为底层算法模型的Transformer在2017年6月才诞生，现在还处在发展早期，在快速迭代和改进完善之中，应该还有很多发展空间。此外，前面提到的多模态数据输入，会给GPT-4带来什么样的能力涌现和性能提升，也是业内人士和群众翘首以待的。 ▍人类可以从ChatGPT中学到什么关于语言的规律？在对人类语言的探索上，ChatGPT比以往的任何产品都走得更远更深。我们人类可以从ChatGPT身上学到什么？ Stephen wolfram这名科学家认为，人类语言可能没那么复杂，只是因为我们人类没有能力理解和掌握其背后的规律；而ChatGPT用基于神经网络的算法，成功解码了人类语言的本质。据OpenAI公开的GPT-2的论文，GPT-2的训练数据是纯英语文本（做了非英语文本过滤）。即便如此，它还是显示出一些多语言能力，并且展现出非常出色的法英互译能力，尽管只是接受了10MB左右残留的法语文本训练数据。这个现象引发了人们的思考，当前人类在语言学习方面花费大量的时间和精力，这个学习效率是不是有提升的空间？我们能不能向语言模型学习，更加有效率地学习人类语言？ ChatGPT在生成文本时，是每次选择一个词，这个词是在语言模型给出的概率表中做出的选择。当前科研人员的发现是，如果每次都选择概率最高的词汇，理论上是最优解，最后呈现却往往是一篇非常普通的文章；如果不是每次选择最优解，例如随机选择排名稍微靠后一点的，却有更大机会生成一篇精彩文章。这也是个有意思的未解之谜。以前，我们可能认为创作一篇散文或者一首诗，背后是人类精心的构思和创造。但对于AI而言，创作意味着概率和选择，我们认为的精彩文章创作原来只是AI枯燥的选择过程而已。由ChatGPT反观，可能人类对语言本身的奥秘还知之甚少。 ▍语言特征空间的单词分布 GPT把文字向量化了，建立了语言的高维特征空间，也称为隐含空间（Latent Space）。 GPT-2中每个词是一个768维的向量，GPT-3中每个词则是12288维的向量。每一个维度代表着一个属性，相当于GPT-3用1万多种属性，来描述人类语言中的词汇特征。 Stephen wolfram试图打开人类语言的特征空间，来观察其中的规律。他选择规模较小的GPT-2的特征空间，把它映射到人类比较容易理解的二维空间，从中发现了许多有意思的现象。比如，crocodile鳄鱼和 alligator短吻鳄离得很近，苹果跟梨聚在一起，这个可能容易理解。有趣的是，词汇之间的关系，还能从向量加减操作中反映出来，比如皇帝（King）的向量减去男人（man）的向量，再加上女人（woman）的向量，就变成了女皇（Queen）的向量。另外，他还试图在GPT-2的语言特征空间中，寻找每次生成一个句子的游走规律，我们能从上面这个图片中，看到GPT-2是怎么在768维度的空间中游走并陆续做出下一个词的选择，但是很遗憾他还没有找到其中的规律。虽然从高维映射到二维中丢失了很多信息，但是未来如果能结合多维空间中的向量，我们可能会发现更多关于语言的规律。 ▍Transformer神经网络算法架构及注意力机制 2017年6月，Google发表了非常著名的Transformer论文，论文标题是《Attention is all you need》，意思是说你只需要注意力机制就足够了。图片来源：知乎@雅正冲蛋 Transformer神经网络算法架构的框图如上，如前文所述，左边部分是编码器，右边部分是解码器。Google研发的BERT用的是编码器，而OpenAI的GPT系列用的是解码器。在AI领域，有四大类神经网络算法，包括MLP、CNN、RNN、Transformer。MLP是多层感知器，CNN是卷积神经网络，RNN是循环神经网络。 Transformer是最新的算法模型。在一些场景中，它正在逐渐替代CNN和RNN。Transformer的特征提取能力比较强，擅长长序列处理、并行计算、多模态处理等。Transformer的注意力机制有点像人一样，选择性关注，因为资源有限，只会关注最重要的事情。 Transformer已经被广泛应用在自然语言处理、计算机视觉以及生物科技等领域。生物科技行业用来预测蛋白质三维形状的Alpha Folder算法就是基于Transformer算法模型来做的。 ▍哪个模块是GPT-3储存智能的地方？ GPT-3模型发布时，OpenAI团队发布了论文《Language Models are Few-Shot Learners （语言模型是少样本学习者）》。上图是GPT-3模型的框图，它基本上跟Transformer 的右边部分的解码器是类似的。无论是预训练还是推理（做任务），都是从框图的最底部输入前面部分的文本（GPT-3模型最大的长度是2048个token），然后经过12次运算，从Text prediction输出下一个词概率预测（Task Classifier是微调训练分支，在此不详述）。一个有意思的话题是，GPT-3用1750亿个参数，去学习接近5000亿单词的文本，显然它不是简单地把3个单词存在1个参数中去，而是大抵掌握了一些语言规律且抽象了某些知识和能力。那么，问题来了，这些规律、知识和能力到底存在哪些地方呢？有学者认为，1750亿参数主要集中在框图中的注意力处理层和前馈网络层，前者的值是动态计算的（每输入2048个token，就重新计算一次），它们是数据相关的动态权重，因为它们会根据数据动态变化。而前馈网络层的权重是随着训练过程而缓慢变化的，因此，有学者猜想在前馈网络层中存储着GPT发现的语言规律、知识和能力等，因为要经过12次运算，运算次数越靠后存储的信息越抽象。 Stephen wolfram把GPT-2的某个前馈网络层存储的768*768维度的权重参数矩阵提取出来，压缩到64x64尺寸，就形成了如下一张神秘的图像，代表着GPT-2总结的神秘的人类语言编码规律及其他一些知识和能力的一部分。很好奇什么时候科学家可以逐步解密其中的部分内容，相信对于人类提升自我能力有好处。图片来源：writings.stephenwolfram.com 04 未来，ChatGPT能否进化出自我意识？和AI相比，自我意识和自由意志可以算作是人类最后的堡垒。但是有一种观点认为，人类其实没有所谓的自由意志。人类有两个自我，一种是体验自我，另一种是陈述自我。体验自我，负责相对“机械”地解读信息、作出决策；陈述自我，则负责对体验自我的决策进行解释和表述，有时甚至会虚构故事来“欺骗”我们自己。所谓的自由意志，不过是陈述型自我给自己编的一个故事而已。一些科学家和学者认为，理论上，我们可以构造出一个自我模拟的自指机器（Self-referential Machine），让它也具备两套体系，一个负责执行算法，另一个则专门负责对自我进行模拟（描述，或者可称为在内嵌虚拟世界中模拟自我）。这种机器会表现得就“像”一个具有自我意识的系统，以至于我们可以用这样的系统来定义所谓的“自我意识”。在古代欧洲，有一种传说中的衔尾蛇，能够自己吃自己，实现持续进化。后来，有人提出哥德尔机（ Gödel Machine）的设想，认为只要程序能够模拟自身、改造自身，那么我们就可以将其称为具有自我意识的。此外，还有Quine程序结构、克莱因Kleene第二递归定理等也提出和支持了与之相似的假设。图片来源：维基百科我们很难预料，未来机器是否能进化出自我意识。 05 生成式AI领域的其他进展需要指出，当前讨论的生成式AI，跟之前的分析式AI是有较大不同的。分析式AI的主要能力是分析，例如：数据分析、趋势预测、商品推荐、图像识别等，而生成式AI主要的能力是创造，例如：写诗、绘画、设计产品、编写代码等。当前除语言模型外，生成式AI领域的其他进展还包括图像生成模型等等。未来，多模态（文本、图、视频等）对齐、融合、理解和生成等方向的进展，意义也非常重大。关于图像生成模型，不得不提的是扩散模型（Diffusion Model）。它主要解决通过文本生成图像及其他媒体格式的难题，业内知名的扩散模型包括：DALIE2、Stable Diffusion等。图片来源：Denoising Diffusion Probabilistic Models 06 生成式AI相关的6点创业思考与建议 2022年，大语言模型爆发。据统计，2022年，平均每4天就有一个新的大语言模型问世。生成式AI技术也在持续引发人们对一些知名的模型层平台和应用的访问，数据增长很快，投资火热。2019 年至2021年期间，流向生成式AI业务的资本增加了约130%，其中文本和写作增长630%、图像增长400%、数据增长 370% 、音频/视频增长350% 。图片来源：A16Z 上图是投资公司A16Z总结的生成式AI的行业堆栈。底层深蓝色的部分是基础硬件和云平台，中间蓝色的部分是模型层，再往上浅蓝色的部分是应用层。在应用层，有的创业公司自身只做应用，模型能力则是调用外部的；还有一类叫端到端的应用模式，它会自己做模型，但一般不做大模型，或者在其他大模型基础上微调出自己的模型。在模型层，有开源模型和闭源模型。深蓝色部分的Model hubs是用于模型存储和训练的第三方平台。当前应用层的增长比较快，主要是由AI赋能的新型应用案例所驱动，主要集中在图像生成、文案写作和代码编写，三个类别各自的年收入已超1亿美元。关于生成式AI的创业，我有6点思考和建议：第一，目前，与AI相关的科研、工程、产品和商业化，都在同时快速迭代，变数很大。这个过程中，会出现不同的技术分支和业务路径，如果选错了技术分支和业务路径，再掉头就很麻烦。这就需要创业团队既懂技术又懂业务，在创业初期努力做出正确选择。第二，对创业公司而言，从应用层或者端到端的应用层切入，可能是相对能降低风险的做法。模型层有少量机会，但不一定适合大部分的创业者。第三，应用层在做商业模型设计的时候，要警惕模型层的边界。以Jasper公司为例。2020年在GPT-3模型基础上，Jasper衍生出付费商业文本写作的商业模式。到了2022年底，ChatGPT向用户免费开放，给Jasper带来较大的压力。尽管OpenAI未必会以商业文本生成作为自己的主要商业模式，但它平等赋能了入场的其他竞争者。Jasper需要展现出有竞争力的技术积累与业务纵深，才能稳住脚跟。第四，把AI技术应用到产业场景，可分为新模式和旧模式改造两类方式。新模式是指创造之前没有的全新的应用场景，旧模式改造则指在现有产业场景里用AI技术来改造部分环节，或者团队带着深度行业认知和新的AI技术在成熟的产业场景中创业。新模式和旧模式改造，都存在巨大的机会。在峰瑞已投企业中，有好几家企业在垂直产业的场景中做业务创新。比如线上心理咨询平台阁楼、短视频及直播SAAS服务企业特看科技、线上健身私教平台BodyPark，都在积极使用生成式AI来赋能自己的业务。本周六（3月11日），我们将邀请这3家公司的创始人来分享他们的探索和发现，欢迎参与。第五，AI还面临科研知识快速溢出的问题，因此找到自己的壁垒很重要。创业公司一定要想清楚自己未来的壁垒在哪里，比如到底是数据壁垒、工程壁垒（例如模型微调）、场景壁垒，还是规模壁垒等等。在应用层创业，仅依靠外部模型层提供的能力，是无法形成壁垒的。第六，应用层的创业，应该是“技术为先、场景为重”。 “技术为先”，是指虽然通用AI技术未必是你的核心壁垒，但团队一定要懂技术，才有能力思考如何更早更好地把技术应用到合适的应用场景里，做出好用的产品。 “场景为重”，意味着最后的产品和业务需要找到合适的落地场景，建立自己的商业模式，并在场景里形成自己的核心竞争力。 07 生成式AI行业的未来格局展望和猜想最后来聊聊对AI行业格局的未来展望和猜想。这个部分我参考了奇绩创坛陆奇博士之前的一个思考框架。 ▍以AI和大模型为中心的新IT 新的硅基硬件产业：硅基产业架构和集合可能迎来新的发展机遇（例如：新的计算芯片及周边技术和产业等）。新的软件和云服务体系：算力、模型和数据的云服务、基础软件、ML&Dev Ops、人机互助编程工具等。 ▍新的基础智能终端设备：智能传感器、新型手机等未来的智能终端会越来越智能，最近苹果公司官宣支持Stable Diffusion图像生成模型在iPad等终端上运行，也有工程师把经过裁剪的Stable Diffusion应用在iPhone上运行起来，可以预见以后我们的手机美颜和照片生成可以达到何等出神入化的境界。此外，当前的翻译软件技术，在语义理解方面还是比较浅，翻译质量差强人意。如果可以把类似ChatGPT这样的语言模型能力嵌入到智能终端中去，随着文本和语音的实时翻译成为可能，跨语言交流将变得很方便，这对于提升人类之间的交流效率意义重大。 ▍围绕内容创作展开的产业文、图、视频、3D等各种媒体格式的AI内容创作工具，是当前可以看到创业机会较多的新产业。以ChatGPT为代表的语言模型的文本生成技术，和以扩散模型为代表的图像视频多模态生成技术，可能会对内容产业产生深远的影响。从PGC到UGC，再到如今的AIGC，内容领域会有更多新变化与新玩法。从媒体行业发展情况来看，当前头部的内容媒体平台比如抖音快手B站是所谓的Web2.0平台，普遍采用UGC方式为主来生产内容，但是随着AI生产内容（AIGC）的出现，AI可以生成大量优秀内容，成本较低、效果精良，而且甚至不乏创意，这个情况下内容媒体平台和行业就有可能出现较大的变化。 ▍围绕语言模型展开的产业在这个领域，新的机会可能包括：语言学习范式改变，重塑跨语言沟通方式，更友好的人机界面等。其中特别值得一提的，是语言学习范式的改变。如前文所述，如果我们可以打开语言模型，从中寻找到语言学习的规律，说不定可以帮助我们更有效率地学习语言。事实上，OpenAI投资了一家韩国的英语学习APP叫Speak。从有限的公开信息来看，这家公司未来的产品是一个语言学习助手，或者叫做虚拟语言老师——借助语言模型的能力和发现的语言规律，去帮助人们更好地学习外语，而且成本极低。跨语言沟通的技术目前还不成熟。如前面所说，如果我们能够把语言模型加载到智能终端，可能会极大改进跨语言沟通的能力。因为语言模型足够强大，未来我们的人机界面，会采用更友好的自然语言人机界面，无论是跟APP对话还是跟智能硬件对话。 ▍围绕思维模型展开的产业不妨畅想一下，更聪明的软件（或机器人）、科研服务、 “知识工程”、“世界大脑”等。当前的软件产业，即便有AI的加持，通用性和智能程度还是不尽如人意的，大多数情况下只能做一些特定的任务，只能成为人类的效率助手；随着更加通用的AI能力出现，软件也可以像人类一样思考和做事，可以想象软件就可以帮助人类承接较为完整的任务了。如果AI可以发展出接近人类的思维能力，它也许可以成为人类科学家的科研助手，因为AI可以不知疲倦，且可广泛使用。当前，我们很难想象AI可以达到人类顶尖科学家的水平。打个比方，你让它去证明下哥德巴赫猜想，应该还是很不现实的。当然也有其他可能，如前文所述，如果AI程序可以实现自我优化，具备迭代自己的算法和技术的能力，相信它的智能会很快赶上来。如果我们展开想象，就可以有更多的可能性。例如“知识工程”，如果把人类的知识建模，然后让人类以某种方式可以调用或者学习，那么就不用经过“痛苦”的学习过程。“世界大脑”，是指规模极大的思维模型，它可以帮助我们执行各种重要的计算和思考。不过，如果真的发展到这个地步，可能离电影《黑客帝国》里边的Matrix就不远了。 ▍赋能人类，深入改变各行各业（特别是知识工作者）语言是人类最主要的沟通方式，是知识和思维的主要载体；而深度思维是人类的高阶能力，也是人类不同于其他物种的最重要的能力。如果AI掌握了这两种能力，就基本具备了在某种程度上赋能或替代一部分人类知识工作者的可能。类似于自动化生产制造设备赋能传统工业，各类AI模型和应用软件也将有机会更好地赋能各行各业。但是不同于制造行业，大批量使用的软件，其边际使用成本是非常低的，而且它很聪明、善学习、会思考、会交流，应该会有大量的应用场景有待开发。这里边有非常多的创业机会，也会给各行各业带来新的发展动力。 08 写在最后，为什么AIGC不会是短期风口？首先，ChatGPT是语言模型领域的重大进展，鉴于语言对人类沟通和思维的重大意义，语言模型本身具备很强的通用性，以及人类可以通过研究语言模型获取语言及知识的学习规律并得到效率提升，这些都会持续带来长期的创新机会。第二，AI在思维机器这个方向上还有更远的路可以走。例如，如果AI能够实现良好的多模态信息输入，增加对物理世界的理解，可能可以“涌现”出更多的智能。这个方向的任何进步都意义重大。第三，与AIGC相关的底层技术原理和算法都还处在发展早期，未来还有很长的迭代和优化机会。一切，才刚刚开始。来源：金色财经

金色财经2023-03-10

AIGC CHAIN“AIGC+WEB3”的模式加速推动创作者经济爆发

黎二大学工业动力学硕士学位和巴黎科学院文学学士学位。此外，Cyrus是OECD人工智能计算和气候专家小组的成员，全球人工智能合作伙伴关系（GPAI）的专家，是气候行动人工智能和农业人工智能委员会的一部分。他是IEEE的“积极地球2030”合作——可持续性公共资源的联席主席。Cyrus是阿联酋总理办公室人工智能部长的首席顾问。而目前AIGC Chain的核心算法来自于Oben 团队，这是一家2014年在洛杉矶创建的、专注研发人工智能的科技公司。Oben已经为全球大量企业级客户和亿级体量用户提供了核心技术支持与服务，并开发了众多由 AI 驱动的产品功能，已获得多项 AI领域的技术专利。资深的AI团队成为了AIGC Chain在AIGC领域“发光发热”的“敲门砖”。将于今年3月开启测试节点申请的AIGC Chain的核心算法团队Oben非常还有着不俗的投资背景，它已获得来自腾讯、软银、K11等众多顶级投资机构数千万美元的投资。提及K11就不得不提其集团创办人及主席郑志刚。2022年8月，郑志刚在推特上发文，大方承认自己就是持有101 枚Azuki NFT 的神秘巨鲸—「LastKnight」。作为NFT巨头，Azuki的持有者已经成为了NFT社区中最活跃的买家之一，Discord讨论群的活跃人数随时都在万人以上。如果K11发动Azuki与AIGC Chain进行联动，将会引发NFT内容呈现形态的变化。并且NFT其实具有很高的可塑性及庞大的用户群体，AIGC可塑性高及低成本也会使得未来NFT通过AIGC再创作成为必然趋势。在Azuki这种巨鳄的带动下，AIGC Chain将会获得更多NFT项目的合作机会，并涌入大量的使用者。来源：金色财经

金色财经2023-03-08

Web3 中的“硬核”女性：她们创建了哪些项目？

Stark 拥有布朗大学国际关系专业的文学学士学位，并在哈佛大学法学院获得了法学博士学位。在进入加密世界之前，她更像一个学者，曾担任耶鲁信息社会计划的研究员，耶鲁大学计算机科学的讲师，纽约大学的兼职副教授，以及斯坦福StartX 的驻场企业家。 2014年，Elizabeth Stark 正式进入加密世界，创办了StartBitcoin.org；2015年成为加密货币政策研究机构 Coin Center 的研究员，倡导实施针对加密货币和其他去中心化技术的良好政府政策；2016 年共同创立了Lightning Labs。 Lightning Labs 开发了为闪电网络提供动力的软件。其开源、安全和可扩展的系统使用户能够比以往更有效地发送和接收资金。此外它还提供一系列可验证的、非托管的基于闪电网络的金融服务。 Elizabeth Stark 在创业后也并没有切断与学术的联系，还在兼任耶鲁大学信息社会项目的访问学者，并在耶鲁大学任教。作为 Thiel Fellowship 的导师，她还致力于为 23 岁以下打算辍学从事其他项目的学生提供支持。何一，币安联合创始人兼 CMO、Binance Labs 负责人推特：@heyibinance 从全球交易所格局来看，币安无疑占据了核心地位。而作为联合创始人兼 CMO 的何一，在币安发展过程中发挥了不可或缺的作用。币安起初并不知名，但何一借助多项市场营销活动成功帮助它获得早期所必须的市场热度和用户量。2017 年底上线五个月之际，币安交易量排到全球 Top3，用户数量超 200 万。此后币安更是一骑绝尘。而在币安奠定坚实的交易所头部地位之后，何一开始负责 Binance Labs，借助币安资源寻找、帮助、孵化更多的早期优质加密项目及创始人。作为业内资管规模最大的风投机构之一，Binance Labs 不仅投中一大批在关键垂直领域中的早期项目，也为 Web3 加速进入主流做出了重要贡献。 Jinglan Wang，Optimism 联合创始人兼 CEO 推特：@jinglejamOP Jinglan Wang 最初对加密世界感兴趣是因为麻省理工学院比特币俱乐部，而为了更好地了解比特币，她果断选择转入计算机专业。从 2015 年开始，Jinglan Wang 醉心于以太坊的可扩展性研究。2019 年她参与创立非盈利研究组织 Plasma Group，这就是 Optimism 的前身。 Optimism 是一个利用 optimistic rollup 技术的以太坊 L2 解决方案，它大大降低了成本和交易时间，同时保留了以太坊的安全优势。2022 年 3 月，Optimism 估值达到 16.5 亿美元成功挤入加密独角兽行列。同年 6 月它正式推出治理代币 OP 并启动大规模空投，整个 crypto 为之沸腾。 Elena Nadolinski，Iron Fish 创始人兼 CEO 推特：@leanthebean Elena Nadolinski 毕业于美国弗吉尼亚理工大学，十几岁时就被美国白宫认定为计算机科学界的新星，曾在微软实习，并被热门的初创公司 Tilt 聘为工程师，然后在 Airbnb 从事软件开发工作。在 2017 年的 Ethereum-Google 之后，Nadolinski 开始对加密世界产生强烈的兴趣，大量阅读白皮书并与创始人、协议开发人员和工程师交流。她开始参加黑客马拉松和聚会，提出问题、提供解决方案、结交朋友。之后，Nadolinski 选择全职创业，并创立了Iron Fish。 Iron Fish 是第 1 层区块链，旨在成为所有 Web3 的通用隐私层。Iron Fish 使用零知识证明 (zk-SNARK) 和行业最高的加密标准，使用户能够进行完全私密的交易，成为所有区块链的真正 SSL 层。 Gloria Zhao，比特币核心维护者推特：@glozow （Gloria Zhao 虽然不算严格意义上的创业者，但作为比特币项目的代表之一，其经历同样“硬核”） Gloria Zhao 出生于美国加利福尼亚州，2020 年毕业于加州大学伯克利分校计算机科学专业。她还是英国支持比特币发展的非政府组织 Brink 的研究员。2020 年，Gloria Zhao 被 Brink 授予首个奖学金。自那之后，她一直积极致力于 Bitcoin Core，主要负责内存池和验证代码方面。去年 7 月， Gloria Zhao 成为第六位拥有 Bitcoin Core 提交权限的开发人员。而自 2009 年比特币问世以来，仅有 17 人获得过代码修改权限，Gloria Zhao 也是第一位拥有这一权限的女性。另据《华尔街日报》近期的一篇报道，Gloria Zhao 是最有希望成为比特币首席维护员的继任者。 Natalia Ameline、Elena Sinelnikova，Metis、CryptoChicks 联合创始人推特：@Natalia_Ameline @ElenaCryptoChic 左边为Elena Sinelnikova，右边为Natalia Ameline Natalia Ameline、Elena Sinelnikova 是以太坊扩容方案 Layer-2 Optimistic rollup 网络 Metis的两位联合创始人，同时也都是非营利性国际女性区块链教育中心 CryptoChicks 创始人。 Elena Sinelnikova 拥有计算机科学硕士学位，专长是区块链、网络安全和全栈编程。同时是软件开发团队负责人，区块链教育家，MaxGapPlus、Jupiter Vision 等项目的区块链顾问。 Natalia Ameline 是一位有着多行业经验的高级财务主管，拥有计算机科学和工商管理硕士学位以及 CPA/CMA 会计资格，擅长战略财务规划、决策支持、运营管理和变革管理。Natalia Ameline 早年在联合利华担任财务分析师，后加入全球知名航运公司 Pitney Bowes 并任职 18 年，从财务经理一直升任到财务高级主管、全球商业分析高级总监。除了 Metis、 CryptoChicks 联合创始人的身份外，Natalia Ameline 有一个备受关注的身份——以太坊创始人 Vitalik 的母亲。 Kathleen Breitman，Tezos 联合创始人推特：@_kathleenBreit Kathleen Breitman 毕业于康奈尔大学，2014 年与丈夫 Arthur Breitman一起发布了 Tezos 白皮书，并于 2016 年 10 月正式启动 Tezos 。此前，Kathleen Breitman 在由近百家金融公司组成的区块链联盟 R3 担任高级战略助理，还曾在埃森哲、Bridgewater 协会、《华尔街日报》任职。 Sandy Peng，Scroll 联合创始人推特：@SandyPeng1 Sandy Peng 毕业于剑桥大学，硕士毕业于伦敦政治经济学院，曾在香港证监会从事研究方面的工作，17 年开始开始从事 Web3 项目投资方面的工作，之前也做过游戏、产品类的项目。目前在 Scroll 团队负责非技术领域的工作。 2021年初，Sand 与 Ye Zhang、Haichen Shen 共同创立了以太坊扩容项目 Scroll。近期，Scroll 以 18 亿美元估值完成 5000 万美元融资，Polychain Capital、Bain Capital Crypto 等参投。 Kathryn Haun，Haun Ventures 的创始人兼 CEO 推特：@katie_haun Kathryn Haun 毕业于斯坦福大学，曾在美国司法部工作十年之久。2014年创建了美国政府首批加密货币工作组之一。2017年，Kathryn 离开政府加入 Coinbase 董事会，她在那里还遇见了 Chris Dixon，之后便离开 Coinbase 加入 a16z，成为加密部门的普通合伙人，共同推出并扩大了世界上最早和最大的专用加密风险基金。在和众多有着企业家精神的优秀的创业者和建设者共事之后，Kathryn Haun 在 2022 年创办了自己的加密投资公司 Haun Ventures，旨在帮助创始人构建下一代互联网。目前已经筹集了 15 亿美元的资金来支持 web3.0 的发展。据 RootData 数据，Haun Ventures 自创立以来已出手投资 12 笔，投资组合包括 OpenSea、Aptos 等明星项目。 Morgan Beller，NFX 合伙人、Diem 联合创始人推特：@beller Morgan Beller 毕业于康奈尔大学，获得统计和信息科学学士学位。Morgan 是 Libra 的联合创始人，也是 Facebook 用于 Libra 支付系统的数字钱包 Novi 的战略主管。她最初于 2017 年加入 Facebook，并负责 Facebook 在区块链、加密货币和去中心化技术上的战略。此前，她在 Medium 负责企业发展，领导了对 Embedly 的收购，并在制定 Medium 的订阅战略方面发挥了关键作用。Beller 还曾做过 a16z 合伙人，在 eBay 担任买家体验的产品经理等。 Morgan 于 2020 年加入专注于初创公司的风投机构 NFX，担任合伙人和加密投资基金主管。据 RootData 数据，NFX 投资组合数量为 24 个，投资过的项目中不乏 Celestia、Sui 等明星项目。 Cheryl Liu，Deeper Network 联合创始人 Cheryl Liu 是一名优秀的连续创业者，毕业于美国怀俄明大学，她还拥有数学结构学博士学位。在进入区块链领域之前，她曾在教育领域工作，并创立了线下学校，有着丰富的创业经验。直至后来接触了区块链，于2017年创立了链全科技咨询有限公司，才开始在区块链领域大展手脚。 Cheryl Liu 同时也是 Deeper Network 的市场合伙人和联合创始人。Deeper 作为 Web3 基础设施，为用户提供企业级防火墙、隐私保护和去广告等功能。 Marina Guryeva，Neon Labs 创始人兼 CEO 推特：@mariaveirug Marina Guryeva 自 2015 年以来积极参与区块链领域，曾为投资区块链的初创公司 CyberFund 的董事；后于 2019 年加入基于区块链的社交网络 Commun，担任总监领导由自治社区运营的基于区块链的社交网络。 2021 年，Marina 创立了 Neon Labs，致力于将 Solana 的可扩展性和低交易成本带入以太坊生态系统。在进入区块链行业前，Marina Guryeva 拥有丰富的市场公关和战略规划经验。 Leah Wald ，Valkyrie 联合创始人& CEO 推特：@LeahWald Leah Wald 是一位经济学家，擅长资产管理。她毕业于以色利海法大学，还曾在北京大学留学学习国际经济与汉语，后陆续攻读了美国乔治敦大学、Pitzer 学院的国际政治与经济硕士和 IE 商学院管理学硕士。从 IE 商学院毕业后，Leah Wald 先后从事了非政府组织、世界银行和资产管理工作。2020 年8月，Leah Wald 创办了专注数字资产经济的资产管理公司 Valkyrie，并于 2021 年 10 月成为在加拿大证券交易所上市的加密投资公司 Cypherpunk Holdings 的董事会成员。此外，Leah Wald 还是《福布斯》的特约撰稿人，曾与人合著过《超波理论：金融市场的流氓浪潮》。 Linda Xie，Scalar Capital 的联合创始人兼管理合伙人推特：@ljxie Linda Xie 是 Scalar Capital 的联合创始人兼管理合伙人。此前，她是 Coinbase 的早期员工和产品经理，负责构建内部工具，包括合规、欺诈和财务系统。在加入 Coinbase 之前，她是 AIG 的投资组合风险分析师，她也是 0x 的顾问。Linda 拥有加州大学圣地亚哥分校的经济学学士学位。 Linda Xie 与 Jordan Clifford 在 2017 年创办了专注于加密资产的对冲基金公司 Scalar Capital。据 RootData 消息，Scalar Capital 投资了 YGG、Aztec、dYdX、Aleo 等一系列明星项目。 Galia Benartzi ，Bancor 联合创始人推特：@galiabenartzi Galia Benartzi 是一位连续技术创业者。她拥有达特茅斯学院的比较文学学士学位、SAIS 约翰霍普金斯大学的国际经济学硕士学位。 2005 年从大学毕业后，Galia Benartzi 便参与创办智能手机社交游戏公司 Mytopia；2010 年，又创办 Particle Code 用于移动应用的跨平台开发技术，后被 Appcelerator 收购；2013 年，她从硅谷搬到特拉维夫，作为 Founders Fund 的风险合作伙伴，支持和投资以色列当地技术发展。2017 年 3 月参与创办去中心化的链上自动做市商 (AMM) 网络 Bancor 协议。Galia Benartzi 也是 Powder Mountain 创始成员，对分布式技术、女性赋权、自然健康与植物充满热情。 Rebecca Liao，Saga 联合创始人兼 CEO 推特：@beccaliao Rebecca Liao 曾于斯坦福大学学习经济学，并就读于哈佛法学院，是一个从业多年的律师。曾担任 B2B 行业独角兽 Globality 业务发展总监和亚洲区负责人，曾在美国克林顿外交政策团队任职并专注于技术政策方面。她还曾联合创立 Skuchain（年交易量超过 50 亿美元，被世界贸易组织评为贸易和供应链金融领域三大区块链公司之一）并担任顾问和前 COO。 Rebecca 目前还是 Sommelier Protocol的顾问，她正在为该项目设计 DAO。她还是斯坦福大学法律、科学和技术项目的研究员，制作并主持 global-public-policy 播客。 Rebecca 于 2022 年初创立 Saga，该协议重新构想了开发人员和最终用户与区块链的交互，着眼于可扩展性、主权和易于设置的特性，帮助将启动专用区块链变得像部署智能合约一样简单。 Grace Wang、Helena Gagern，Salsa 联合创始人从左到右分别为Helena Gagern、Grace Wang Salsa 是一个 Web3 消息传递平台，可使用链上数据个性化电子邮件和应用内消息。用户可以个性化他们的公告体验，社区管理员可以使用钱包到钱包消息传递协议发送安全消息。公司背后的两位联合创始人 Grace Wang、Helena Gagern 均为女性。Grace Wang 曾就读于宾夕法尼亚大学，后在 Palantir、Primer AI 从事软件开发和管理工作；Helena Gagern 毕业于伦敦大学学院，连续创业者，也有丰富的软件开发和产品设计等经验。 Imge Su Cetin，Defy 创始人& CEO Imge Su Cetin 是数据科学家，致力于使用在线搜索数据和社交媒体数据为位于柏林的 IOM 全球移民数据分析中心预测全球移民模式。她曾就读于加州大学圣地亚哥分校研究生院，专攻应用数据科学和统计分析，精通统计和分析工具和软件。 Imge Su Cetin 曾于 2019 年加入 Deep Decarbonization Initiative (D2I) （深度脱碳计划）担任研究员，该计划由加州大学圣地亚哥分校的雅各布斯工程学院和全球政策与战略学院合作创立；2020 年加入国际移民组织 IOM - UN Migration 担任数据科学家；2021年4月正式创办投资趋势数据平台 Defy 。 Séraphie de Tracy，Cohort 联合创始人 & CEO Séraphie de Tracy 拥有巴黎 HEC 商学院管理学硕士学位和 CEMS 双学位。她在企业 SaaS 服务方面拥有丰富的经验，曾担任金融科技公司 Stratumn 的首席运营官、增长运营副总裁和销售总监等职务，还曾在全球最大保险公司之一的 AXA Global P&C 担任高级战略经理，全球顶级战略管理咨询的罗兰贝格担任顾问。 2022 年 5月 Séraphie de Tracy 创办基于 NFT 的数字参与平台 Cohort 并担任首席执行官。Cohort是一个总部位于法国的Web3 SaaS解决方案，使用NFT（非可替代令牌）来帮助品牌创造创新体验和产品，而无需任何技术或大量时间承诺。通过Salesforce和Shopify等集成，Cohort通过“无代码、无加密、无钱包”解决方案消除采用障碍，使所有品牌和客户都可以访问web3。来源：金色财经

金色财经2023-03-08

Stability AI联合创始人Cyrus Hodes宣布发起AIGC Chain 并于本月开启测试节点

黎二大学工业动力学硕士学位和巴黎科学院文学学士学位。从定位上来看，AIGC Chain基于一个简单的使命而成立：让全球各地的人们（无论种族、性别、教育水平、国籍、地点、文化和宗教信仰）都能公平地访问和简易地参与到AIGC生态系统。AIGC Chain是一个可分布式、模块化的AIGC模型基础设施，任何人都可以用它来训练自己的小AIGC模型，并按照自己的意愿将它们添加到AIGC Chain基础设施中。AIGC Chain是一个公共、去中心化的第二层解决方案。它是用Go语言构建的，最初与以太坊和iPollo合作。还有额外的计划将其扩展到其他网络，如BSC、Cosmos和像PAI这类的分布式算力网络。其目标是创建一个开放的、分布式AI网络，并支持存储公链，如Filecoin。AIGC Chain由AIGC生态系统集体训练和维护。AIGC Chain将支持一个P2P的市场，允许用户向AIGC社区销售分布式GPU服务、数据存储或者其他运营AI所需要的资源，无需中央平台或中介。这意味着参与者可以使用自己的web3身份，如区块链钱包地址或去中心化身份，访问市场，并向AIGC生态系统提供各种服务。市场允许参与者从各种卖家处访问和购买各种人工智能相关服务和资源，如分布式 GPU 服务、数据存储和数据标注。这有助于提高人工智能的公平性、效率和性能，并支持 AIGC 生态系统的发展。目前AIGC赛道存在着不少有待解决和优化的问题，比方说不公平、AI的艺术风格不一致性、贫困、信息熵高、信息无序等问题，而AIGC Chain将有望通过web3的方式来解决和优化这些问题。就不公平问题而言，人工智能生成的内容通过提供用户和组织新的技能和见解来解决问题，帮助他们取得成功。目前新冠疫情已经造成了巨大的经济破坏，使数百万人陷入贫困。少数族裔、边缘化和被忽视群体缺乏融入AI生态系统的条件，将进一步加剧贫富差距。使用AI生成模型和点对点市场可以帮助提升边缘化群体的独特文化、故事和技能，这些对整个人类都是有价值的。分散式AIGC基础设施将通过允许更大的参与来提高边缘化群体的参与度，从而减少疫情的负面影响，缓解贫富差距。 AIGC使用的扩散模型天生会生成随机和多样的结果。扩散模型使用随机过程，这意味着它依赖随机性和概率来生成输出，即使使用相同的提示输入，模型的输出也可能因一次运行到下一次而有所不同。此外，扩散模型可能在多样和多变的数据集上进行训练。这进一步导致了生成图像的随机性和不一致性。然而，在实际应用中，如内容生产中，通常需要一致性。AIGC Chain的技术贡献者开发了一种精确控制方法，协调视觉生成技术，解决了扩散生成图像的不一致问题。就信息无序而言，热力学第二定律指明宇宙的熵总是增加。所以如果要减缓宇宙热死亡的进程，就需要负熵。在物理学中，负熵是指系统比平衡状态更有序，而不是更无序。在经济系统里，这是说信息要有序，而不是无序，有序才能让经济和社会的发展更可持续。Web2平台用免费来换取用户的广告时间，广告对用户的信息获取来说往往是无效的，增加了熵，对整体的经济系统是熵增的。而Web3的去中心化的架构可以让用户自己决定希望获取什么样的广告，信息的熵比Web2的信息熵低，让整体经济系统更有序，更加可持续。区块链技术通过提供安全、透明、防篡改的信息存储和传输方式，提高了网络上信息的可靠性和信任度，从而减少熵。NFT 通过区块链网络验证，为艺术品的所有权提供了安全的认证方式，通过创建明确的所有权记录减少熵。总的来说，与中心化服务平台相比，AIGC Chain的分布式 AIGC 服务平台有潜力为用户提供更多的公平性、灵活性、创新性和更多的选择。在生态层面，AIGC Chain主网全面支持图灵完备的智能合约。智能合约（Smart Contracts）是内存块链中制定合约所使用的特殊协议，这是一种自动执行的合约，将双方的协议条款写入代码中，一旦启动就会自动运行，不需要任何人为的干预，自主控制其计算所涉及的资源，比如有权限调配合约双方的资金和财产。通过分布式的节点来自动运行，而不用透过中心化的单个服务器。智能合约为构建在 AIGC 网络上的 DApps 开辟了一套全新的用户体验和新的归因模型。例如，利用 AIGC 网络上的智能合约可以实现完全数字化的物品所有权、创新的支付消费模型、透明的版税分配、无需信任的众筹机制等等。这提供了额外的社会和经济交互层，补充了视频和数据传输的核心功能，并显着提高了平台用户的参与度和保留率。在EVM兼容方面，AIGC 虚拟机与以太坊虚拟机兼容。因此，移植现有的基于以太坊的合约很简单，成千上万的智能合约开发人员可以轻松地在 AIGC 上进行构建。AIGC 的 Ethereum RPC 适配器提供了对以太坊 RPC API 的支持，类似于 Binance Smart Chain 和 Polygon。Ethereum RPC 适配器软件将 AIGC RPC 端点转换为 Ethereum RPC API。有了它，AIGC 现在支持整个 Ethereum DApp 开发堆栈，包括 Metamask、Hardhat、Remix、Ethers.js、Web3.js 和 Truffle Suite。移植到 AIGC 的以太坊 DApp 可以使用相同的 API 调用与 AIGC 区块链交互。这意味着以太坊 DApps 几乎可以无缝部署和迁移到 AIGC Chain。这大大降低了开发者利用已有基础设施在AIGC CHAIN部署并基于AIGC CHAIN进行原生开发的难度。据AIGC Chain官方推特，AIGC Chain或将于2023年3月21日开启测试节点申请，申请者可通过训练AI模型获取丰厚奖励并折射至主网。AIGC Chain测试网将分为多个阶段进行，主网上线时间预计为2023年Q3~Q4。来源：金色财经

金色财经2023-03-07

Stable Diffusion联合创始人Cyrus Hodes加入AIGC Chain 即将到来的Web3+AI革命

黎二大学工业动力学硕士学位和巴黎科学院文学学士学位。从定位上来看，AIGC Chain基于一个简单的使命而成立：让全球各地的人们（无论种族、性别、教育水平、国籍、地点、文化和宗教信仰）都能公平地访问和简易地参与到AIGC生态系统。AIGC Chain是一个可分布式、模块化的AIGC模型基础设施，任何人都可以用它来训练自己的小AIGC模型，并按照自己的意愿将它们添加到AIGC Chain基础设施中。AIGC Chain是一个公共、去中心化的第二层解决方案。它是用Go语言构建的，最初与以太坊和iPollo合作。还有额外的计划将其扩展到其他网络，如BSC、Cosmos和像PAI这类的分布式算力网络。其目标是创建一个开放的、分布式AI网络，并支持存储公链，如Filecoin。AIGC Chain由AIGC生态系统集体训练和维护。AIGC Chain将支持一个P2P的市场，允许用户向AIGC社区销售分布式GPU服务、数据存储或者其他运营AI所需要的资源，无需中央平台或中介。这意味着参与者可以使用自己的web3身份，如区块链钱包地址或去中心化身份，访问市场，并向AIGC生态系统提供各种服务。市场允许参与者从各种卖家处访问和购买各种人工智能相关服务和资源，如分布式 GPU 服务、数据存储和数据标注。这有助于提高人工智能的公平性、效率和性能，并支持 AIGC 生态系统的发展。目前AIGC赛道存在着不少有待解决和优化的问题，比方说不公平、AI的艺术风格不一致性、贫困、信息熵高、信息无序等问题，而AIGC Chain将有望通过web3的方式来解决和优化这些问题。就不公平问题而言，人工智能生成的内容通过提供用户和组织新的技能和见解来解决问题，帮助他们取得成功。目前新冠疫情已经造成了巨大的经济破坏，使数百万人陷入贫困。少数族裔、边缘化和被忽视群体缺乏融入AI生态系统的条件，将进一步加剧贫富差距。使用AI生成模型和点对点市场可以帮助提升边缘化群体的独特文化、故事和技能，这些对整个人类都是有价值的。分散式AIGC基础设施将通过允许更大的参与来提高边缘化群体的参与度，从而减少疫情的负面影响，缓解贫富差距。 AIGC使用的扩散模型天生会生成随机和多样的结果。扩散模型使用随机过程，这意味着它依赖随机性和概率来生成输出，即使使用相同的提示输入，模型的输出也可能因一次运行到下一次而有所不同。此外，扩散模型可能在多样和多变的数据集上进行训练。这进一步导致了生成图像的随机性和不一致性。然而，在实际应用中，如内容生产中，通常需要一致性。AIGC Chain的技术贡献者开发了一种精确控制方法，协调视觉生成技术，解决了扩散生成图像的不一致问题。就信息无序而言，热力学第二定律指明宇宙的熵总是增加。所以如果要减缓宇宙热死亡的进程，就需要负熵。在物理学中，负熵是指系统比平衡状态更有序，而不是更无序。在经济系统里，这是说信息要有序，而不是无序，有序才能让经济和社会的发展更可持续。Web2平台用免费来换取用户的广告时间，广告对用户的信息获取来说往往是无效的，增加了熵，对整体的经济系统是熵增的。而Web3的去中心化的架构可以让用户自己决定希望获取什么样的广告，信息的熵比Web2的信息熵低，让整体经济系统更有序，更加可持续。区块链技术通过提供安全、透明、防篡改的信息存储和传输方式，提高了网络上信息的可靠性和信任度，从而减少熵。NFT 通过区块链网络验证，为艺术品的所有权提供了安全的认证方式，通过创建明确的所有权记录减少熵。总的来说，与中心化服务平台相比，AIGC Chain的分布式 AIGC 服务平台有潜力为用户提供更多的公平性、灵活性、创新性和更多的选择。在生态层面，AIGC Chain主网全面支持图灵完备的智能合约。智能合约（Smart Contracts）是内存块链中制定合约所使用的特殊协议，这是一种自动执行的合约，将双方的协议条款写入代码中，一旦启动就会自动运行，不需要任何人为的干预，自主控制其计算所涉及的资源，比如有权限调配合约双方的资金和财产。通过分布式的节点来自动运行，而不用透过中心化的单个服务器。智能合约为构建在 AIGC 网络上的 DApps 开辟了一套全新的用户体验和新的归因模型。例如，利用 AIGC 网络上的智能合约可以实现完全数字化的物品所有权、创新的支付消费模型、透明的版税分配、无需信任的众筹机制等等。这提供了额外的社会和经济交互层，补充了视频和数据传输的核心功能，并显着提高了平台用户的参与度和保留率。在EVM兼容方面，AIGC 虚拟机与以太坊虚拟机兼容。因此，移植现有的基于以太坊的合约很简单，成千上万的智能合约开发人员可以轻松地在 AIGC 上进行构建。AIGC 的 Ethereum RPC 适配器提供了对以太坊 RPC API 的支持，类似于 Binance Smart Chain 和 Polygon。Ethereum RPC 适配器软件将 AIGC RPC 端点转换为 Ethereum RPC API。有了它，AIGC 现在支持整个 Ethereum DApp 开发堆栈，包括 Metamask、Hardhat、Remix、Ethers.js、Web3.js 和 Truffle Suite。移植到 AIGC 的以太坊 DApp 可以使用相同的 API 调用与 AIGC 区块链交互。这意味着以太坊 DApps 几乎可以无缝部署和迁移到 AIGC Chain。这大大降低了开发者利用已有基础设施在AIGC CHAIN部署并基于AIGC CHAIN进行原生开发的难度。据悉，AIGC Chain或将于2023年3月开启测试节点申请，AIGC Chain测试网将分为多个阶段进行，主网上线时间预计为2023年Q3~Q4。来源：金色财经

金色财经2023-03-06

“蒲公英”NFT：加密世界中的平权主义精神与多元包容的美好愿景

思考，涉及生物学、伦理学、形而上学以及文学批评等诸多领域。他的笔下，记录了人类智慧的深度和广度，让我们看到一个个闪耀的思想星辰。亚里士多德一直认为，人生的最终目的就是追求幸福。然而幸福不是简单的享乐，而是一种高贵的品质，是至善的表现。亚里士多德认为，每个人都应该通过道德行为、追求美德和完美的生活，达到最高境界的幸福。人应该通过不断地追求道德上的完美来获得幸福。这个完美不仅仅是个人行为的规范，也是一种社会和文化的规范。通过追求道德和美德，人们可以创造出更加和谐、美好的社会。在Web3的时代，我们同样需要保持对和谐美好的追求，将完美道德作为自己的行为规范。Garden致力于将亚里士多德的道德追求融入到NFT藏品人物的发色之中。发色不仅是现代社会中人类展现个性的符号，更是一种表达价值观和自我实现的方式。Garden将亚里士多德的彩色与元素色融合在一起，以此展现各种元素的融合共存，呈现出更加独特的美学价值。衣服：柔软与舒适穿衣自由，而非压力和束缚古希腊时期是着装性感最完美的表达阶段，他们的着装风格特点是相对宽松、自然的悬垂款式，强调自然、洒脱、浪漫与和谐的身体审美观。常穿的chiton和himation的特点都是相对宽松、自然的悬垂款式，最常见的方式是将两块长方形的布料沿着任何一条边缝在一起，从上到下，形成一个圆柱体，其上边缘和下摆没有缝合。然后在两个或多个点上将顶边缝合、钉住或扣住，形成肩缝，并为头部和手臂预留开口。这种审美观念使得古希腊人的服装既避免了过度的束缚，又不会暴露身体。在赛博时代，虽然人机混合体充满了机械感和熟悉感，但其中也存在着父权制的审美偏见。为了追求自然的审美，我们应该摒弃这种偏见，采用舒适洒脱的审美观念来表达个性和美学。在Garden的藏品中，采用了古希腊的chiton和himation服饰装饰，强调舒适、洒脱的审美观念。来源：金色财经

金色财经2023-03-04

元宇宙未来趋势

Fi等众多应用的落地场景。在现实世界中文学作品、音乐作品和影视作品是有明确的版权所属的，很清晰，但是，在元宇宙中头像、数字绘画，甚至你在游戏中自己搭建的房屋，这些东西又怎么去确定产权的所属呢？MarsNFT就是干这个用的，它是为元宇宙中的数字资产提供了确权和产权交易。打通元宇宙与现实中的资产，为数字资产赋能。不仅限于此，未来我们将扩展各领域的合作，开拓3D个人空间，为客户带来具有身临其境真实感的元宇宙空间。来源：金色财经

金色财经2023-03-03

痛惜！著名经济学家厉以宁逝世，是中国股份制开创者，被社会誉为“厉股份”

好的文化素质基础。　　厉以宁一直偏爱文学，曾熟读中国古典文学《红楼梦》《三国演义》《水浒传》《西游记》《聊斋志异》和诗词；喜爱阅读外国著名作家巴尔扎克、莫泊桑、托尔斯泰、屠格涅夫等人的作品，以及中国现代文人鲁迅、巴金、茅盾、沈从文等人的作品。　　1949年4月，南京市得以解放。这一个历史事件改变了所有南京市民的命运，包括金陵中学的才子厉以宁。本来在金陵大学附中，厉以宁以出色的数理化天赋，勤奋刻苦的努力，名列前茅的成绩被保送到金陵大学深造。　　两年后他再次参加高考，将目光投向了新中国的首都北京。他委托在北京的同学赵辉杰代为报名。赵辉杰认为厉以宁选学经济系最为适合，优势较大，就替老同学做主，第一志愿填报的是北京大学经济系。同年7月，厉以宁在长沙应试，8月接到了北京大学的录取通知书，他以优异成绩考上了多少学子梦寐以求的北大，拉开了他终生致力的经济理论学术生涯的序幕。“至今我愈来愈觉得赵辉杰代我填报的第一志愿是最佳选择。” 厉以宁回忆道。　　大学生活期间，在老师们的影响下，厉以宁的研究目标和领域就明确了下来：探索现代经济的规律，服务祖国和人民。　　“如果说我今天多多少少在经济学方面有所收获的话，那么这一切都离不开在北京大学学习期间老师们的教诲，他们是我在经济学领域内从事探索的最初引路人。”厉以宁说。　　厉以宁教授将经济学的本质界定为社会启蒙和社会设计的科学，强调价值判断和规范研究在经济学中的作用，但是这并不表明他不重视实证研究在经济学中的地位，相反，他认为实证研究所获致的成果将会丰富规范研究的内容，使得经济学中有关社会评价、政策探讨的判断建立在更有实证根据、更有说服力的基础之上。　　厉以宁教授认为，经济学研究要在新的时代面前回应挑战，就必须在三个层次上进行全新的探讨：第一个层次是对现行经济体制以及该种经济体制条件下的经济运行的研究，第二个层次是对经济和社会发展目标的研究，第三个层次是对人的研究，也就是对人在社会中的地位和作用的研究。　　中国股份制开创者，主持起草了《证券法》　　厉以宁关于股份制改革、非均衡理论、民营经济发展的理论创见为中国经济改革发展指引前路。　　人民网报道，厉以宁在对中国以及其他许多国家经济运行的实践比较研究的基础上，发展了非均衡经济理论，并运用这一理论解释了中国的经济运行。他提出了企业改革主线论的主张，认为价格改革主线论的缺陷是没有认清当时中国经济的非均衡主要是第二类非均衡，即企业没有充分活力情况下的非均衡。他在改革之初就提出用股份制改造中国经济的构想，认为股份制的性质取决于投资者的性质，因而股份制与公有制可以相容。他的这一系列理论与政策主张在中国经济改革与实践中被证明是行之有效的，对中国经济改革与经济发展产生了积极而又重要的影响，被社会誉为“厉股份”。　　他担任人大法律委员会副主任期间亲历了中国立法的巨大进步，主持起草了《证券法》和《证券投资基金法》，审议和参与制定了《民办教育促进法》《农村土地承包法》等多部法律。　　提出“第三次分配” 　　2021年8月17日召开的中央财经委员会会议提到“三次分配”，引发了社会的广泛关注。这一理论，在国内最早是由厉以宁教授提出。　　1992年，他在《论共同富裕的经济发展道路》一文中，首次提出“影响收入分配的三种力量”，在1994年出版的《股份制与市场经济》一书中又做了进一步阐释。他表示，收入不应只有市场、生产要素进行首次分配，而是要政府加强调节、引导慈善事业的“三次分配”，通过“三次分配”可解决收入分配难题。　　厉以宁教授迄今已出版50多本经济学专著，对于“第三次分配”的研究也一以贯之。在《超越市场与超越政府——论道德力量在经济中的作用》、《经济学的伦理问题》、《文化经济学》等书中，厉以宁教授又从经济、伦理、文化等不同角度对“收入分配问题”进行了更深层次的探讨与思考。　　厉以宁教授的主要著作包括：《体制·目标·人：经济学面临的挑战》、《中国经济改革的思路》，《非均衡的中国经济》，《中国经济改革与股份制》，《股份制与现代市场经济》，《经济学的伦理问题》、《转型发展理论》，《超越市场与超越政府—论道德力量在经济中的作用》，《资本主义的起源—比较经济史研究》、《罗马—拜占庭经济史》、《论民营经济》、《工业化和制度调整—西欧经济史研究》等。

金融界2023-02-27

A股第一大庄家吕梁去世！在警方监视居住下离奇出逃，人间蒸发20多年！“德隆系”仍活跃在A股，证监会：严打

报道，见证了A股初期发展的种种，也曾在文学杂志《收获》上发表过中篇小说，甚至文坛巨匠巴金签发过他的小说；2008年其写下了人生最后一部书《中国梦》。与文学成交相比，其倒爷的本事一般，曾被坑的流落街头。但吕梁最为惹人争议的还是他中国第一大庄家的经历。　　90年代A股市场还处于蛮荒时代，各种监管机制尚不健全，“无庄不欢，无股不庄”，是这个资本时代最逼真的写照。　　在这期间，中国最具传奇色彩的操盘手们几乎同一时期站到了历史前台：中科创业系吕梁、朱焕良、丁福根，亿安科技系罗成、郑伟、李彪、汤凡与罗中民，德隆系唐万新，银广厦系等都登上了A股的大舞台，将坐庄的技术和人性的发挥到了极致。同时也给A股留下了一桩桩大案。　　吕梁曾坐庄中科创业人间蒸发20年　　吕梁曾经操控的中科创业（现名京基智农）在90年代堪称A股市场的“明星股”，在吕梁坐庄期间，中科创业股价翻倍暴涨，并在2000年2月创出了31.14元/股高点（前复权），直至2015年底才被打破。此间，吕梁还和其麾下复制中科创业的坐庄手法，收购多家上市公司股份，构建了一个庞大的“中科系”。　　在吕梁坐庄中科创业期间，北京中科及其相关公司多次出手收购上市公司股份，先后收购中西药业、鲁银投资、胜利股份、岁宝热电等公司股份，构筑了一个庞大的“中科系”。　　随后因为手下暴雷和合作伙伴朱焕良出逃，中科创业最终尘归尘、土归土。在2000年末至2001年初，中科创业股价连续经历了9个跌停，随后又经历了连续数年的阴跌，股价最大跌幅接近97％。　　在2001年元旦前后，坐庄失败的吕梁选择将中科创业的内幕透露给媒体。随后，吕梁公安机关监视居住。但是2001年2月末，已被公安机关监视居住的吕梁离奇出逃，从此便人间蒸发。　　直至20多年后，吕梁因去世的消息再度出现在公众视野，令人唏嘘感叹。　　博主“缠中说禅”疑为李彪曾神奇预测A股将见大顶　　除了吕梁之外，被外界猜测为博主“缠中说禅”的李彪和德隆系的唐万新在21世纪初也曾在A股留下浓墨重彩的一笔。　　在这批操盘手中，李彪最具交易天赋，创建了一套完整的交易系统理论——“缠论”，至今这套交易理论仍在众多散户中流传使用。李彪在操盘亿安科技的过程中，所使用的跌停板洗盘法在实战中让人印象深刻，至今在A股游资中仍广为流传。　　李彪曾神奇预言在2007年下半年，美国次贷危机将引发全球金融危机，级别堪比1929年世界金融危机；2005年李彪神奇预测股市见底，马上会有波澜壮阔的大牛市；2007年神奇预测A股将见大顶，甚至给出了具体点位6124.04点；让人拍手称奇。　　此外，外界有一种猜测缠中说禅博主李彪极有可能是《天道》中丁元英的原型。　　2008年10月31日，李彪因患鼻咽癌去世。　　“德隆系”仍活跃在A股唐万新遭法院追查财产　　而唐万新执掌的德隆系，走的是实业投资和产业整合的路子，至今仍然能在A股找到德隆系的蛛丝马迹。　　1992年，唐万新、唐万里兄弟注册成立新疆德隆实业公司，注册资本800万元。当年下半年，唐万新雇了5000人认购新股抽签表，通过倒卖法人股完成原始积累。　　两年后，唐万新注册成立新疆德隆农牧业有限责任公司，注册资本1亿元，在新疆搞农牧业开发，先后投入2亿多元在新疆各地建立起4个大型现代化农场，首期开发土地10万亩之多。　　此后，“德隆系”将公司战略定位由“实业投资”转向“产业整合”。新疆屯河、合金投资、湘火炬成为当时“德隆系”旗下的三驾马车。　　2003年“德隆系”达到巅峰，控制1200亿元资产。当年，唐氏兄弟位列富豪榜第25位，“德隆系”的雪球也达到顶点，成为当时中国拥有上市公司最多、市值最大的民营资本集团。　　2004年3月，“德隆系”出现资金链危机的消息在市场逐渐传开。当年4月14日，德隆“老三股”开始全线跌停，德隆危机爆发。　　2006年，唐万新因非法吸收公众存款和操纵证券交易价格罪，被判处有期徒刑8年，并处罚金人民币40万元。“德隆系”三家核心企业合计被罚103亿元。　　此后，随着唐万新出狱，“新德隆系”又开始在市场上作妖。*ST斯太的终止上市揭露了“新德隆系”的溃败。　　2021年3月，中国证监会作出《行政处罚决定书》，认定*ST斯太存在两项违法事实，最终，证监会给予对斯太尔动力股份有限公司责令改正，给予警告，并处以60万罚款。给予唐万新、张业光、唐万川给予警告，并分别处以60万元罚款。　　2022年11月1日，山东省高级人民法院官方微博发布一则悬赏标的额为2亿元的执行公告，赏金最高可达2000万，该案被执行人为曾经的“德隆系”掌门人唐万新。　　　　坐庄从未告别A股舞台“叶飞案”轰动A股　　虽然A股蛮荒时代的坐庄炒家日益远去，但是坐庄从未告别A股舞台，坐庄也有了新名词“市值管理”。　　2021年5月，轰动A股的“叶飞案”成为一时焦点。　　爆料人叶飞在微博公开表示，自己作为中介帮助中源家居找接盘方做市值管理，但上市公司却赖账不付尾款。据叶飞爆料，市值管理主要有两种模式，一种是上市公司与公募或券商资管合谋拉升股价，根据拉升市值进行3％-5％的返点，一种是基金经理将股票池卖出，操盘方在其中挑选标的，操盘方先买，基金经理再买，操盘方卖出后，基金经理跟卖。　　叶飞爆料越来越大，2021年5月14日，叶飞发文点名昊志机电，并表示“昊志机电，你就是下一个炮台。去年十二月怎么跌那么惨？安排谁接的盘，我不知道吗？” 　　随后包括叶飞在内，有多人被查。　　上周末，证监会公布了对两会代表委员建议提案的受理工作。　　针对“伪市值管理”类操纵案件，证监会一方面坚持稳字当头，在打击违法违规行为的同时，稳妥处理案件查办与公司经营、风险处置等的关系，谨慎把握调查工作节奏、时间节点等，严把证据关、法律适用关，密切上下游执法协作，精准施策，避免“误打误伤”。另一方面，坚持全覆盖全方位追责，对参与配合“伪市值管理”违法违规行为的上中下游全面调查，严肃惩处相关违规证券基金经营机构、私募机构及从业人员、配资中介、专业操盘手等。　　

金融界2023-02-27

ChatGPT：OpenAI的技术「执拗」与「豪赌」

能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。作者：追一科技来源：机器之心、DeFi之道来源：金色财经

金色财经2023-02-26

24小时热点