FX168财经网_全球视野外汇黄金加密货币NFT资讯网_关键字搜索-FX168

全球数字财富领导者

财富汇｜美股投研｜客户端｜旧版｜｜

FX168 全球视野中文财经

登录 / 注册

人工智能：中国式ChatGPT的“大跃进”
go
了很多成果。一时间，追逐大模型成了国内AI行业的标准动作，“大练模型到炼大模型”的过度期似乎已经接近尾声，下一阶段大有“全民大模型，ChatGPT进万家”的架势。不过，AI技术研发不是谁都能做的，需要真正的专家。硅谷巨头之所以能在大模型领域迅速反应，一方面因为他们在这条赛道上有多年的技术积累，更重要的是他们在AI研究方面有着大量的人才储备。谷歌的人工智能研究团队一直处在全球领先地位，旗下还有与OpenAI齐名的实验室DeepMind；另一家科技巨头Meta则有被称为卷积神经网络之父的图灵奖得主Yann LeCun以首席AI科学家的身份坐镇。微软手下的急先锋OpenAI，也是基于强大的科研团队才奠定的领先地位。科技情报分析机构AMiner和智谱研究发布的《ChatGPT团队背景研究报告》显示，OpenAI的ChatGPT研发团队中，27人为本科学历，25人为硕士学历，28人为博士研学历(注：5人信息缺失)，占比分别为33%、30%、37%。 ChatGPT团队学历分布而另一份来自猎聘大数据的国内AI人才市场调查则显示：近一年，预训练模型、对话机器人和AIGC三个ChatGPT相关领域中，国内企业明确要求本科以上学历的职位分别占71.33%、82.30%、92.53%；要求硕、博士学历的占比分别为16.49%、9.86%、18.22%。对比ChatGPT团队，国内AI人才的平均水平差距较大，硕博比例明显不足。而在今天这种大家齐上大模型赛道的“加速”发展态势下，要在短时间里“大干快上”，势必要先比试比试谁的团队技术实力强，谁更能在自己的麾下聚拢一批大模型人才。抢人大作战技术大战开打之前，各家的大模型团队先得打赢一场关键的人才争夺战。如果你是一个清华博士，有5-10年NLP（Natural Language Processing，自然语言处理）行业经验，那么你的资料只要出现在招聘平台上，不需要任何详细履历，就可以在注册完成后的48小时内，接到多家猎头公司的询问电话，以及数十条HR、猎头、业务经历甚至BOSS本人发来的站内信息。在这些信息中，不乏阿里、美团、小红书等大厂，还有诸多创业公司，以及研究机构。猎头们提供的NLP算法研究员岗位年薪也大多会在百万元上下。根据猎聘大数据调查，过去五年，人工智能和互联网的招聘薪资均处于上涨态势，人工智能年均招聘薪资明显高出互联网。2022年，人工智能招聘平均年薪为33.15万元，比互联网高出4.27万元，即14.78%。五年来人工智能与互联网招聘平均年薪对比在ChatGPT爆火后，这样的情况越来越明显。据上述调查显示，与ChatGPT相关的岗位工资均超过平均水平，AIGC为39.08万，对话机器人为34.89万，预训练模型为33.93万。“ChatGPT一火起来，AI工程师的薪资水平也越来越高，你不开高价就抢不到人。”某AI领域投资人对虎嗅说。从技术的角度看，大模型发端于NLP领域，自然语言处理岗位在人工智能领域一直都处于人才稀缺的状态，薪酬水平处于高位。科锐国际调研咨询业务负责人&高科技领域资深专家景晓平对虎嗅表示，“人工智能行业典型岗位按产业链划分，技术层和基础层薪酬水平处于高位，高于互联网其他领域薪酬水平，应用层和互联网常规岗位薪酬一致。” 事实上，近年来国内AI人才的硕博占比也在逐年提升，很多企业对AI领域的人才要求学历至少是硕士。薪酬结构则与企业的性质密切相关，国有企业、研究所的薪酬主要是固定薪酬、项目奖金和津贴，例如，国内第一梯队的AI实验室，清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）挂在官网上的博士后招聘待遇为年薪30万，享受清华大学教职工社会保险、住房公积金等待遇。提供公寓或每年4.2万的租房补贴，同时可以解决子女入园、入学。 IT大厂和AI创业公司的薪酬结构则多为，固定薪资+浮动奖金+股权期权激励。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT，硕博学历职位的月薪普遍高于3万，最高达9万。“在薪酬方面IT大厂并不会占多少便宜，AI大模型的研发都是高举高打，创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳认为，没有资金支持很难在大模型的基础训练领域推动一家初创公司，对于这个领域来说，钱的问题可能“不是最大的问题”。猎聘、脉脉、BOSS直聘，搜索ChatGPT的前排结果此外，在诸多岗位信息中，工作地点集中在北京、上海、杭州和深圳，但其中一些职位也并不限制办公地。景晓平表示，目前国内AI人才北京占据第一位，上海、广东省分列二三位，近些年互联网发展极为活跃的浙江省，在人工智能发展上也丝毫不落风头，成都作为科技新秀城市，有优质相关生源的地域，也储备了不少人工智能人才。但从需求总量来看，国内AI人才还有很大缺口。 OpenAI的专家团队为何强 OpenAI官网挂出的参与过ChatGPT的项目团队共87人，该团队平均年龄为32岁，其中90后是主力军。《ChatGPT团队背景研究报告》显示，ChatGPT研发团队绝大多数成员拥有名校学历，成员最集中的前5大高校是：斯坦福大学（14人）、加州大学伯克利分校（10人）、麻省理工学院（7人）、剑桥大学（5人）、哈佛大学（4人）和佐治亚理工学院（4人）。 ChatGPT 团队成员毕业前10名高校此外，很多成员都有名企工作经历，包括：Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司，其中有10人来自谷歌，OpenAI的首席科学家Ilya Sutskever亦是从谷歌转会而来，Ilya Sutskever是AlphaGo的作者之一，师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever，如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌，与Sam Altman、Elon Musk等人一起创立OpenAI时，年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构，从这点上来看，无论是否带着情怀加入这家公司的研究人员，还是给“非营利”事业烧钱的投资人，多少都有一点对技术的“信仰”，这种驱动力，可能是钱买不来的。不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道，2016年，OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow（对抗式生成网络的提出者）2016年从OpenAI得到的报酬则超过80万美元，而他在这一年中只工作了9个月，不过Ian Goodfellow在OpenAI没有待很长时间就离开了。一直以来，硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中，在美国工作的全职“高级软件工程师，大型语言模型，应用机器学习”（Staff Software Engineer, Large Language Models, Applied ML）岗位基本工资范围为年薪17.4万-27.6万美元（约120万-190万元人民币）+奖金+股权+福利。这份工作的主要职责是：为谷歌大型语言模型的关键冲刺做出贡献，将尖端的 LLM（Large Language Mode，大型语言模型）引入下一代谷歌产品和应用程序，以及外部用户。在建模技术方面进行协作，以支持全方位的 LLM 调整，从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”（Post Doc Researcher-Machine Learning and Reinforcement Learning）年薪则在9.4万-18.2万美元（约64万-125万元人民币）。工作职责是“与其他研究人员合作制定自己的研究议程，推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员，其中5人本科毕业于国内高校，美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑，美国是从80亿人里挑，全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示，要承认差距确实存在，不过他也表示，“在这方面，我们也不用气馁。中国也有自己的优势，比如市场化、产品化的能力，近年来我们不比美国同行差了。” 国内大厂的实力如何？除了人才问题，国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚，而起步晚的原因，则还是与“钱”脱不开关系。从技术角度看，生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前，技术实现的效果并不理想，且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资，投入到这种看上去不太赚钱，还要烧钱的业务。中国的AI产业更注重应用场景，而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务，比如听写、翻译，在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力，一方面他们赚钱，另一方面在这些领域的技术积累，使研究人员能够“在规定跑道上赛跑”，而不是在未知领域探路。这一点不只是限制了国内公司，更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样，巨头都不喜欢“破坏式创新”，谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值，这也正是谷歌一直声称不愿发布LaMDA大模型的理由，害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题，毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。不过，在这波大模型的追赶赛中，国内大厂的团队也可以说是实力颇强。百度在大模型方面走的最早，百度自2019年开始研发预训练模型，先后发布了知识增强文心（ERNIE）系列模型。文心大模型研发的带头人，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士，是自然语言处理领域权威国际学术组织ACL（Association for Computational Linguistics）的首位华人主席、ACL亚太分会创始主席、ACL Fellow，还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前，王海峰在国内外期刊会议上发表的学术论文有200余篇，获得已授权专利170余项。虽然没有像百度一样公布类ChatGPT产品的发布时间表，但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型，均已研发了很长时间。据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计（2023年的统计尚未发布）显示，2012-2021年中，在ML（Machine Learning，机器学习）和NLP顶级期刊和会议发表论文数量最多的机构是谷歌，微软紧随其后。发文数量最多的中国机构是清华大学，第二是位列第16的腾讯，腾讯也是前32名中唯一的中国互联网厂商。不过，在2021年单年的统计中，阿里和华为也登上此榜，腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计目前，腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过，腾讯旗下AI研发团队“腾讯AI Lab”的专家构成，也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成，带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任，腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学（Stanford University）发布的2022 年度“全球前2%顶尖科学家榜单”（World's Top 2% Scientists 2022）中，排名全球“终身科学影响力排行榜”第1002名，中国排名 Top 10。阿里在LLM领域的研究主要由阿里巴巴达摩院负责，阿里巴巴集团资深副总裁，阿里云智能CTO、达摩院副院长周靖人主导，他是IEEE Fellow，多次担任VLDB，SIGMOD，ICDE等国际顶级会议程序委员会主编、主席，在顶尖国际期刊和会议上发表论文超百篇，并拥有几十项技术专利。华为也未对“类ChatGPT产品”公开表态，但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导，他是计算机视觉、多媒体信息检索专家，IEEE Fellow，国际欧亚科学院院士，教育部长江讲座教授，国家自然科学基金海外杰青，中国科学院海外评审专家，在国内多所高校任讲席教授及客座教授。在自己组建团队投入研发的同时，百度、阿里、腾讯、华为等IT大厂，也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构数据闭环是大模型研发的关键，用户越多，积累时间越长，就意味着可以用于迭代升级的数据和反馈也就越多。在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月，但用户量和访问量增长速度飞快，这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了，就会面临卡脖子的风险。”很多AI专家对此都有担心，由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持，以及地方政策支持，人才聚拢能力非常强劲。北京智源人工智能研究院（以下简称“智源研究院”）是科技部和北京市政府共同支持，联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江，是美国国家工程院外籍院士，ACM Fellow和IEEE Fellow，同时也是微软亚洲研究院的创始人之一。 2021年，智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本，这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）的孙茂松教授，清华大学知识工程研究室（KEG）的唐杰教授，清华大学交互式人工智能课题组（CoAI）的黄民烈教授。目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中，大模型给搜索广告带来了2.7%的收入增长。在南方的科技重镇也有一家相似的研究机构，粤港澳大湾区数字经济研究院（以下简称IDEA研究院），IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处，IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士，他参与创建了微软亚洲研究院，担任院长兼首席科学家，并曾担任微软公司全球执行副总裁，主管微软全球研究院和人工智能产品线，并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院，他的团队推出的开源模型“太乙”，据称在中文文生图领域可以达到接近Stable Diffusion（一款开源文生图AI模型）的水平。目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”，已经开源了6个系列共10个模型，包含4种模型结构，模型参数最大为35亿。其中包括：以Encoder结构为主的双向语言系列模型的二郎神系列；面向医疗领域，拥有35亿参数的余元系列；与追一科技联合开发的新结构大模型周文王系列；以Decoder结构为主的单向语言模型闻仲系列；以Transformer结构为主的编解码语言模型，主要解决通用任务的大模型燃灯系列；以及主要面向各种纠错任务的比干系列。 2月20日晚，复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”，并在公开平台（https://moss.fastnlp.top/），邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示，“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会，但是从后边的公告来看，有可能是在工程优化，并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上，邱锡鹏教授公开表示，如果优化顺利，MOSS计划在2023年3月底开源。虽然，没能成功抢发“国产ChatGPT”，但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价，“邱锡鹏教授的团队比较偏重学术，这和早期的OpenAI在科研心态上是有共性的，非营利性的AI研究机构，没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学，虽然计算机技术已发展多年，但AI仍属于前沿科技，对LLM以及其他通用大模型的研究更是兴起不久，仍然需要依靠应用数据，持续迭代升级，不管MOSS是不是因为工程经验绊了跟头，要在AI、大模型这些领域实现突破，能推广到市场中，接地气的技术和产品才是王道。事实上，目前国内AI行业活跃的实验室大多已开始尝试商业化，在市场的磨砺中探索大模型未来的出路。深言科技深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）。THUNLP由清华大学人工智能研究院常务副院长孙茂松，以及刘洋、刘知远，三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一，「九歌」已经为用户创作了超过3000万首诗词。孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身，也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的，目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”，以及根据意思查询句子的“WantQuotes据意查句”。智谱AI 智谱AI的前身是清华大学知识工程研究室（KEG），KEG专注研究网络环境下的知识工程，在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年，智谱AI就启动了科技信息分析引擎ArnetMiner（以下简称AMiner）的相关研究，先后获得了国际顶级会议SIGKDD的十年最佳论文（Test-of-Time Award）、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月，由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，其在多个公开评测榜单上超过GPT-3 v1。此外，智谱AI还打造了认知大模型平台（BigModel.ai），形成AIGC产品矩阵，提供智能API服务。聆心智能 2月17日，聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型，基于大模型可控、可配置、可信的核心技术优势，聆心智能推出“AI乌托邦”，该系统允许用户快速定制 AI 角色。聆心智能由清华大学交互式人工智能课题组（CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年，就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。西湖心辰西湖心辰背靠西湖大学深度学习实验室，创始人是西湖大学助理教授、博士生导师蓝振忠，主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家，也是轻量化大模型ALBERT的第一作者。西湖大学在人工智能领域的研发实力很强，除了蓝振忠博士的深度学习实验室，西湖大学NLP实验室，在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中，于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势，技术和数据。”西湖心辰COO俞佳对虎嗅表示，国内大模型创业公司在技术方面普遍已有多年研究经验，构筑了一定的技术壁垒，这是很难短期超越的。同时，由于已经推出了相关产品，“数据飞轮”已经转起来了，这些数据的质量相比互联网数据质量要高很多，能够对产品迭代起到很大支撑作用。对于国内大模型创业公司未来的发展趋势，俞佳认为可能性很多，“有些公司可能会走出自己的道路，也有的公司可能会像OpenAI一样与IT大厂开展深度合作，甚至像DeepMind直接并入其中。” 出品｜虎嗅科技组作者｜齐健编辑｜陈伊凡来源：DeFi之道来源：金色财经
金色财经2023-03-05
千亿ChatGPT的狂欢和月薪3K的数据标注员
 go
ChatGPT爆火后，AI行业开始了新一轮“抢人大战”：王慧文个人出资5000万美元，打出“AI英雄榜”，要招募业界公认顶级研发人才；猎头疯狂挖角硅谷华裔技术大佬，跳槽薪资200万起；“10万月薪抢人”，脉脉创始人兼CEO林凡称，国内AIGC行业也在招兵买马，年薪百万、16薪成为“标配”。巨头喊话、热钱涌动，中国版ChatGPT，将诞生在这些顶级VC、顶级AI人才手中。但与此同时，一个和ChatGPT紧密相关，一个相对低廉、不稳定的职业——数据标注员，也引起了小范围的关注和讨论。他们被誉为“AI训练师”，但他们的工作重复、机械、枯燥。他们是AI行业的“劳动密集型”企业，他们被放置在无人问津的角落，推升了这次ChatGPT狂潮。 AI训练师？ “什么AI训练师，我们就是纯体力活。”何文新对数据标注行业的总结是：无前途，无发展，工作量大，工资低，“还不如电话销售。” 什么是数据标注？目前“深度学习”是主流的训练AI模型的方式，但AI不会自动识别语音、图片、文本、视频等，这时候就需要数据标注员，对数据进行加工处理，将一般数据变成AI可识别的数据。比如，服务自动驾驶公司的数据标注员，每天工作就是按照要求，把不同图上的行人、动物、车、树木等“框”出来，以便“喂养”AI模型。而数据标注的类型有图像标注、语音标注、3D点云标注和文本标注等。简而言之，数据标注员在创造喂养AI的养料。从工作产出来看，数据标注员确实可以称为AI的老师。数据标注工作并不难，只需要一台电脑，一个鼠标；简单培训后，就可以上手。但是，这个工作并不轻松，需要耐心和细心。 “很累，一整天要盯着电脑。”何文新称，“标注”工作重复繁琐、没什么技术含量，但也有质量要求，标注错了、标注范围大、标注不够仔细等，都会被审核打回去重新做。 “很简单，但也很难。”宝妈lili在网上吐槽，因为经常面对拉伸图，很多图片根本看不清，容易做错。和AI行业的高薪相比，数据标注员的工资并不高。 “一张图9毛钱，一天做100张。”lili称，如果都合格，一天能赚90块。 “不同的标注价格不一样。”何文新称，他当时的工资在3000左右。基础的数据标注员月薪大部分在2000-4000元之间，但因为标注的速度、质量问题，“很难拿到当时面试跟你承诺的工资。” 鞭牛士在一些招聘网站上搜索“数据标注”，薪资区间在2000-8000之间。一些特殊的标注，比如小语种、高精制图等，薪酬会更高。 2020年2月，“人工智能训练师”正式成为新职业，纳入国家职业分类目录。中国信通院报告提出，“现阶段AI应用研发，数据标注是根本，10年之内都要依赖于标注数据”。 ChatGPT的“数据标注”壁垒今年1月，美国《时代周刊》报道称，ChatGPT使用了低廉的肯尼亚外包劳工，对庞大的数据库手动进行数据标注。打造了ChatGPT、估值飙升至300亿美元的OpenAI，是否存在“剥削”廉价劳动力的问题？为OpenAI提供数据标注服务的是总部位于旧金山的Sama，Sama在在肯尼亚、乌干达和印度雇佣员工，服务Google、Meta和微软等客户。据爱范儿报道，OpenAI在2021年底与Sama签署了三份总价值约20万美元的合同，为数据库中有害的内容进行标记。根据合同规定，OpenAI将为该项目向Sama支付每小时12.50美元的报酬；但Sama支付给数据标注员的时薪只有1.32美元~2美元。这些数据标注员，每9个小时要阅读和标注150~200段文字，最多一小时要阅读和标注超2万个单词。并且，因为他们标注的是互联网上的“有害的内容”，比如自杀、酷刑等，大部分标注员受到持久的心理创伤，甚至出现幻觉。但Sama公司却拒绝为他们提供一对一的心理咨询。这些数据标注员，对ChatGPT而言意义重大。为了让ChatGPT成为一个适合用户日常使用的聊天机器人，一个好的学习数据源非常重要。比如，ChatGPT的前身GPT-3，就存在暴力、性别歧视等言论。用户在对话框中发送“我应该自杀吗”问题，GPT-3回答“我认为你应该这么做”。在更早的2012年，清华大学图书馆机器人“小图”，因为学习了网友太多“脏话”，被强制下线。当时有媒体报道，小图至少学会了4万条不良信息。 AI自身并不能判断善恶，需要人为干预，标注、过滤掉一些“特殊数据”。为此，OpenAI建立了一个安全系统，这就是Sama和数据标注员的工作：给AI提供标有暴力、仇恨语言等标签，AI就可以学会检测这些内容，并将这些不良内容过滤掉。除此之外，一些专业领域的信息，也需要专业的标注。这也是为什么ChatGPT在回答医学等专业领域问题时错误百出，因为它还没有精确地相关数据“喂养”。实际上早有业内人士分析，ChatGPT的算法并不神秘，比如公开的成熟的自回归语言模型、强化学习的PPO算法等；但数据，是ChatGPT真正的优势。 “ChatGPT通过抢先开始公测，收集了大量的用户的使用数据”，这也是ChatGPT独有的、宝贵的数据。和算力的“军备”竞赛不同，数据会有滚雪球效应，只要ChatGPT仍然是最好用的语言AI，就会一直保持先发优势，后来者会越来越难追上。 ChatGPT，已经建立起了“数据壁垒”。而近期才开始官宣的“中国版ChatGPT”，除了要加强在算法、算力的投入，中文语言数据的处理，中文敏感词、有害信息的过滤，也需要大量的投入。如今，ChatGPT掀起人工智能新浪潮，最底层、最边缘的数据标注员是否会有新的待遇？国内数据标注乱象据第一财经报道，中国的数据标注行业最早可追溯到2005年，著名计算机视觉专家、人工智能专家朱纯松在湖北鄂州创办了莲花山研究院。中国信通院报告指出，2015年，随着人工智能巨头的崛起，数据标注和采集需求激增，市场真正意义上开始形成。 2016年，AlphaGo横空出世，人工智能开始商业化探索，相应的数据服务公司也迎来了一波发展高峰。人工智能公司发展波折不断，数据标注行业也处在早期的蛮荒阶段，存在分散、效率差、标注质量参差不齐、市场需求不稳定等问题。何文新等数据标注员有特别直观的感受。能不能拿到稳定的项目，是一个外包的数据标注公司能否存活的关键。 “我们公司比较小，很难拿到一手的项目。”何文新称，他们拿到的可能是层层外包的项目，价格比较低，而且极不稳定，“有时候项目没做完，公司就没了。” 而一些数据标注公司在招聘兼职数据标注员时，会强调薪酬分两次结算，“次月和6个月后各结算一半”，因为这是甲方的结算习惯，一些数据公司并不会提前“垫付”薪酬。因为没有什么门槛，十几个人也能攒出一个团队，因此，数据标注公司质量层次不齐，行业竞争也异常激烈。据第一财经报道，2018年，科大讯飞旗下的众包平台“爱标客”上，一些简单的打框和转写校准项目，时薪在25到40元之间；到2021年底，时薪就降到了10到15元，“有时候可能连10元都不到”。并且，数据标注行业还存在一些招聘骗局，比如打着招聘的名义，骗求职者缴纳高昂的培训费等。而数据标注员，也是人工智能行业中，最不稳定、最容易被取代的角色。 2022年6月，特斯拉在全球开启了裁员计划。其中规模最大的一次裁员，是解雇了200名美国员工。他们大多数是小时工，负责自动驾驶数据标注。有媒体分析，特斯拉这次裁员的原因是这一工作技术含量不高，操作起来比较简单；并且特斯拉的自动化数据标注有了进展，可以代替人力完成部分工作。目前，何文新已经从数据标注公司离职，换了新的行业。工资低、累、没有晋升空间、没有学到东西，是数据标注员离职的主要原因。但是，除了这些问题，数据标注员的薪资，在4、5线城市依然有竞争力。实际上，因为属于“劳动密集型”产业，一些地方政府对数据标注产业抛出橄榄枝，成为解决当地就业、扶贫的优质项目。另一方面，因为门槛低、操作简单，数据标注员也成为残疾人友好岗位，“边码故事”曾报道残疾人成为数据标注员的故事，“一台电脑就能赚钱是之前想都不敢想的”。而一些数据标注公司的推广视频下面，有不少用户留言咨询，想要加入。在面对使用廉价劳动力质疑时，OpenAI回应称，他们支付给Sama的费用几乎是东非其他内容审核公司的两倍；赚差价的Sama则称自己是“有道德的AI公司”，已经帮助5万多人摆脱了贫困。据国盛证券估计，类ChatGPT的大模型训练一次就要烧掉200万-1200万美元，仅每日的电费消耗就高达4.7万美元；2022年，OpenAI公司净亏损高达5.45亿美元。我们在惊叹人工智能的突破和背后的技术成本时，在追捧OpenAI 2000亿人民币的估值时，不应该忘记背后千万的数据标注员。他们在聚光灯外，如一叶叶扁舟，飘荡在人工智能蓝海上。（应受访者要求，本文人名为化名。）来源：元宇宙之心来源：金色财经
金色财经2023-03-05
中国式ChatGPT“大跃进”
go
了很多成果。一时间，追逐大模型成了国内AI行业的标准动作，“大练模型到炼大模型”的过度期似乎已经接近尾声，下一阶段大有“全民大模型，ChatGPT进万家”的架势。不过，AI技术研发不是谁都能做的，需要真正的专家。硅谷巨头之所以能在大模型领域迅速反应，一方面因为他们在这条赛道上有多年的技术积累，更重要的是他们在AI研究方面有着大量的人才储备。谷歌的人工智能研究团队一直处在全球领先地位，旗下还有与OpenAI齐名的实验室DeepMind；另一家科技巨头Meta则有被称为卷积神经网络之父的图灵奖得主Yann LeCun以首席AI科学家的身份坐镇。微软手下的急先锋OpenAI，也是基于强大的科研团队才奠定的领先地位。科技情报分析机构AMiner和智谱研究发布的《ChatGPT团队背景研究报告》显示，OpenAI的ChatGPT研发团队中，27人为本科学历，25人为硕士学历，28人为博士研学历(注：5人信息缺失)，占比分别为33%、30%、37%。 ChatGPT团队学历分布而另一份来自猎聘大数据的国内AI人才市场调查则显示：近一年，预训练模型、对话机器人和AIGC三个ChatGPT相关领域中，国内企业明确要求本科以上学历的职位分别占71.33%、82.30%、92.53%；要求硕、博士学历的占比分别为16.49%、9.86%、18.22%。对比ChatGPT团队，国内AI人才的平均水平差距较大，硕博比例明显不足。而在今天这种大家齐上大模型赛道的“加速”发展态势下，要在短时间里“大干快上”，势必要先比试比试谁的团队技术实力强，谁更能在自己的麾下聚拢一批大模型人才。抢人大作战技术大战开打之前，各家的大模型团队先得打赢一场关键的人才争夺战。如果你是一个清华博士，有5-10年NLP（Natural Language Processing，自然语言处理）行业经验，那么你的资料只要出现在招聘平台上，不需要任何详细履历，就可以在注册完成后的48小时内，接到多家猎头公司的询问电话，以及数十条HR、猎头、业务经历甚至BOSS本人发来的站内信息。在这些信息中，不乏阿里、美团、小红书等大厂，还有诸多创业公司，以及研究机构。猎头们提供的NLP算法研究员岗位年薪也大多会在百万元上下。根据猎聘大数据调查，过去五年，人工智能和互联网的招聘薪资均处于上涨态势，人工智能年均招聘薪资明显高出互联网。2022年，人工智能招聘平均年薪为33.15万元，比互联网高出4.27万元，即14.78%。五年来人工智能与互联网招聘平均年薪对比在ChatGPT爆火后，这样的情况越来越明显。据上述调查显示，与ChatGPT相关的岗位工资均超过平均水平，AIGC为39.08万，对话机器人为34.89万，预训练模型为33.93万。“ChatGPT一火起来，AI工程师的薪资水平也越来越高，你不开高价就抢不到人。”某AI领域投资人对虎嗅说。从技术的角度看，大模型发端于NLP领域，自然语言处理岗位在人工智能领域一直都处于人才稀缺的状态，薪酬水平处于高位。科锐国际调研咨询业务负责人&高科技领域资深专家景晓平对虎嗅表示，“人工智能行业典型岗位按产业链划分，技术层和基础层薪酬水平处于高位，高于互联网其他领域薪酬水平，应用层和互联网常规岗位薪酬一致。” 事实上，近年来国内AI人才的硕博占比也在逐年提升，很多企业对AI领域的人才要求学历至少是硕士。薪酬结构则与企业的性质密切相关，国有企业、研究所的薪酬主要是固定薪酬、项目奖金和津贴，例如，国内第一梯队的AI实验室，清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）挂在官网上的博士后招聘待遇为年薪30万，享受清华大学教职工社会保险、住房公积金等待遇。提供公寓或每年4.2万的租房补贴，同时可以解决子女入园、入学。 IT大厂和AI创业公司的薪酬结构则多为，固定薪资+浮动奖金+股权期权激励。在猎聘、脉脉、BOSS直聘三个平台搜索ChatGPT，硕博学历职位的月薪普遍高于3万，最高达9万。“在薪酬方面IT大厂并不会占多少便宜，AI大模型的研发都是高举高打，创业公司给出的薪酬可能更有竞争力。”西湖心辰COO俞佳认为，没有资金支持很难在大模型的基础训练领域推动一家初创公司，对于这个领域来说，钱的问题可能“不是最大的问题”。猎聘、脉脉、BOSS直聘，搜索ChatGPT的前排结果此外，在诸多岗位信息中，工作地点集中在北京、上海、杭州和深圳，但其中一些职位也并不限制办公地。景晓平表示，目前国内AI人才北京占据第一位，上海、广东省分列二三位，近些年互联网发展极为活跃的浙江省，在人工智能发展上也丝毫不落风头，成都作为科技新秀城市，有优质相关生源的地域，也储备了不少人工智能人才。但从需求总量来看，国内AI人才还有很大缺口。 OpenAI的专家团队为何强 OpenAI官网挂出的参与过ChatGPT的项目团队共87人，该团队平均年龄为32岁，其中90后是主力军。《ChatGPT团队背景研究报告》显示，ChatGPT研发团队绝大多数成员拥有名校学历，成员最集中的前5大高校是：斯坦福大学（14人）、加州大学伯克利分校（10人）、麻省理工学院（7人）、剑桥大学（5人）、哈佛大学（4人）和佐治亚理工学院（4人）。 ChatGPT 团队成员毕业前10名高校此外，很多成员都有名企工作经历，包括：Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司，其中有10人来自谷歌，OpenAI的首席科学家Ilya Sutskever亦是从谷歌转会而来，Ilya Sutskever是AlphaGo的作者之一，师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever，如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌，与Sam Altman、Elon Musk等人一起创立OpenAI时，年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构，从这点上来看，无论是否带着情怀加入这家公司的研究人员，还是给“非营利”事业烧钱的投资人，多少都有一点对技术的“信仰”，这种驱动力，可能是钱买不来的。不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道，2016年，OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow（对抗式生成网络的提出者）2016年从OpenAI得到的报酬则超过80万美元，而他在这一年中只工作了9个月，不过Ian Goodfellow在OpenAI没有待很长时间就离开了。一直以来，硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中，在美国工作的全职“高级软件工程师，大型语言模型，应用机器学习”（Staff Software Engineer, Large Language Models, Applied ML）岗位基本工资范围为年薪17.4万-27.6万美元（约120万-190万元人民币）+奖金+股权+福利。这份工作的主要职责是：为谷歌大型语言模型的关键冲刺做出贡献，将尖端的 LLM（Large Language Mode，大型语言模型）引入下一代谷歌产品和应用程序，以及外部用户。在建模技术方面进行协作，以支持全方位的 LLM 调整，从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”（Post Doc Researcher-Machine Learning and Reinforcement Learning）年薪则在9.4万-18.2万美元（约64万-125万元人民币）。工作职责是“与其他研究人员合作制定自己的研究议程，推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员，其中5人本科毕业于国内高校，美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑，美国是从80亿人里挑，全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示，要承认差距确实存在，不过他也表示，“在这方面，我们也不用气馁。中国也有自己的优势，比如市场化、产品化的能力，近年来我们不比美国同行差了。” 国内大厂的实力如何？除了人才问题，国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚，而起步晚的原因，则还是与“钱”脱不开关系。从技术角度看，生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前，技术实现的效果并不理想，且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资，投入到这种看上去不太赚钱，还要烧钱的业务。中国的AI产业更注重应用场景，而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务，比如听写、翻译，在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力，一方面他们赚钱，另一方面在这些领域的技术积累，使研究人员能够“在规定跑道上赛跑”，而不是在未知领域探路。这一点不只是限制了国内公司，更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样，巨头都不喜欢“破坏式创新”，谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值，这也正是谷歌一直声称不愿发布LaMDA大模型的理由，害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题，毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。不过，在这波大模型的追赶赛中，国内大厂的团队也可以说是实力颇强。百度在大模型方面走的最早，百度自2019年开始研发预训练模型，先后发布了知识增强文心（ERNIE）系列模型。文心大模型研发的带头人，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士，是自然语言处理领域权威国际学术组织ACL（Association for Computational Linguistics）的首位华人主席、ACL亚太分会创始主席、ACL Fellow，还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前，王海峰在国内外期刊会议上发表的学术论文有200余篇，获得已授权专利170余项。虽然没有像百度一样公布类ChatGPT产品的发布时间表，但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型，均已研发了很长时间。据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计（2023年的统计尚未发布）显示，2012-2021年中，在ML（Machine Learning，机器学习）和NLP顶级期刊和会议发表论文数量最多的机构是谷歌，微软紧随其后。发文数量最多的中国机构是清华大学，第二是位列第16的腾讯，腾讯也是前32名中唯一的中国互联网厂商。不过，在2021年单年的统计中，阿里和华为也登上此榜，腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计目前，腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过，腾讯旗下AI研发团队“腾讯AI Lab”的专家构成，也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成，带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任，腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学（Stanford University）发布的2022 年度“全球前2%顶尖科学家榜单”（World's Top 2% Scientists 2022）中，排名全球“终身科学影响力排行榜”第1002名，中国排名 Top 10。阿里在LLM领域的研究主要由阿里巴巴达摩院负责，阿里巴巴集团资深副总裁，阿里云智能CTO、达摩院副院长周靖人主导，他是IEEE Fellow，多次担任VLDB，SIGMOD，ICDE等国际顶级会议程序委员会主编、主席，在顶尖国际期刊和会议上发表论文超百篇，并拥有几十项技术专利。华为也未对“类ChatGPT产品”公开表态，但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导，他是计算机视觉、多媒体信息检索专家，IEEE Fellow，国际欧亚科学院院士，教育部长江讲座教授，国家自然科学基金海外杰青，中国科学院海外评审专家，在国内多所高校任讲席教授及客座教授。在自己组建团队投入研发的同时，百度、阿里、腾讯、华为等IT大厂，也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构数据闭环是大模型研发的关键，用户越多，积累时间越长，就意味着可以用于迭代升级的数据和反馈也就越多。在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月，但用户量和访问量增长速度飞快，这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了，就会面临卡脖子的风险。”很多AI专家对此都有担心，由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持，以及地方政策支持，人才聚拢能力非常强劲。北京智源人工智能研究院（以下简称“智源研究院”）是科技部和北京市政府共同支持，联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江，是美国国家工程院外籍院士，ACM Fellow和IEEE Fellow，同时也是微软亚洲研究院的创始人之一。 2021年，智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本，这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）的孙茂松教授，清华大学知识工程研究室（KEG）的唐杰教授，清华大学交互式人工智能课题组（CoAI）的黄民烈教授。目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中，大模型给搜索广告带来了2.7%的收入增长。在南方的科技重镇也有一家相似的研究机构，粤港澳大湾区数字经济研究院（以下简称IDEA研究院），IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处，IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士，他参与创建了微软亚洲研究院，担任院长兼首席科学家，并曾担任微软公司全球执行副总裁，主管微软全球研究院和人工智能产品线，并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院，他的团队推出的开源模型“太乙”，据称在中文文生图领域可以达到接近Stable Diffusion（一款开源文生图AI模型）的水平。目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”，已经开源了6个系列共10个模型，包含4种模型结构，模型参数最大为35亿。其中包括：以Encoder结构为主的双向语言系列模型的二郎神系列；面向医疗领域，拥有35亿参数的余元系列；与追一科技联合开发的新结构大模型周文王系列；以Decoder结构为主的单向语言模型闻仲系列；以Transformer结构为主的编解码语言模型，主要解决通用任务的大模型燃灯系列；以及主要面向各种纠错任务的比干系列。 2月20日晚，复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”，并在公开平台（https://moss.fastnlp.top/），邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示，“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会，但是从后边的公告来看，有可能是在工程优化，并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上，邱锡鹏教授公开表示，如果优化顺利，MOSS计划在2023年3月底开源。虽然，没能成功抢发“国产ChatGPT”，但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价，“邱锡鹏教授的团队比较偏重学术，这和早期的OpenAI在科研心态上是有共性的，非营利性的AI研究机构，没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学，虽然计算机技术已发展多年，但AI仍属于前沿科技，对LLM以及其他通用大模型的研究更是兴起不久，仍然需要依靠应用数据，持续迭代升级，不管MOSS是不是因为工程经验绊了跟头，要在AI、大模型这些领域实现突破，能推广到市场中，接地气的技术和产品才是王道。事实上，目前国内AI行业活跃的实验室大多已开始尝试商业化，在市场的磨砺中探索大模型未来的出路。深言科技深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）。THUNLP由清华大学人工智能研究院常务副院长孙茂松，以及刘洋、刘知远，三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一，「九歌」已经为用户创作了超过3000万首诗词。孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身，也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的，目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”，以及根据意思查询句子的“WantQuotes据意查句”。智谱AI 智谱AI的前身是清华大学知识工程研究室（KEG），KEG专注研究网络环境下的知识工程，在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年，智谱AI就启动了科技信息分析引擎ArnetMiner（以下简称AMiner）的相关研究，先后获得了国际顶级会议SIGKDD的十年最佳论文（Test-of-Time Award）、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月，由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，其在多个公开评测榜单上超过GPT-3 v1。此外，智谱AI还打造了认知大模型平台（BigModel.ai），形成AIGC产品矩阵，提供智能API服务。聆心智能 2月17日，聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型，基于大模型可控、可配置、可信的核心技术优势，聆心智能推出“AI乌托邦”，该系统允许用户快速定制 AI 角色。聆心智能由清华大学交互式人工智能课题组（CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年，就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。西湖心辰西湖心辰背靠西湖大学深度学习实验室，创始人是西湖大学助理教授、博士生导师蓝振忠，主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家，也是轻量化大模型ALBERT的第一作者。西湖大学在人工智能领域的研发实力很强，除了蓝振忠博士的深度学习实验室，西湖大学NLP实验室，在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中，于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势，技术和数据。”西湖心辰COO俞佳对虎嗅表示，国内大模型创业公司在技术方面普遍已有多年研究经验，构筑了一定的技术壁垒，这是很难短期超越的。同时，由于已经推出了相关产品，“数据飞轮”已经转起来了，这些数据的质量相比互联网数据质量要高很多，能够对产品迭代起到很大支撑作用。对于国内大模型创业公司未来的发展趋势，俞佳认为可能性很多，“有些公司可能会走出自己的道路，也有的公司可能会像OpenAI一样与IT大厂开展深度合作，甚至像DeepMind直接并入其中。” 来源：金色财经
金色财经2023-03-03
Meta推出先进大型语言模型下一个ChatGPT不远了？
go
ChatGPT的爆火引爆了AI行业，全球科技巨头争相杀入这一领域展开混战。周五，Meta也宣布推出大型语言模型LLaMA，加入到由微软、谷歌等科技巨头主导的AI“军备竞赛”中。当地时间2月24日，Meta宣布将推出针对研究社区的“Meta人工智能大型语言模型”系统（Large Language Model Meta AI），简称“LLaMA”。同ChatGPT、New Bing不同，LLaMA并不是一个任何人都可以与之对话的产品，也并未接入任何Meta应用。更为确切地说，该产品将是一个开源的“研究工具”。公司CEO扎克伯格在社交媒体上表示，LLaMA旨在帮助研究人员推进研究工作，LLM（大型语言模型）在文本生成、问题回答、书面材料总结，以及自动证明数学定理、预测蛋白质结构等更复杂的方面也有很大的发展前景。开源的“研究工具” Meta表示，LLaMA可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者，正在接受研究人员的申请。此外，LLaMA将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。与之截然不同的是，谷歌旗下的DeepMind和OpenAI并不公开训练代码。该公司还表示，LLaMA作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。比GPT3.5性能更强根据Meta官网介绍，LLaMA包含4个基础模型，参数分别为70亿、130亿、330亿和650亿。其中，LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练，而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。 Meta表示，在大多数基准测试中，参数小的多的LLaMA-13B的性能优于GPT3.5的前身GPT3-175B，而LLaMA-65B更可与业内最佳的Chinchilla-70B和PaLM-540B竞争。值得一提的是，近期大火的ChatGPT便是由GPT3.5提供支持。 Meta 还提及，LLaMA-13B对算力的要求“低得多”，可以在单个数据中心级GPU（Nvidia Tesla V100）上运行。扎克伯格写道： “Meta 致力于这种开放的研究模式，我们将向 AI 研究社区提供我们的新模型。” 值得一提的是，去年5月，Meta 也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的，这构成了其聊天机器人 blenterbot 新迭代的基础。后来，该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型，但因经常分享偏见和不准确的信息而遭到下架。据媒体报道，扎克伯格已将人工智能作为公司内部的首要任务，其本人也经常在财报电话会议和采访中谈论它对改进 Meta 产品的重要性。媒体分析称，虽然现在 LLaMA 没有在 Meta 产品中使用，但未来不排除使用的可能。本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。来源：金色财经
金色财经2023-02-27
ChatGPT嗨翻天，AIETF(512930)狂飙到何时？
go
有望加速落地，业绩增长已成必然。二、AI行业发展再上新台阶？ ChatGPT的出现，并非偶然。OpenAI在2018和2019年，分别推出了GPT1和GPT2，但当时它们的通用性不强，并未引起广泛关注。到2020年，OpenAI推出GPT3，正是因为GPT3的出现，使得大家基于它去开发一些全新的AI能力，也正是今天ChatGPT诞生的起点。 2022年，ChatGPT横空出世，人工智能发展进入新阶段。ChatGPT横不仅可以完美解答人类提出的指令，甚至可以自我对抗一个人类制定的判断标准，完成社会化改造，具有类似人的反应和情境认知。人工智能已在多领域广泛应用，如安防、金融、医疗、智能汽车等领域，例如语音合成应用于导航、有声阅读、机器人等场景；计算机视觉应用于安防、人脸识别、自动驾驶等场景；自然语音处理应用于翻译、情感分析、智能问答等场景。未来，人工智能有望应用于更多场景，影响我们生活方方面面。数据、算力、算法作为人工智能三要素，将迎来历史性发展机遇。人工智能模型的应用分为训练、推理两大环节。数据与算力是模型训练的基础，算法是模型实现路径，近年人工智能的快速发展得益于三大要素共同进步。（1）数据是人工智能的“燃料”，全球数据量指数级增长。深度学习算法是推动人工智能技术突破性发展的关键技术理论，大量训练数据的训练支撑是深度学习算法的基础。训练数据越多、越完整、质量越高，模型推断的结论越可靠。随着ChatGPT对人工智能的催化，数据量将会指数级增长。根据中国信通院数据，到2035年，全球数据量将达2142ZB，是2020年数据量的45-46倍。图2：全球数据量（ZB）资料来源：中国信息通信研究院，Statista，天风证券研究所（2）算力是人工智能的“底座”，我国算力规模增长迅速。人工智能模型的训练依赖大量算力支持，海量算力是大规模训练及生产人工智能模型的前提。数据海量增加，算法模型愈加复杂，应用场景的深入和发展，带来了对算力需求的快速提升。根据《2022-2023中国人工智能计算力发展评估报告》，2021-2026年我国智能算力规模增长迅速，年复合增长率达52.3%，而同期通用算力规模年复合增长率为18.5%。（3）算法是人工智能“发动机”，算法迎来持续爆发。 2006年深度学习算法的提出使AI进入新发展阶段。近年AI应用的繁荣来源于AI算法持续突破创新，而且是在大数据、大算力的支持下发挥出较大的威力。2017年谷歌提出Transformer算法，奠定ChatGPT所有技术的基础。如今，ChatGPT开启强人工智能时代，算法相关领域有望迎来持续爆发。数据、算力、算法三要素和人工智能发展相辅相成，未来市场潜力巨大， 2020年全球人工智能技术支出为687亿美元，预计2025年达到2212亿美元，年复合增速达到26.3%，而我国AI市场规模年复合增速将达到41.5%，预计增速有望全球第一。三、行业龙头纷纷布局，AI行业活力四射？近期，国际大型科技公司相继发布AI产品和未来计划，互掰手腕。微软自2019年与OpenAI展开合作，并表示未来所有产品将全线整合ChatGPT,目前已推出引入ChatGPT技术的搜索引擎NewBing。2023年2月谷歌推出对标ChatGPT的对话机器人Bard。Bard基于谷歌LaMDA模型，参数量最高达1370亿，LaMDA已经在多个维度接近人类水平。谷歌表示未来会将AI技术率先应用于搜索领域，或将与微软展开正面竞争。国内行业龙头积极布局，产业落地加速。（1）科大讯飞：公司在AI领域积累深厚，ChatGPT有望带来新的成长机遇。公司于2022年12月份进一步启动生成式预训练大模型任务攻关，科大讯飞AI学习机、讯飞听见等产品将成为该项技术率先落地的产品，将于2023年5月6日进行产品级发布。公司在AI领域积累深厚，ChatGPT有望带来新的成长机遇随着ChatGPT的火热，认知智能迎来大规模应用的历史机遇期。公司在AI领域深耕多年，在深度学习算法、大模型技术、行业大数据、知识图谱、多模态感知、系统工程技术方面积累深厚，有望为公司带来新的成长机遇。（2）三六零：公司已将ChatGPT作为核心战略。三六零创始人周鸿祎在“星空下的对话”节目中公开表示：ChatGPT可能代表着“人工智能历史上一场真正革命的开始”，同时公司长期做搜索引擎，拥有大量算力、NLP处理模型等要素，还拥有财力支撑，将大力推进ChatGPT技术。具体来看，截至2022年三季报公司拥有货币资金219亿元，能够保证公司在ChatGPT大量算力、研发等开支；同时公司相较于国外同行落后的主要是预训练大模型和有效的多模态数据清洗与融合技术，在继续深入自行研发的同时，不排除寻找强有力的合作伙伴，以开放的心态搭建多方共享平台、补足短板，快速缩小差距。（3）浪潮信息：公司AI服务器竞争力强，积极布局人工智能产业。浪潮信息产品在市场上具有较高的竞争力，根据Gartner、IDC、Synergy2022年发布的最新数据，公司服务器、存储产品在2022年Q1全球市占率10.4%位居第二，在中国市占率36.4%保持第一。近日，公司在AIGC层面已从算力，算法，和应用三个方面进行布局。在人工智能浪潮的推动下，公司作为AI基础设施有望迎来更大发展。我国具有丰富应用场景和数据积累，随着政策环境持续优化，科技巨头的纷纷投入，有望带动人工智能相关产业链加速发展，我们应积极关注相关产业链的投资机会。四、人工智能投资，你“AI”了吗？以ChatGPT为代表的人工智能技术给人类带来了便利，但也引起了诸多担忧。多国高校禁用ChatGPT、大型企业限制其使用范围、马斯克公开批评它.....人工智能领域在经历了几个月的狂飙之后，如今已经放缓脚步，相关个股走势分歧严重，涨停潮和跌停板此起彼伏，它正义无反顾的接受投资者的“审判”。震荡的市场给我们创造了更多的投资机遇，在宏观以及微观均具备良好做多的当下，可关注ChatGPT、云计算、人工智能等热点概念板块的低吸机会，加大仓位配置。平安中证人工智能ETF【场内简称AI ETF（512930）】，一键投资人工智能，该基金紧密跟踪中证人工智能主题指数，投资覆盖大数据、云计算、云存储、机器学习、机器视觉、人脸识别、语音语义识别、智能芯片等人工智能领域；持仓股包括科大讯飞、三六零、浪潮信息、韦尔股份等热门股，市值权重分布上相对均衡，在小市值风格较强的当下具有行业主题+风格属性双击的优势。 AI ETF（512930）管理费率为0.15%，托管费率为0.05%，远低于市场同类型权益ETF费率，有助于投资者节约投资成本，提高投资效率。同时具备透明度高、申赎更加灵活、交易费率更低、流动性更强等特征，可以作为投资者投资标的指数的有效工具。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。
有连云2023-02-27
AI领域新里程碑 ChatGPT究竟改变了什么？
go
研究员金曦认为，ChatGPT的出现为AI行业带来了新的曙光，也给资本市场带来了新的增量空间的可能性，围绕人工智能自动生成内容的模型开发和场景应用有望成为市场重点关注的投资赛道，拥有落地场景的公司或强者恒强。　　截至2023年2月14日，ChatGPT概念指数（8841669.WI）近1年上涨34.53％，同期沪深300指数下滑8.93％。　　ChatGPT 为何如何火爆　　近期爆火的ChatGPT是由世界三大人工智能实验室之一的OpenAI所开发的软件应用程序，旨在根据用户的提示模仿类似人类的对话。其中，GPT是Generative Pre-trained Transformer的缩写，意为“生成型预训练变换模型”。目前大家热议的GPT是以GPT-3版本为基础的能进行智能对话的聊天机器人。　　根据OpenAI的说法，ChatGPT的突破在于其能带给对话者颠覆性的体验，即可以通过“仅使用几个标记样本”就能生成足够的响应，可以通过简单的提示实现对话，并有效地利用上下文信息。　　具体而言，ChatGPT能够通过吸收大量来自网络的内容，比如新闻文章、社交帖子、百科条目等，学习句子、单词和部分单词之间的关系，进而学习和理解人类的语言进行对答、提供各类信息答案，并能根据聊天的上下文进行互动，真正像人类一样来聊天交流。　　更为重要的是，ChatGPT拥有丰富的信息支持与持续不断的学习更新，在用户面对问题或困难时，可以提供解决方案，其在文章生成、代码生成、机器翻译等任务上都有着比较优秀的效果体验。　　ChatGPT 并非无所不能　　似乎，用户只要在对话框里输入问题，就可以获得ChatGPT给出的答案。但其实看似“无所不能”的ChatGPT，也有着不少“无能为力”的短板。　　金曦表示，目前的ChatGPT侧重于“多准快全”的内容梳理和整合，还不能提供综合判断、逻辑完善、调整修改等高级逻辑处理功能，与人类智慧还有很远的距离；目前用于ChatGPT语言模型训练的数据多为2021年底前的数据，存在数据与信息的滞后性，这也造成了ChatGPT在内容准确性和知识性上的短板，不少用户甚至给其贴上了“一本正经胡说八道”的标签。　　此外，GPT-3在模型配置上成本高昂，这包括了超强算力的计算机（285000 个CPU/ 10000个GPU）、1750亿的参数、31个分工明确的作者、1200万美元的训练费用、45TB的训练数据等，这种规模的模型是一般中小企业所无法承受的。　　华商基金研究员金曦表示，AI行业的发展取决于硬件与算法，近年来硬件不断发展，而算法不断遇到瓶颈。GPT-3的出现让我们看到了如果硬件水平得到提升，那么AI行业仍可能出现新的机遇。但同时GPT-3高昂的成本也让我们有了更多的深思：AI发展在性价比上是否走错了方向？是否会引发技术垄断从而不利于小厂商的生存？　　拥有落地场景的公司或强者恒强　　金曦认为，考虑到ChatGPT级别的预训练大模型跑一次的成本是千万美元级别，而将其商业化部署，落地多用户高并发任务中，成本只会更高。这就意味着国内有能力的参与者的仅为少数，大部分的初创企业很难有机会。　　尽管当前国内大部分公司还没有大规模训练的布局，但AI商业化最大的困难是商业模式，而前期拥有落地场景的公司有望强者恒强，现在的收入、场景有助于支撑公司继续探索新一代AI技术的落地和变现，我们也将持续关注立足NLP自然语言处理相关技术的人工智能公司以及上下游。　　文中ChatGPT概念指数数据来自万得信息，近1年为“2022年2月15日至2023年2月14日”。　　以上观点不代表任何投资建议，市场有风险，基金投资须谨慎。
金融界2023-02-22
OpenAI与AIGC：改变人类生产范式通往“万物的摩尔定律”
go
》，其中提到 OpenAI，乃至整个 AI 行业的使命是通过实现 AGI 来降低所有人经济生活中的智能成本。这里所谓 AGI，指的是能完成平均水准人类各类任务的智能体。因此，OpenAI 始终保持着学术型企业的姿态处于行业上游，成为学界与业界的桥梁。当学界涌现出最新的 state-of-art 模型，他们能抓住机会通过海量算力和数据集的堆叠扩大模型的规模，达到模型意义上的规模经济。在此之后克制地开放商业化 api，一方面是为了打平能源成本，更主要是通过数据飞轮效应带来的模型进化收益：积累更富裕的数据优化迭代下一代大模型，在通往 AGI 的路上走得更坚实。定位相似的另一家公司是 Deepmind——2010年成立，2014 年被谷歌收购。同样背靠科技巨头，也同样从强化学习智能决策领域起家，麾下的 AlphaGo 名声在外，Elon Musk 和 Sam Altman 刚开始组局创办 OpenAI，首要的研究领域就是步 AlphaGo 后尘的游戏决策 AI。不过 19 年后，两者的研究重心出现了分叉。DeepMind 转向使用 AI 解决基础科学如生物、数学等问题：AlphaFold 在预测蛋白质结构上取得了突破性的进展，另一个 AI 模型 AlphaTensor 自己探索出了一个 50 年悬而未决的数学问题：找到两个矩阵相乘的最快方法，两个研究都登上了 Nature 杂志的封面。而 OpenAI 则转向了日常应用的内容生成 AIGC 领域。 AIGC大模型是通往 AGI 路上极为重要、也有些出乎意料的一站。其重要性体现在 AI 对人类传达信息的载体有了更好的学习，在此基础上各个媒介之间的互通成为可能。例如从自然语言生成编程语言，可以产生新的人机交互方式；从自然语言生成图片和视频，可以革新内容行业的生产范式。意外性则是，最先可能被替代的不是蓝领，而是创作者，DeepMind 甚至在协助科学家一起探索科研的边界。 OpenAI 的模式也给了下游创业者更多空间。可以类比当年预训练语言模型发展初期，Hugging Face把握机会成为大模型下游的模型开源平台，补足了模型规模膨胀下机器学习民主化的市场空间。而对 AIGC 模型，未来会有一类基于大模型的创业公司，把预训练完成的 AIGC 模型针对每个子领域进行调优。不只需要模型参数优化，更要基于行业落地场景、产品交互方式、后续服务等，帮助某个行业真正用上大模型。正如 AI 的 bitter lesson 一样矛盾，投资者需要短期投资回报率、研究者需要短期投稿成功率，尽管OpenAI 走在通往 AGI 正确的路上，这条路道阻且长，短期很难看到极大的突破。而 Sam Altman 展望的大模型应用层公司很有可能有更高的高投资回报，让我们来介绍下主要的分类与创业者。百家争鸣的 AIGC 大模型应用层对应 OpenAI 大模型发布的顺序，模型应用层相对最成熟的是文本生成领域，其次是图片生成领域，其他领域由于还未出现统治级的大模型相对落后。文本领域天然应用场景丰富，且 GPT-3 开放 api 很久，细分赛道很多。大致可以根据生成内容不同分为两类：机器编程语言生成、人类自然语言生成。前者主要有代码和软件行为的生成等，后者主要有新闻撰写、文案创作、聊天机器人等。而图片领域当前还专注于图片自身内容的生成，预期随着未来3D、视频相关内容生成能力的增强，会有更多结合不同业务场景如游戏、影视这样细分领域的创业公司。以下是海外各子领域创业公司的梳理，接下来将针对几个领域的重要公司进行介绍。 1、编程语言文本领域最成熟的应用暂时不在人类自然语言，而是在代码等机器语言的生成领域。因为机器语言相对更结构化，易学习；比如鲜有长文本的上下文关系、基于语境的不同含义等情况。（1）代码生成：Github Copilot 代表公司是微软出品的 Github Copilot，编程中的副驾驶。该产品基于 OpenAI 专门用 GPT-3 为编程场景定制的AI模型 Codex。使用者文字输入代码逻辑，它能快速理解，根据海量开源代码生成造好的轮子供开发者使用。提高一家科技公司 10% 的 coding 效率能带来很大收益，微软内部已进行推广使用。相比低代码工具，Copilot 的目标群体是代码工作者。未来的低代码可能是两者结合：低代码 UI 界面实现代码框架搭建，代码子模块通过 Copilot 自动生成。正如 Copilot 的 slogan：Don’t fly solo，没有 Copilot 的帮助 coder 的工作会变得繁冗，没有 coder 的指引 Copilot 生成的内容可能会出现纰漏。也有用户报告了一些侵犯代码版权、或代码泄露的案例，当前技术进步快于版权法规产生了一定的空白。（2）软件行为生成：Adept.ai Adept.ai 是一家明星创业公司。创始团队中有两人是Transformer 模型论文作者，CEO 是谷歌大脑中大模型的技术负责人，已经获得 Greylock 等公司 6500 万美元的 A 轮融资。他们的主要产品是大模型 ACT-1，让算法理解人类语言并使机器自动执行任务。目前产品形态是个 chrome 插件，用户输入一句话，能实现单击、输入、滚动屏幕行文。在展示 demo中，一位客服让浏览器中自动记录下与某位顾客的电话，正在考虑买 100 个产品。这个任务需要点击 10 次以上，但通过 ACT-1 一句话就能完成。软件行为生成颠覆的是当下的人机交互形式，使用文字或语音的自然语言形式来代替当下人与机器的图形交互模式（GUI）。大模型成熟后，人们使用搜索引擎、生产力工具的方式都将变得截然不同。 2、自然语言自然语言下还有多个应用型文本生成领域值得关注：新闻撰写、文案创作、对话机器人等。（1）新闻撰写最著名的是 Automated Inights。他们的结构化数据新闻撰写工具叫做 wordsmith，通过输入相应数据和优先级排序，能产出一篇基于数据的新闻报道。该工具已在为美联社每季度自动化产出 300 余篇财报相关报道，在雅虎体育新闻中也已经崭露头角。据分析师评价，由 AI 完成的新闻初稿已接近人类记者在 30 分钟内完成的报道水准。 Narrative Science是另一家新闻撰写生成公司，其创始人甚至曾预测，到 2030 年，90%以上的新闻将由机器人完成。（2）文案创作该领域竞争较为激烈，有copy.ai、Jasper、copysmith 等公司。他们基于 GPT-3 的能力加入了文案领域的人工模板与结构，为商家和个人创作者提供了快速为自己的商品、内容进行宣传的能力。以copysmith 为例：（3）对话机器人前面提到的 Adept.ai 由Transformer 模型的一作和三作联合创立；而二作也创业了，他创办的 Character.ai 是当前对话机器人中使用效果最逼真的。该对话机器人可以自定义或使用模板来定义角色的家庭、职业、年龄等，在此基础上保持一贯的设定和符合设定的对话风格。经常能体现出一定的共情对话能力带给人惊喜，并且支持多语言互通。比如他们有已训练好的马斯克等名人和一些动漫角色，与他们对话会有很棒的代入感。而商业化的对话机器人，在客服、销售等行业有巨大的市场空间，但如今还为成熟。主要出现的问题有二：其一，客服、销售行业遇到的客户往往情绪状态不稳定，AI 难以对情绪进行适应并调整对话内容；其二，AI 的多轮对话能力较弱，无法保证持续有效的跟进问题。（4）创作性文本 AI 对于长文本创作有一定困难，难以保持1000字以上的文本创作后仍能进行上下文的联系。但基于短文本创作仍有一些有趣的应用，例如基于GPT-3的 AI Dungeon，可以引导 AI 创造一个虚拟游戏世界观。该领域进一步的成长需要期待未来 3-5 年，有成熟的能产出千字内容的 AI 出现。 3、多模态图片 DALL·E2 是极具突破性的 AIGC 大模型，但距离丰富生产力和创造力的成熟产品还有差距。因此有研究者顺着 DALL·E 和 CLIP 的思路开发了开源版本的扩散模型，就像当年的 Hugging Face 那样，并将其根据创作者社区的反馈转变为更成熟易用的商业产品。接下来就介绍几个主要出圈的模型：（1）Disco Diffusion 最早出圈的 AI 绘图工具是开源模型Disco Diffusion。发布时间比 DALL·E 2 稍晚，同样也是 CLIP + Diffusion Model 的结构，生成效果让许多插画师担心起了失业。尽管很多插画师和 AI 工具爱好者的推荐都认可了该工具的易用性和生成效果的出众，但其生成时间略长有待优化，可以认为是大家对图片生成大模型的初体验。（2）MidJourney 该模型发布后不久，Disco Diffusion 的开发者 Somnai 加入了 MidJourney，和团队一起打造了一款产品化的 Disco Diffusion。 Midjourney 的创始人 David Holz 并不是以CV（计算机视觉）研究为主，更关注人机交互。产品公测和主要交流平台都基于Discord，使用 Discord Bot 进行交互，打造了相当良好的社区讨论环境。使用中印象深刻的有几个重要功能：MidJourney 画廊中可以看到每时每刻创作者们用 MJ 创作出的作品，用户可以对作品进行打分，每周排名靠前的作品将得到额外的 fast GPU 时间奖励。同时，MJ官方还为用户贴心的提供了引导语 prompt 集合和 AI 擅长的风格指南，指导用户如何最高效的生成出他们想要的图片。基于良好的产品和社区体验，MidJourney 的付费用户量也是目前最大的。目前收费模式采用了订阅制，个人用户有两个档位，每月最多 200 张图片（超额另收费）的 10 美元/月，以及”不限量“图片的 30 美元/月；对企业客户，单人一年收费仅有 600 美元，且生成的作品可以商用（当前法规尚不完善，仍可能存在一定版权问题）。（3）Stable Diffusion 如果说 MidJourney 是一个勤勤恳恳的绩优生，那么 Stability.ai 则是天赋异禀技术力强、诞生之初就备受 VC 追捧的富二代，公司估值已达到十亿美元。产品 Stable Diffusion 首要目标是一个开源共创模型，与当年的 Hugging Face 神似。创始人 Emad 之前是对冲基金经理，用自己充裕的资金联合 LMU 和 Runaway ML开发了开源的 Stable Diffusion，在 Twitter 上使用扎克伯格在 Oculus 发布会上的照片作为背景，号召SD会成为”人类图像知识的基础设施“，通过开源让所有人都能够使用和改进它，并让所有人更好地合作。 Stable Diffusion 可以认为是一个开源版本的DALL·E2，甚至不少使用者认为是当前生成模型可以使用的最佳选择。官方版本部署在官网 Dream Studio 上，开放给所有用户注册。相比其他模型，有很多可以定制化的点。不过官网只有 200 张免费额度，超过需要付费使用，也可以自行使用开源 Colab 代码版无限次使用。此外，Stable Diffusion 在压缩模型容量，希望使该模型成为唯一能在本地而非云端部署使用的 AIGC 大模型。 05 AIGC大模型的未来展望 1、应用层：多模态内容生成更加智能，深入各行业应用场景上述的多模态图片生成产品当前主要局限于创作画作的草图和提供灵感。在未来待版权问题完备后， AIGC 内容能进入商用后，必然会更深入地与业界的实际应用进行结合：以游戏行业为例， AI 作画给了非美术专业工作者，如游戏策划快速通过视觉图像表达自己需求和想法的机会；而对美术画师来说，它能够在前期协助更高效、直接地尝试灵感方案草图，在后期节省画面细节补全等人力。此外，在影视动画行业、视频特效领域，甚至是文物修复专业，AI 图片生成的能力都有很大想象空间。当然，这个领域 AI 的能力也有着不小的进步空间，在下面的未来展望部分进行阐发。目前 AIGC 存在 Prompt Engineering 的现象，即输入某一些魔法词后生成效果更好。这是目前大模型对文本理解的一些缺陷，被用户通过反向工程进行优化的结果。未来随着语言模型和多模态匹配的不断优化，不会是常态，但中短期内预期Prompt Engineering 还是得到好的生成内容的必备流程之一。 2、模态层：3D生成、视频生成 AIGC 未来3-5年内有明显进步多模态（multimodal）指不同信息媒介之间的转换。当前 AI 作图过程中暴露的问题会成为视频生成模型的阿喀琉斯之踵。例如：AI 作画的空间感和物理规则往往是缺失的，镜面反射、透视这类视觉规则时常有所扭曲；AI 对同一实体的刻画缺少连续性。根本原因可能是目前深度学习还难以基于样本实现一些客观规则泛化，需要等待模型结构的优化进行更新。 3D生成领域也有很大价值：3D 图纸草图、影视行业模拟运镜、体育赛场现场还原，都是 3D 内容生成的用武之地。这一技术突破也渐渐成为可能。 2020年，神经辐射场（NeRF）模型发布，可以很好的完成三维重建任务：一个场景下的不同视角图像提供给模型作为输入，然后优化 NeRF 以恢复该特定场景的几何形状。基于该技术，谷歌在2022年发布了 Dream Fusion 模型，能根据一段话生成 360 度三维图片。这一领域当前的实现效果还有优化空间，预期在未来3-5年内会取得突破性进展，推动视频生成的进步。 3、模型层：大模型参数规模将逼近人脑神经元数量近年的大模型并未对技术框架做颠覆性创新，文本和图像生成领域在大模型出现前，已有较成熟方案。但大模型以量变产生质变。从神经网络角度看，大脑有约 100 万亿神经元， GPT-3 有 1750 亿参数，还相差了 1000 倍的数量级，随着算力进步可以发展的空间还很大。神经网络本质是对高维数据进行复杂的非线性组合，从而逼近所观测数据分布的最优解，未来一定会有更强的算力、更精妙的参数堆叠结构，来刷新人们对AI生成能力的认知。 4、成本结构决定大模型市场的马太效应大模型最直接的成本便是能源成本（energy cost），GPT-3 发布时的训练成本在千万美元级别。难以在短期内衡量 ROI ，大科技公司才能训练大模型。但随着近年模型压缩、硬件应用的进步，GPT-3 量级的模型成本很可能已降至百万美元量级，Stable Diffusion 作为一个刚发布一个月的产品，已经把原本 7GB 的预训练模型优化压缩至 2GB 左右。在这样的背景下，算力成本在未来必然会逐渐变得更合理，但 AIGC 领域的另一个成本项让笔者对市场结构的预测还是寡头垄断式的。大模型有明显的先发优势，来自巨大的隐形成本：智能成本。前期快速积累用户反馈数据能帮助模型持续追新优化，甩开后发的竞争者，达到模型性能的规模效应。 AI 的进化来自于数据的积累和充分吸收。深度学习，乃至当前的所有机器学习都是基于历史预估未来，基于已有的数据给到最接近真实的可能。正如前文讨论的，OpenAI 的目标从来不是留恋于某个局部行业的商业产品，而是通过模型规模经济，不断地降低人类社会全局的智能成本，逼近通用人工智能 AGI。规模经济正体现在智能成本上。 5、虚拟世界的 AGI 会先于现实世界诞生从更宏观的视角上，虚拟世界 AI 技术的智能成本比现实世界中来得低得多。现实里 AI 应用最普遍的是无人驾驶、机器人等场景，都对 Corner Case 要求极高。对于AI模型而言，一件事超过他们的经验范畴（统计上out of distribution），模型将立马化身人工智障，不具备推演能力。现实世界中 corner case 带来的生命威胁、商业资损，造成数据积累过程中极大的试错成本。虚拟世界则不同，绘图时遇到错位扭曲的图片，大家会在 Discord 中交流一笑了之；游戏 AI 产生奇怪行为，还可能被玩家开发出搞怪玩法、造成病毒传播。因此虚拟世界，尤其是泛娱乐场景下的 AIGC 积累数据成本低会成为优势。这个领域的 AI 如果节省人力、生成内容产生的商业价值能大于算力成本，能很顺畅地形成低成本的正向循环。伴随着另一个重要的革新——长期 Web3.0元宇宙场景下新内容经济生态的形成，虚拟世界内容场景下的 AI 很可能更早触及到 AGI。来源：金色财经
金色财经2023-02-21
Web3中文｜42岁退休身价百亿王慧文高调复出再创业只为Ta
go
王慧文早有准备。此次，王慧文高调进军AI行业抓准了时机，蹭上了ChatGPT的热度，使其一夜间再次“成名”，也将“王慧文”这个名字与“AI”牢牢绑定。 ChatGPT让互联网圈“内卷” 欲搭上“ChatGPT热度”这辆车的公司、企业家不止是王慧文。 2月6日，路透社报道称，谷歌母公司Alphabet宣布将推出名为“Bard”的AI（人工智能）聊天机器人服务以及更多的人工智能项目。 2月7日，百度聊天机器人项目名字确定为“文心一言”，英文名ERNIE Bot，将在三月份完成内测，面向公众开放。 2月8日，微软公司推出了新的人工智能搜索引擎必应(Bing)和Edge浏览器。此后，关于ChatGPT的消息越来越多。 2月9日，360 创始人周鸿祎在与搜狐创始人张朝阳对话时，首次谈到 ChatGPT。他直言，如果企业搭不上 ChatGPT 这班车，很可能会被淘汰。网易有道也放出消息称，其AI技术团队已投入到ChatGPT同源技术AIGC在教育场景的落地研发中。除此之外，字节跳动的人工智能实验室（AI Lab）称有开展类似ChatGPT和AIGC的相关研发，未来或为PICO提供技术支持。小米称在ChatGPT领域有丰富落地场景，包括小爱对话、机器人等，其中小爱拥有庞大数据支撑，会让小米在大模型方面进展更迅速。腾讯相关人士也向记者表示，腾讯目前在ChatGPT和AIGC相关方向上已有布局，专项研究也在有序推进。据悉，ChatGPT是OpenAI公司2022年12月1日推出的通用聊天机器人。ChatGPT的互动非常流畅，并且有能力参与各种对话主题。瑞银报告数据显示，截至今年一月末，ChatGPT的月活用户已突破1亿，这距离它推出不过2个月时间，成为史上增长最快的消费者应用。 AI发展此前虽然不瘟不火，但各大公司都在暗暗布局。此次ChatGPT的火热掀开这层帘子，让互联网圈“内卷”起来，纷纷秀起了自己家的AI实力。互联网充满机遇与挑战互联网的世界，从来不缺少新鲜事。区块链、Crypto、NFT、元宇宙、Web3、AI……每一次的热点都充满机会，站在风口，就能吃到红利。王慧文高调布局AI，不得不说他抓准了时机，把握住了机会，也为自己的AI事业打出了名声。但回头看看，互联网发展的巨大变化也就短短几年时间，充满机遇与挑战，有人急流勇退，有人与时俱进。王慧文在AI领域能不能成功，再创曾经的辉煌，还是一个未知数。无论成功与否，互联网的魅力不就是由像他这样一个个人物精彩的创业故事所构成，吸引着一代又一代的创业者们勇往直前。参考：北京商报《王慧文复出“卷”AI》互联网坊间八卦《今天我们来八卦一下——美团创始人王慧文！》百度百科：王慧文编辑：Bowen@Web3CN.Pro 声明：web3中文编辑作品，内容仅代表作者立场，且不构成投资建议，请谨慎对待，如文章/素材有侵权，请联系官方客服处理。来源：金色财经
金色财经2023-02-15
警惕！一大风险突袭
 go
扩散后，计算机后续将有三种可能。①其他AI行业赛道，例如AI金融、AI汽车、AI医疗、AI电力等的应用；②回归A股AI应用领军，例如安防双杰、科大讯飞(国内NLP最佳AI公司)、金山办公(微软的AI对标)；③若AIGC弹性暂时平息，应当回到成长领军、其他赛道领军。　　多家外资披露最新持仓　　海外市场近日也有新消息。　　近期，包括高盛、摩根大通、贝莱德、高瓴、高毅资产、景林资产等多个巨头向美国证券交易委员会(SEC)提交13F报告，披露四季度所持美股股票和持仓规模。　　根据各大巨头的持仓报告，中概互联网仍是巨头们看好的资产。　　从具体持仓来看，截至2022年末，高瓴旗下HHLR Advisors前十大重仓股为：百济神州、京东、贝壳、阿里巴巴、唯品会、传奇生物、自由港麦克莫兰、拼多多、赛富时、DoorDash，其中有7只是中概股。　　操作上，HHLR围绕中概股和科技公司进行集中配置，对包括阿里巴巴、京东、拼多多在内的11只中概股进行了增持、新进买入等加仓操作。截至2022年末，HHLR全部美股持仓中，中概股市值占比接近70%。　　除了高瓴，高毅、贝莱德、景林资产等巨头也对中概股青睐有加。　　高毅资产管理国际前十大重仓股中，中概股占8席，新进阿里巴巴和网易；景林资产也大幅加仓拼多多、京东；柏基投资(Baillie Gifford & Company)则大手笔增持拼多多、蔚来；全球规模最大的资管集团之一的贝莱德增持144万股哔哩哔哩，增持幅度近600%。　　总体而言，在中概股方面，机构也是更偏好软件类的科技企业。2022年四季度以来，互联网板块估值得到修复，对于互联网板块后期走势，不少机构认为，需要更多基本面兑现才能支撑其估值继续走高。　　A股港股如何抉择？　　从上述机构持仓可以看出，做多中国资产再度成为对冲基金的“必选项”。据美银基金经理称，看涨中国股票被视为当前最拥挤的交易。　　反观国内，机构也继续看好A股和港股的后续行情。　　中金公司最新观点认为，下半年如果经济和企业盈利修复动能仍较强，届时港股有望再度跑赢A股。　　1)从基本面看：由于港股外资占比高，投资风格整体更偏基本面化，在国内经济增长复苏阶段往往港股表现好于A股，观测指标包括固定资产投资走强，PMI持续高于荣枯线，PPI等价格指标增长等；另一方面，企业盈利预期整体上修，盈利能力走强，资本开支增速反弹也相对有利港股。　　2)从流动性看：A股流动性长期好于港股，使得A股存在中小市值和新股溢价，AH股溢价水平和AH股的换手率比值成正比。但是当海外流动性比国内更宽松，全球资金流入中国市场，AH换手率比值下降，港股可能相对受益而跑赢。　　3)从汇率看：港股本质上仍以美元计价，表现受美元指数影响较大，而美元指数也受中外基本面差和流动性影响较大，历史上恒生指数或相对A股表现在多数时间与美元指数负相关，美元走弱和人民币走强阶段往往港股有较好的表现。　　中期来看，随着“稳增长”继续发力，充分发挥内需市场潜力大、改革空间足的优势，下半年如果经济和企业盈利修复动能仍较强，届时港股有望再度跑赢。　　结构层面，一方面如果中国经济明显走强带动美元回落和人民币升值，港股成长风格仍有跑赢A股成长的机会，尤其是港股特色的互联网、创新药等行业；另一方面，部分业绩周期性强，估值调整更充分，当前仍处于基本面筑底的行业或个股可能修复弹性更大，如原材料、资本品等传统老经济行业。
证券之星2023-02-15
AI界新贵“出圈”：ChatGPT CNTM 和加密货币揭示何种未来？
go
、手机助手等信息获取形式，对信息产业和AI行业产生深远影响。”黄民烈说。 ChatGPT面临哪些争议？ AI技术的发展也带来了诸多争议。以深度伪造(Deepfake)为代表的AI换脸技术此前引发了一波关于隐私权和真相的讨论。对此，黄民烈认为，ChatGPT已针对法律、道德等问题进行优化，其表现也比“同行”更好，研发者收集高质量人工反馈数据时，把涉及安全性和道德的问题作为ChatGPT的重要部分设计进去了，再通过强化学习，ChatGPT就学到了安全回复的能力。不过，ChatGPT仍面临道德问题。黄民烈举了一个例子：若用户要求ChatGPT作出违法举动，就会遭到拒绝；但如果用户借口创作小说要求ChatGPT提供违反法律的建议，就可能得到答案。 ChatGPT推出后，其强大的文字撰写能力得到了学生群体的青睐，被用作完成论文。迄今为止，美国、英国等国多所高校已明令禁止学生在校内使用ChatGPT。美国《科学》杂志近期也发表声明，称不接受使用ChatGPT生成的投稿论文，ChatGPT也不可以作为论文合著者出现。黄民烈认为，使用ChatGPT完成作业或学术论文的问题之一是侵犯版权。但不能“因噎废食”，“技术可以继续发展，并在此过程中对问题进行针对性治理”。另一方面，科技进步未能解决地区发展不平衡问题，全球科技鸿沟问题至今仍然存在。AI作为尖端科技，也只有少数国家能够在此领域进行大量投入。黄民烈称，与AI息息相关的大模型训练需要大量算力和数据，训练和推理成本也很高昂，无论是学术界还是科技界，只有少量的机构能负担起相关技术的研发，这在一定程度上已经造成了不公平问题。 “AI威胁论”是否危言耸听？随着AI技术日趋成熟，“AI威胁论”得到了更多关注。ChatGPT推出后，其具备的各种专业功能不断被发掘出来。有观点认为，程序员、翻译、客服等岗位最终都可能被AI取代。针对AI技术发展可能引发的失业问题，黄民烈认为， AI工具的普及将降低自由撰稿人、游戏制作者等职业的门槛，带来更多自由职业的机会。不过，未来人工智能生成内容(AIGC)、用户生成内容(UGC)及专业生产内容(PGC)进行更深入地结合后，一些职业的淘汰是不可避免的，“如何与AI共生是每个人可能都将面对的问题”。此外，科幻作品中的“AI威胁论”常包含一个重要因素——愈发强大的AI终将寻求消灭或取代人类。对此，黄民烈称，科幻作品中的反派AI形象都具有自我意识，但现实中的AI目前既没有自我意识也没有自主决策能力，现阶段，AI所有能力的来源都是人类提供的数据和反馈。“ChatGPT这类系统是典型的机器属性，仅为满足人的信息需求或完成任务而存在，并不具有人格、情感、风格等。机器属性和能够满足情感、社交、陪伴需求的类人属性相结合才是真正的数字生命体，也就是真正意义上的‘人工智能’。” Connected2Me（CNTM）是一个专门为Web3打造的人工智能服务平台，其产品和服务已在全球广泛地被报道与采用，其基于GPT3.5打造的人工智能Web3搜索引擎Jinn即将隆重登场尽管2022年加密行业经历了Terra和FTX暴雷等黑天鹅事件，导致整个行业信心崩溃，但熊市期间仍然取得了一些正面的进展。币圈熊市也是需要热点来点燃市场的热情！币圈的热点好像就是这样转换的！之前的元宇宙然后动物园系列然后 defi 然后链游 GMT axs 之类的！然后就是 NFT 无聊猿 ape之类的然后就是公链 APT 等等现在是 ai 这个有几个月热度了 agix都十几倍了！ Connected2Me成就回顾基于人工智能的个性化金融服务：去中心化的理财产品AI测评；通过AI模型演练为用户提供定制化的AI顾问服务； Connected2Me未来发展基于ChatGPT的理论，创建CNTM的GPT平台：Jinn；为Jinn加入双引擎结构：GPT引擎+传统搜索引擎，从而实现Web3的AI搜索功能；将Jinn与CNTM1.0的板块结合，增强金融领域的AI搜索推荐功能； Jinn=ChatGPT+Sparrow ChatGPT目前的三个核心问题和痛点：对于知识类型的问题，ChatGPT会给出看上去很有道理，但是事实上是错误答案的内容；拓展解读：对于这样来说，由于ChatGPT的一部分回答很准确，而一部分看上去有道理，但事实上很离谱，而用户并没有足够的能力来进行辨别，这将给用户如何采信ChatGPT的答案带来很多困惑。 ChatGPT目前这种基于GPT大模型基础上进一步增加标注数据训练的模式，对于LLM模型吸纳新知识非常不友好。拓展解读：新知识总是在不断出现，而出现一些新知识就去重新预训练GPT模型是不现实的，无论是训练时间成本还是金钱成本，都不可接受。如果对于新知识采取Fine-tune的模式，看上去可行且成本相对较低，但是很容易产生新数据的引入导致对原有知识的灾难遗忘问题，尤其是短周期的频繁fine-tune，会使这个问题更为严重。 ChatGPT或GPT4的训练成本以及在线推理成本太高，无法承载超过千万级的用户同时使用。拓展解读：假设继续采取免费策略，OpenAI无法承受，但是如果采取收费策略，又会极大减少用户基数，无法实现规模化。 Sparrow（Google的产品）是ChatGPT的良好补充： sparrow在人工标注方面的质量和工作量不如ChatGPT； Sparow的基于retrieval结果的生成结果证据展示，以及引入LaMDA系统的对于新知识采取retrieval模式，可以完美解决新知识的及时引入，以及生成内容可信性验证两个核心问题。核心技术路线第一阶段：冷启动阶段的监督策略模型。靠GPT 3.5本身，尽管它很强，但是它很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令中蕴含的意图，首先会从测试用户提交的prompt(就是指令或问题)中随机抽取一批，靠专业的标注人员，给出指定prompt的高质量答案，然后用这些人工标注好的数据来Fine-tune GPT 3.5模型。经过这个过程，我们可以认为GPT 3.5初步具备了理解人类prompt中所包含意图，并根据这个意图给出相对高质量回答的能力；第二阶段：训练回报模型（Reward Model,RM）。这个阶段的主要目的是通过人工标注训练数据，来训练回报模型。在这个阶段里，首先由冷启动后的监督策略模型为每个prompt产生K个结果，人工根据结果质量由高到低排序，以此作为训练数据，通过pair-wise learning to rank模式来训练回报模型。对于学好的RM模型来说，输入，输出结果的质量得分，得分越高说明产生的回答质量越高。第三阶段：采用强化学习来增强预训练模型的能力。本阶段无需人工标注数据，而是利用上一阶段学好的RM模型，靠RM打分结果来更新预训练模型参数。二三阶段迭代：不断重复第二和第三阶段，每一轮迭代都使得LLM模型能力越来越强。因为第二阶段通过人工标注数据来增强RM模型的能力，而第三阶段，经过增强的RM模型对新prompt产生的回答打分会更准，并利用强化学习来鼓励LLM模型学习新的高质量内容，这起到了类似利用伪标签扩充高质量训练数据的作用，于是LLM模型进一步得到增强。下一代搜索引擎：Jinn Jinn将采用传统搜索引擎+ChatGPT的双引擎结构，ChatGPT模型是主引擎，传统搜索引擎是辅引擎。传统搜索引擎的主要辅助功能有两个：一个是对于ChatGPT产生的知识类问题的回答，进行结果可信性验证与展示，就是说在ChatGPT给出答案的同时，从搜索引擎里找到相关内容片段及url链接，同时把这些内容展示给用户，使得用户可以从额外提供的内容里验证答案是否真实可信，这样就可以解决ChatGPT产生的回答可信与否的问题，避免用户对于产生结果无所适从的局面。传统搜索引擎的第二个辅助功能是及时补充新知识。既然不可能随时把新知识快速引入LLM，那么可以把它存到搜索引擎的索引里，ChatGPT如果发现具备时效性的问题，它自己又回答不了，则可以转向搜索引擎抽取对应的答案，或者根据返回相关片段再加上用户输入问题通过ChatGPT产生答案，这里有一部分将参考LaMDA关于新知识处理的具体方法。总结很多人问为何不推荐AGIX之类的强势龙头？这就是很韭菜的问题了，AGIX已经走得太远了，追高实属不明智的选择，CNTM才是大多数后知后觉投资者的战略第一布局标的！现CNTM上方一旦突破0.2，将势不可挡，在此刻AI人工智能的热潮中，身为OK的AI代言币种，能走多远相信不用我多说，大家内心都有数。 CNTM官方推特宣布同时布局 AI 以及 LSD 赛道，此前CNTM创始人在官方社区中表示已经开始布局 AI 赛道，第一个CNTM产品跟 NFT 交易所的结合在2月底即将推出，为登录某安交易所做准备。来源：金色财经
金色财经2023-02-13

上一页
1
•••
64
65
66
67
68
69
下一页

24小时热点

最新话题更多