全球数字财富领导者
财富汇
|
美股投研
|
客户端
|
旧版
|
北美站
|
FX168 全球视野 中文财经
首页
资讯
速递
行情
日历
数据
社区
视频
直播
点评旗舰店
商品
SFFE2030
外汇开户
登录 / 注册
搜 索
综合
行情
速递
日历
话题
168人气号
文章
科技公司仍然沉迷于股票期权 这四家公司可能面临最大风险。
go
lg
...
ttNathanson的名单中,微软(
Microsoft
)、Adobe、Paycom软件公司(Paycom Software)和Intuit公司(Intuit)也名列其中。他们对股票薪酬占收入比例的筛选最低。 随着投资者对自己的投资变得更加挑剔,股票薪酬可能会成为一个更重要的问题。阿德说,越来越多的基金经理问他,如何合理解释基于股票的薪酬所造成的稀释,这样他们就能避开那些最严重的侵犯者。 多年来,至少有一位知名投资者在做投资决定时一直在衡量股票价格:沃伦•巴菲特(Warren Buffett)总是评估公司的实际成本。他在1998年的伯克希尔哈撒韦年度信中写道:“当我们考虑投资一家期权发行公司时,我们会对报告的收益进行适当的向下调整。”投资者应该效仿巴菲特。
lg
...
金融界
2023-03-07
硅谷面临增长的终结 科技股迎来新时代!
go
lg
...
年第四季度,苹果(Apple)、微软(
Microsoft
)、Alphabet (GOOGL)、Meta和亚马逊(Amazon.com)合计增长了1%。惠普的名字来源于硅谷传奇人物威廉·休利特和大卫·帕卡德,他们最初是车库里的两个人。惠普报告称,由于个人电脑市场仍处于新冠疫情后的萧条期,其最新季度的销售额下降了19%。戴尔报告收入下降了11%——实际上比预期要好一点——但警告说,情况在好转之前还会变得更糟。 准备就绪的超空间按钮Salesforce公布了超过华尔街预期的1月季度收益。但它的增长故事正在褪色。该公司今年的收入增长了10%,是有史以来最小的年度增幅。 增长干旱是普遍的。在疫情期间蓬勃发展的个人电脑需求已经崩溃。智能手机市场已经成熟。无线服务和流媒体视频市场也是如此。芯片制造商正在削减产量。英特尔(Intel)最近一个季度的收入下降了32%。存储芯片生产商美光科技(Micron Technology) 11月当季销售额下降47%;第二季度的降幅将超过50%。云计算需求仍在增长,但增长速度变慢了。亚马逊和微软都表示,他们正在帮助客户“优化”他们的云支出。 与此同时,科技公司的首席执行官们加快了通过股票回购向股东返还现金的步伐。(毕竟,裁员可以释放现金。)Meta宣布了一项新的400亿美元的回购计划,使其总授权超过500亿美元,占其市值的10%以上。Salesforce几个月前刚刚公布了100亿美元的回购计划——这是它的第一个回购计划——上周将其提高到200亿美元。 拜登政府威胁要将股票回购税从1%提高到4%,但企业似乎不为所动。在任何其他年份,像Meta和Salesforce这样的公司都会很乐意用多余的现金进行收购,但美国政府也不喜欢这样。 贝尼奥夫在按下超空间按钮的同时,震惊了该公司的并购委员会,该委员会已正式解散。对于一家近年来斥资超过500亿美元收购Slack、MuleSoft、Tableau等公司的公司来说,这是一个相当大的声明。分析人士倾向于认为贝尼奥夫的扳机已经发痒,但由于有五个不同的激进投资者持有头寸,并要求他把那个“你知道什么”按钮扣紧,他必须打出面前的牌。 另一方面,考虑到拜登总统以及联邦贸易委员会(Federal Trade Commission)和司法部(Justice Department)那些鄙视并购的领导人的领导下,科技交易前景黯淡,现在退出并购相当容易。虽然美国联邦贸易委员会最终放弃了阻止Meta收购一家小型元宇宙软件公司Within的努力,但监管部门仍然对几笔悬而未决的交易感到担忧,包括微软(
Microsoft
)拟议收购动视暴雪(Activision Blizzard),以及亚马逊(Amazon)收购Roomba真空吸尘器制造商iRobot的交易。 更糟糕的是,IPO市场仍然关闭,因此风投支持的初创企业没有可行的退出策略。风投支持的公司在2022年第四季度筹集了324亿美元,比第三季度的总额下降了14%。风险投资公司本身也大幅放缓了对新资金的追求。安永表示,他们在2022年第四季度仅筹集了71亿美元,而今年前九个月筹集了1576亿美元。
lg
...
金融界
2023-03-07
TCL中环涨超8.39%,光伏ETF华安(159618)涨超3.22%
go
lg
...
03月06日,光伏产业板块今日强势上涨,持续拉升,TCL中环(002129)领涨8.42%,石英股份(603688)涨超8.07%,德业股份(605117)涨超6.92%,固德威(688390)涨超6.46%,双良节能(600481)涨超5.44%。 相关ETF——光伏ETF华安(159618)目前上涨3.22%,势头强劲。据国网数据,1月国网区域内光伏装机11.7GW,同比增82%,其中分布式装机7.6GW,同比增87%,集中式装机4.2GW,同比增76%。按国网装机占全国装机比重85%-90%测算,1月国内光伏装机预计在13-13.5GW,同比增约80%。一月光伏装机超预期,二月下游需求仍有较强支撑力。 (来源:界面AI) 声明:本条内容由界面AI生成并授权使用,内容仅供参考,不构成投资建议。AI技术战略支持为有连云。
lg
...
有连云
2023-03-06
ChatGPT思考:探索智能的极限
go
lg
...
enAI https://blogs.
microsoft
.com/blog/2023/01/23/
microsoftandopenaiextendpartnership
/ 5. efficient attention https://arxiv.org/abs/2302.04542 6. recursive encoding https://openai.com/research/summarizing-books 7. MoE 可以接着把模型 scale 到 T 的量级 https://arxiv.org/abs/2101.03961 8. log-linear 的曲线 https://arxiv.org/abs/2001.08361 https://arxiv.org/abs/2203.15556 9. Phase change 曲线 https://arxiv.org/abs/2206.07682 10. linear attention https://arxiv.org/abs/2103.02143 https://arxiv.org/abs/2302.04542 11. recursive encoding https://openai.com/research/summarizing-books 12. long-term memory https://arxiv.org/abs/2112.04426 13. OpenAI API https://platform.openai.com/docs/introduction/overview 14. Github Copilot https://github.com/features/copilot 15. Scalable Oversight https://arxiv.org/abs/2211.03540 16. 从 GPT-3 到 GPT-3.5 的全部版本迭代 https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc 来源:元宇宙之心 来源:金色财经
lg
...
金色财经
2023-03-05
2月集合信托发行回暖,预期收益率有所回升
go
lg
...
ns = "urn:schemas-
microsoft
-com:office:office" /> 据公开资料不完全统计,截至2月28日,2023年2月共有53家信托公司发行1778款集合信托产品,发行数量环比增加56款,增幅为3.25%;发行规模730.44亿元,环比增加24.58亿元,增幅为3.48%。 但集合信托的成立数量增长规模却显著下滑。 截至2月28日,2023年2月共有45家信托公司成立了1879款集合信托产品,成立数量环比增加220款,增幅为13.26%;成立规模477.49亿元,环比减少88.31亿元,降幅为15.61%。 从投向领域来看,2023年2月房地产类信托产品的成立规模为28.21亿元,环比减少25.94%;基础产业信托成立规模197.83亿元,环比减少12.19%;投向金融领域的产品成立规模202.08亿元,环比减少12.91%;工商企业类信托成立规模37.89亿元,环比减少46.16%。各投向领域都出现不同程度的下滑。 值得注意的是,集合信托产品的平均预期收益率走势趋稳。2月集合信托产品的平均预期收益率为6.68%,环比上升0.01个百分点;金融类信托产品的平均预期收益率为6.34%,房地产类信托产品的平均预期收益率为7.36%,工商企业类信托产品的平均预期收益率为6.10%,基础产业类信托产品的平均预期收益率为6.70%,各领域投向的平均收益率都有所上升。产品的平均期限为1.57年,环比缩短0.01年。
lg
...
金融界
2023-03-05
人工智能:中国式ChatGPT的“大跃进”
go
lg
...
、Uber、Quora、NVIDIA、
Microsoft
、Dropbox、DeepMind、Apple、Intel等公司,其中有10人来自谷歌,OpenAI的首席科学家Ilya Sutskever亦是从谷歌转会而来,Ilya Sutskever是AlphaGo的作者之一,师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever,如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌,与Sam Altman、Elon Musk等人一起创立OpenAI时,年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构,从这点上来看,无论是否带着情怀加入这家公司的研究人员,还是给“非营利”事业烧钱的投资人,多少都有一点对技术的“信仰”,这种驱动力,可能是钱买不来的。 不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道,2016年,OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow(对抗式生成网络的提出者)2016年从OpenAI得到的报酬则超过80万美元,而他在这一年中只工作了9个月,不过Ian Goodfellow在OpenAI没有待很长时间就离开了。 一直以来,硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中,在美国工作的全职“高级软件工程师,大型语言模型,应用机器学习”(Staff Software Engineer, Large Language Models, Applied ML)岗位基本工资范围为年薪17.4万-27.6万美元(约120万-190万元人民币)+奖金+股权+福利。 这份工作的主要职责是:为谷歌大型语言模型的关键冲刺做出贡献,将尖端的 LLM(Large Language Mode,大型语言模型) 引入下一代谷歌产品和应用程序,以及外部用户。在建模技术方面进行协作,以支持全方位的 LLM 调整,从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。 微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”(Post Doc Researcher-Machine Learning and Reinforcement Learning)年薪则在9.4万-18.2万美元(约64万-125万元人民币)。工作职责是“与其他研究人员合作制定自己的研究议程,推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员,其中5人本科毕业于国内高校,美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑,美国是从80亿人里挑,全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示,要承认差距确实存在,不过他也表示,“在这方面,我们也不用气馁。中国也有自己的优势,比如市场化、产品化的能力,近年来我们不比美国同行差了。” 国内大厂的实力如何? 除了人才问题,国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚,而起步晚的原因,则还是与“钱”脱不开关系。 从技术角度看,生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前,技术实现的效果并不理想,且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资,投入到这种看上去不太赚钱,还要烧钱的业务。 中国的AI产业更注重应用场景,而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务,比如听写、翻译,在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力,一方面他们赚钱,另一方面在这些领域的技术积累,使研究人员能够“在规定跑道上赛跑”,而不是在未知领域探路。 这一点不只是限制了国内公司,更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样,巨头都不喜欢“破坏式创新”,谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值,这也正是谷歌一直声称不愿发布LaMDA大模型的理由,害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题,毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。 不过,在这波大模型的追赶赛中,国内大厂的团队也可以说是实力颇强。 百度在大模型方面走的最早,百度自2019年开始研发预训练模型,先后发布了知识增强文心(ERNIE)系列模型。文心大模型研发的带头人,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士,是自然语言处理领域权威国际学术组织ACL(Association for Computational Linguistics)的首位华人主席、ACL亚太分会创始主席、ACL Fellow,还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前,王海峰在国内外期刊会议上发表的学术论文有200余篇,获得已授权专利170余项。 虽然没有像百度一样公布类ChatGPT产品的发布时间表,但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型,均已研发了很长时间。 据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计(2023年的统计尚未发布)显示,2012-2021年中,在ML(Machine Learning,机器学习)和NLP顶级期刊和会议发表论文数量最多的机构是谷歌,微软紧随其后。发文数量最多的中国机构是清华大学,第二是位列第16的腾讯,腾讯也是前32名中唯一的中国互联网厂商。不过,在2021年单年的统计中,阿里和华为也登上此榜,腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计 目前,腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过,腾讯旗下AI研发团队“腾讯AI Lab”的专家构成,也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成,带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任,腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学(Stanford University)发布的2022 年度“全球前2%顶尖科学家榜单”(World's Top 2% Scientists 2022)中,排名全球“终身科学影响力排行榜”第1002名,中国排名 Top 10。 阿里在LLM领域的研究主要由阿里巴巴达摩院负责,阿里巴巴集团资深副总裁,阿里云智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席科学家,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学深度学习实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的深度学习实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 出品|虎嗅科技组 作者|齐健 编辑|陈伊凡 来源:DeFi之道 来源:金色财经
lg
...
金色财经
2023-03-05
中国式ChatGPT“大跃进”
go
lg
...
、Uber、Quora、NVIDIA、
Microsoft
、Dropbox、DeepMind、Apple、Intel等公司,其中有10人来自谷歌,OpenAI的首席科学家Ilya Sutskever亦是从谷歌转会而来,Ilya Sutskever是AlphaGo的作者之一,师从人工智能学界泰斗Geoffrey Hinton。 ChatGPT团队成员流动示意图 1985年出生在苏联的Ilya Sutskever,如今已经是英国皇家学会院士。据说Ilya Sutskever退出谷歌,与Sam Altman、Elon Musk等人一起创立OpenAI时,年薪曾大幅缩水。但他参与创立OpenAI的初衷是“确保强大的人工智能造福全人类”的大义和情怀。 OpenAI初创之时是一家非营利研究机构,从这点上来看,无论是否带着情怀加入这家公司的研究人员,还是给“非营利”事业烧钱的投资人,多少都有一点对技术的“信仰”,这种驱动力,可能是钱买不来的。 不过OpenAI给这些科技精英们提供的薪酬待遇并不低。据纽约时报报道,2016年,OpenAI向Ilya Sutskever支付了超过190万美元。另一位行业大佬级的研究员Ian Goodfellow(对抗式生成网络的提出者)2016年从OpenAI得到的报酬则超过80万美元,而他在这一年中只工作了9个月,不过Ian Goodfellow在OpenAI没有待很长时间就离开了。 一直以来,硅谷的AI研究员都是高收入人群。在谷歌发布的官方招聘信息中,在美国工作的全职“高级软件工程师,大型语言模型,应用机器学习”(Staff Software Engineer, Large Language Models, Applied ML)岗位基本工资范围为年薪17.4万-27.6万美元(约120万-190万元人民币)+奖金+股权+福利。 这份工作的主要职责是:为谷歌大型语言模型的关键冲刺做出贡献,将尖端的 LLM(Large Language Mode,大型语言模型) 引入下一代谷歌产品和应用程序,以及外部用户。在建模技术方面进行协作,以支持全方位的 LLM 调整,从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。 微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”(Post Doc Researcher-Machine Learning and Reinforcement Learning)年薪则在9.4万-18.2万美元(约64万-125万元人民币)。工作职责是“与其他研究人员合作制定自己的研究议程,推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员,其中5人本科毕业于国内高校,美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑,美国是从80亿人里挑,全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示,要承认差距确实存在,不过他也表示,“在这方面,我们也不用气馁。中国也有自己的优势,比如市场化、产品化的能力,近年来我们不比美国同行差了。” 国内大厂的实力如何? 除了人才问题,国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚,而起步晚的原因,则还是与“钱”脱不开关系。 从技术角度看,生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前,技术实现的效果并不理想,且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资,投入到这种看上去不太赚钱,还要烧钱的业务。 中国的AI产业更注重应用场景,而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务,比如听写、翻译,在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力,一方面他们赚钱,另一方面在这些领域的技术积累,使研究人员能够“在规定跑道上赛跑”,而不是在未知领域探路。 这一点不只是限制了国内公司,更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样,巨头都不喜欢“破坏式创新”,谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值,这也正是谷歌一直声称不愿发布LaMDA大模型的理由,害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题,毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。 不过,在这波大模型的追赶赛中,国内大厂的团队也可以说是实力颇强。 百度在大模型方面走的最早,百度自2019年开始研发预训练模型,先后发布了知识增强文心(ERNIE)系列模型。文心大模型研发的带头人,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士,是自然语言处理领域权威国际学术组织ACL(Association for Computational Linguistics)的首位华人主席、ACL亚太分会创始主席、ACL Fellow,还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前,王海峰在国内外期刊会议上发表的学术论文有200余篇,获得已授权专利170余项。 虽然没有像百度一样公布类ChatGPT产品的发布时间表,但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型,均已研发了很长时间。 据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计(2023年的统计尚未发布)显示,2012-2021年中,在ML(Machine Learning,机器学习)和NLP顶级期刊和会议发表论文数量最多的机构是谷歌,微软紧随其后。发文数量最多的中国机构是清华大学,第二是位列第16的腾讯,腾讯也是前32名中唯一的中国互联网厂商。不过,在2021年单年的统计中,阿里和华为也登上此榜,腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计 目前,腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过,腾讯旗下AI研发团队“腾讯AI Lab”的专家构成,也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成,带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任,腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学(Stanford University)发布的2022 年度“全球前2%顶尖科学家榜单”(World's Top 2% Scientists 2022)中,排名全球“终身科学影响力排行榜”第1002名,中国排名 Top 10。 阿里在LLM领域的研究主要由阿里巴巴达摩院负责,阿里巴巴集团资深副总裁,阿里云智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席科学家,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学深度学习实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的深度学习实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 来源:金色财经
lg
...
金色财经
2023-03-03
美联储可能被“愚弄”了!?原“美联储通讯社”预警就业降温 小心下周非农数据大跌眼镜
go
lg
...
Alphabet Inc.和微软公司(
Microsoft
Corp.)今年都采取了裁员行动。 美国劳工部2月3日公布的数据显示,美国1月新增就业岗位51.7万个,远高于经济学家预期的18.5万个;美国1月失业率降至3.4%,为1969年以来的最低水平。1月份平均时薪同比增长4.4%,增幅低于12月份修正后的4.8%。 (图片来源:Zerohedge) 此外,美国劳工部报告称,去年12月职位空缺数从一个月前的1040万攀升至五个月高点,达到逾1100万,这一数字比2020年2月——新冠疫情爆发前一个月的水平高出57%。在2022年3月,美国职位空缺数曾达到1190万的历史峰值。 Hilsenrath和Mena指出,招聘公司提供的就业数据比政府报告更及时,后者滞后约一个月。随着时间的推移,这些指标最终通常也会向相同的方向移动,尽管幅度并不完全相同。经济学家往往也会从劳动力需求的指标中寻找未来招聘市场变化的线索。 美国招聘网站Indeed和ZipRecruiter的母公司Recruit Holdings显示出更明显的下滑。ZipRecruiter表示,其12月份的职位发布数量只比新冠疫情之前的水平高出26%,并在1月和2月进一步下降。 Indeed也显示出比政府数字更大的下降,尽管没有ZipRecruiter那么严重。Indeed的数据显示,企业正在削减薪酬招聘广告,这意味着它们不太愿意大量投资填补空缺职位。 其他私营数据也显示就业机会减少。代表小企业的美国独立企业联合会和追踪企业在自家网站上发布招聘信息的研究公司LinkUp的数据也显示,招聘信息的降幅比最近政府发布的空缺职位报告要大。 ZipRecruiter首席经济学家Julia Pollak表示:“我们还没有在就业数据中看到(放缓),但很快就会看到。我们也一直在与客户沟通。我们和他们讨论未来的招聘计划。他们告诉我们,他们担心过度招聘的风险。” ZipRecruiter的数据显示,科技和金融领域的招聘岗位减少幅度最大。上个月,科技行业的招聘岗位恢复到疫情前的水平,而在2022年5月,招聘岗位比这一水平高出近90%。在金融行业方面,目前则已低于新冠疫情前的水平。另一方面,2月份零售和旅游行业职位的发布比疫情前的水平高出25%,但政府报告中的数字则高出54%。 Polla说:“除了个人护理服务和医疗保健,我们看到几乎所有行业都出现了相当大的下滑。但即使是这些企业也很谨慎和紧张,他们相当保守。他们的招聘主要是为了填补空缺,而不是增加岗位人数。” ZipRecruiter首席执行官Ian Siegel在上周的一场电话会议上说道:“很明显,我们正处于宏观经济放缓的时期,全美范围内的在线招聘实际上已经降温。我们看到求职者激增。当就业机会减少时,这些求职者就需要更长的时间才能找到工作,这实际上就是我们现在看到的情况。”该公司对投资者说,它正在为今年剩余时间里更疲软的招聘环境做准备。 Hilsenrath和Mena在文章中指出,美联储正试图减缓劳动力市场的增长。美联储一直在提高短期利率,为家庭和企业支出降温,美联储官员希望此举将降低劳动力需求、工资压力和通胀。美联储希望能让经济和通胀放缓到刚刚好程度。招聘信息减少可能表明该公司正在实现这一目标。然而,如果这种趋势导致大规模裁员,那么美联储所期望的放缓可能会变成经济衰退和失业率上升。 去年12月,美联储地方联储之一费城联储质疑美国劳工部的非农就业报告数据,认为报告将二季度的就业人口夸大了至少110万,美国劳工部当时反击称,费城联储自己的数据质量低。 瑞银指出,去年下半年,美国的空缺职位数持续下降。Opportunity Insights的数据显示,职位空缺已经低于新冠疫情前水平。 (图片来源:瑞银) 知名金融博客Zerohedge指出,事实上,几乎所有劳动力市场指标,从失业率到就业人数,都被扭曲为经济强劲的证据。Zerohedge预警称,也许就业增长放缓的数据最快就在下周五出炉,届时美国劳工部可能不得不最终承认美国劳动力市场状况的真相,甚至可能公布2020年12月以来的第一份负增长的就业数据。
lg
...
晴天云
2023-03-03
不论谁赢了ChatGPT大战 英伟达都是最后的赢家
go
lg
...
cture 上可用,预计不久后也将在
Microsoft
Azure、Google Cloud 和其他平台上线。在 AI 平台软件层,客户将能够访问 NVIDIA AI Enterprise,以训练和部署大型语言模型或其他 AI 工作负载。而在 AI 模型即服务层,英伟达将向希望为其业务建立专有生成式 AI 模型和服务的企业客户提供 NeMo 和 BioNeMo 可定制 AI 模型。 就其市场前景,黄仁勋认为,ChatGPT 让人们意识到计算机编程的民主化,几乎任何人都可以用人类语言向机器解释要执行的特定任务。因此,全世界 AI 基础设施的数量将会增长,「你会看到这些 AI 工厂无处不在」。人工智能的生产将会像制造业一样,在未来,几乎每个公司都会以智能的形式生产软件产品。数据进来了,只做一件事,利用这些数据产生一个新的更新模型。 他进一步解释了 AI 工厂,「当原材料进入时,建筑或基础设施就会启动,然后一些改进的东西就会出现,这是非常有价值的,这就是所谓的工厂。所以我希望在世界各地看到 AI 的工厂。其中一些将托管在云中。其中一些将是本地的。会有一些很大,有些会非常大,然后会有一些更小。所以我完全期待这会发生。」 事实上,老黄关于 AI 工厂愿景正在发生,上个月,他在公开演讲中声称,自从 ChatGPT 出现以来,可能已经有大约 500 家新创业公司开发出令人愉快的、有用的 AI 应用程序。 基于这一前景,英伟达对数据中心的未来充满信心。CFO Cress 表示,通过新的产品周期、生成式 AI 以及人工智能在各个行业的持续采用,数据中心部门将持续实现增长。她说:「除了与每个主要的超大规模云服务商合作外,我们还与许多消费互联网公司、企业和初创企业合作。这一机会意义重大,推动数据中心的强劲增长,并将在今年加速增长。」 汽车向上,游戏向下 除了数据中心,英伟达其他的业务板块——游戏、汽车、专业视觉等,本季度的表现则有好有坏。 其中,车用业务表现亮眼。财年总收入增长 60%,达到创纪录的 9.03 亿美元。第四季度收入创下 2.94 亿美元的纪录,较去年同期增长 135%,较上一季度增长 17%。 无论是环比还是同比,车用业务均持续增长。根据英伟达,这些增长反映了自动驾驶解决方案的销售增长,面向电动汽车制造商的计算解决方案以及 AI 座舱解决方案的销售强劲。电动汽车和传统 OEM 客户的新项目助推了这一增长。 值得注意的是,在今年 1 月初举行的 CES 大会上,英伟达宣布与富士康建立战略合作伙伴关系,共同开发基于 NVIDIA DRIVE Orin 和 DRIVE Hyperion 的自动驾驶汽车平台。 相比之下,游戏业务依然深处泥潭之中。 过去几个季度,RTX 4080 销售疲软、视频游戏行业下滑、加密货币市场疲软、以及去库存压力等因素,让英伟达的游戏业务持续低迷,尤其第三季度,游戏业务营收同比暴跌 51%。但就像 CFO Cress 所言,「最低点可能已经过去,而且事情可以改善前进。」 第四季度,英伟达游戏营收为 18.3 亿美元,同比下降 46%,环比增长 16%,整个财年收入下降 27%。该季度和财年的同比下降反映了销售减少,背后是全球宏观经济低迷和中国放开疫情管控对游戏需求的影响。 但环比三季度,英伟达的游戏业务还是取得了一定增长。这是由于受到基于 Ada Lovelace 架构的新 GeForce RTX GPU 的推出推动。黄仁勋也肯定了这一看法,他说:「游戏业正在从新冠肺炎疫情后的低迷中复苏,而且玩家们热烈欢迎使用 AI 神经渲染的 Ada 架构 GPU。」 近日,游戏行业一个复苏的好迹象是:动视暴雪(Activision Blizzard)在第四季度实现了营收正增长,超出了预期。但仍要警惕——动视暴雪在 PC 和主机上销售游戏,而只有 PC 销售与英伟达相关,主机制造商使用 AMD 显卡。 此外,在财报发布的前一天,英伟达宣布与微软签订了一项为期 10 年的协议,将 Xbox PC 游戏阵容引入 GeForce NOW,包括《我的世界(Minecraft)》、《光环(Halo)》和《微软模拟飞行(
Microsoft
Flight Simulator)》。待微软完成收购动视之后,GeForce NOW 将新增《使命召唤(Call of Duty)》和《守望先锋(Overwatch)》等游戏。 除了游戏业务之外,专业视觉和 OEM 这两个部门的业务也较上一年有大幅下降。从中可以看出:半导体市场正在经历罕见的下行周期。 专业视觉业务第四季度收入为 2.26 亿美元,较去年同期下降 65%,较上一季度增长 13%。财年总收入下降 27% 至 15.4 亿美元。该季度和财年同比下降反映了向合作伙伴销售较少以帮助减少渠道库存。环比增长是由台式工作站 GPU 推动的。 OEM 和其他收入同比下降 56%,环比增长 15%。财年收入下降 61%。该季度和财年同比下降是由笔记本 OEM 和加密货币挖掘处理器(CMP)推动的。在财年 2023 中,CMP 收入微不足道,而在财年 2022 中为 5.5 亿美元。 风口上的赢家,为什么又是英伟达 英伟达 30 年的发展史可以分为两段。从 1993 年到 2006 年,英伟达的目标是在竞争激烈的图形卡市场中存活下来,并创造了 GPU 这一革命性的技术;从 2006 年到 2023 年的转型,则主要是如何利用 CUDA 这一平台,将 GPU 应用于机器学习、深度学习、云计算等领域。 后者让英伟达走上人工智能之旅,今天市值已经超过老牌霸主英特尔和 AMD,也是在今天生成式 AI 热潮下,英伟达再次站上风口的前提。 在 2019 年的一次主题演讲中,黄仁勋分享了英伟达一次次重溯行业的缘起——找到了真正重要的问题并坚持。他说:「这使我们能够一次又一次地发明、重塑我们的公司、重溯我们的行业。我们发明了 GPU。我们发明了编程着色。是我们让电子游戏变得如此美丽。我们发明了 CUDA,它将 GPU 变成了虚拟现实的模拟器。」 回到英伟达的起点。当时 Windows 3.1 刚刚问世,个人电脑革命才刚刚要开始。英伟达想要能找到一种方法让 3D 图形消费化、民主化,让大量的人能够接触到这项技术,从而创造一个当时不存在的全新行业——电子游戏。他们认为,如果做成,就有可能成为世界上最重要的技术公司之一。 原因在于:三维图形主要表现为对现实的模拟,对世界的模拟相当复杂,如果知道如何创建难辨真假的虚拟现实,在所做的一切中模拟物理定律,并将人工智能引入其中,这一定是世界上最大的计算挑战之一。它沿途衍生的技术,可以解决惊人的问题。 最有代表性的案例,就是通过 CUDA 等方案为计算、人工智能等带来了革新性影响,也让它在这一波生成式 AI 浪潮中处于最佳生态位。 尽管 GPU 作为计算设备的发现经常被认为有助于引领围绕深度学习的「寒武纪大爆炸」,但 GPU 并不是单独工作的。英伟达内外的专家都强调,如果英伟达在 2006 年没有将 CUDA 计算平台添加到组合中,深度学习革命就不会发生。 CUDA(Compute Unified Device Architecture)计算平台是英伟达于 2006 年推出的软件和中间件堆栈,其通用的并行计算架构能够使得 GPU 解决复杂的计算问题。通过 CUDA,研究人员可以编程和访问 GPU 实现的计算能力和极致并行性。 而在英伟达发布 CUDA 之前,对 GPU 进行编程是一个漫长而艰巨的编码过程,需要编写大量的低级机器代码。使用免费的 CUDA,研究人员可以在在英伟达的硬件上更快、更便宜地开发他们的深度学习模型。 CUDA 的发明起源于可程式化 GPU 的想法。英伟达认为,为了创造一个美好的世界,第一件要做的事情就是先模拟它,而这些物理定律的模拟是个超级电脑负责的问题,是科学运算的问题,因此,关键在于:怎么把一个超级电脑才能解决的问题缩小、并放进一台正常电脑的大小,让你能先模拟它,然后再产生画面。这让英伟达走向了可程式化 GPU,这是个无比巨大的赌注。 彼时,英伟达花了三四年时间研发 CUDA,最后却发现所有产品的成本都不得不上升近一倍,而在当时也并不能给客户带来价值,客户显然不愿意买单。 若要让市场接受,英伟达只能提高成本,但不提高售价。黄仁勋认为,这是计算架构的事情,必须要让每一台电脑都能跑才能让开发者对这种架构有兴趣。因此,他继续坚持,并最终打造出了 CUDA。但在那段时间,英伟达的利润「摧毁性」地下降,股票掉到了 1.5 美元,并持续低迷了大约 5 年,直到橡树岭国家实验室选择了英伟达的 GPU 来建造公用超级电脑。 接着,全世界的研究人员开始采用 CUDA 这项技术,一项接着一项的应用,一个接着一个的科学领域,从分子动力学、计算物理学、天体物理学、粒子物理学、高能物理学……这些不同的科学领域开始采用 CUDA。两年前,诺贝尔物理学奖和化学奖得主,也都是因为有 CUDA 的帮助才得以完成自己的研究。 当然,CUDA 也为英伟达的游戏提供了动力,因为虚拟世界里和现实世界的流体力学是一样的,像是粒子物理学的爆炸、建筑物的崩塌效果,和英伟达在科学运算中观察到的是一样的,都是基于同样的物理法则。 然而,CUDA 发布后的前六年里,英伟达并未「全力投入」AI,直到 AlexNet 神经网络的出现。 在即将到来的 GTC 大会上,黄仁勋邀请了 OpenAI 联创兼首席科学家 Ilya Sutskever,而 Sutskever 见证了英伟达这段在人工智能领域崛起的故事。 Sutskever 与 Alex Krizhevsky 及其博士生导师 Geoffrey Hinton 一起创建了 AlexNet,这是计算机视觉领域开创性的神经网络,在 2012 年 10 月赢得了 ImageNet 竞赛。获奖论文表明该模型实现了前所未有的图像识别精度,直接导致了此后十年里人工智能的主要成功故事——从 Google Photos、Google Translate 和 Uber 到 Alexa 和 AlphaFold 的一切。 根据 Hinton 的说法,如果没有英伟达,AlexNet 就不会出现。得益于数千个计算核心支持的并行处理能力,英伟达的 GPU 被证明是运行深度学习算法的完美选择。Hinton 甚至在一次演讲上告诉在场的近千名研究人员都应该购买 GPU,因为 GPU 将成为机器学习的未来。 在 2016 年接受福布斯采访时,黄仁勋说自己一直都知道英伟达图形芯片的潜力不止于为最新的视频游戏提供动力,但他没想到会转向深度学习。 事实上,英伟达的深度神经网络 GPU 的成功是「一个奇怪的幸运巧合」,一位名叫 Sara Hooker 的作者在 2020 年发表的文章「硬件彩票」探讨了各种硬件工具成功和失败的原因。 她说,英伟达的成功就像「中了彩票」,这在很大程度上取决于「硬件方面的进展与建模方面的进展之间的正确对齐时刻」。这种变化几乎是瞬间发生的。「一夜之间,需要 13000 个 CPU 的工作两个 GPU 就解决了」她说。「这就是它的戏剧性。」 然而,英伟达并不同意这种说法,并表示,从 2000 年代中期开始英伟达就意识到 GPU 加速神经网络的潜力,即使他们不知道人工智能将成为最重要的市场。 在 AlexNet 诞生的几年后,英伟达的客户开始购买大量 GPU 用于深度学习,当时,Rob Fergus(现任 DeepMind 研究科学家)甚至告诉英伟达应用深度学习研究副总裁 Bryan Catanzaro,「有多少机器学习研究人员花时间为 GPU 编写内核,这太疯狂了——你真的应该研究一下」。 黄仁勋逐渐意识到 AI 是这家公司的未来,英伟达随即将把一切赌注押在 AI 身上。 于是,在 2014 年的 GTC 主题演讲中,人工智能成为焦点,黄仁勋表示,机器学习是「当今高性能计算领域最激动人心的应用之一」。「其中一个已经取得令人兴奋的突破、巨大的突破、神奇的突破的领域是一个叫做深度神经网络的领域。」黄仁勋在会上说道。 此后,英伟达加快布局 AI 技术,再也不只是一家 GPU 计算公司,逐渐建立了一个强大的生态系统,包括芯片、相关硬件以及一整套针对其芯片和系统进行优化的软件和开发系统。这些最好的硬件和软件组合平台,可以最有效地生成 AI。 可以说,GPU + CUDA 改变了 AI 的游戏规则。中信证券分析师许英博在一档播客节目中评价道:英伟达一直在做一件非常聪明的事情,就是软硬一体。在 GPU 硬件半导体的基础上,它衍生出来了基于通用计算要用的 CUDA。这促成了英伟达拿到了软件和硬件的双重规模效应。 在硬件端,因为它是图形和计算的统一架构,它的通用性保证了它有规模性,而规模性摊薄了它的研发成本,所以硬件上本身通过规模性可以拿到一个比较优势的研发成本。 在软件端,因为它有庞大的开发者的生态,而这些宝贵的软件开发人员,即便是这些软件开发人员换了一个公司,但他可能还是在继续用 CUDA 的软件。 主要参考文献: 1)《ChatGPT 火了,英伟达笑了》——中国电子报 2)Nvidia: The GPU Company (1993-2006) 3)Nvidia: The Machine Learning Company (2006-2022) 4)NVIDIA CEO Jensen Huang - AI Keynote Session at MSOE 5)Jensen Huang Q&A: Why Moore』s Law is dead, but the metaverse will still happen 6)How Nvidia dominated AI—and plans to keep it that way as generative AI explodes 7)中信证券许英博:从英伟达看国产 GPU 的挑战与前景 - 小宇宙 - 创业内幕 来源:金色财经
lg
...
金色财经
2023-03-02
一览近期ZK赛道值得关注的重点融资项目
go
lg
...
,目前 LLVM 已经被 Apple、
Microsoft
、Google、Facebook 等各大公司采用。 除此之外,Nil Foundation 有个比较特别的地方是建立了一个“证明市场”(Proof Market),通过 Proof Market 用户可以付费请拥有硬件的人为他们验证,证明者竞相为支付给他们的用户证明计算, 这种自由市场动态将使证明者优化最有价值的证明任务。 Sovereign Labs 专注于构建 ZK-Rollup SDK 的Sovereign Labs 今年 1 月完成了 740 万美元种子轮融资,该轮融资由 Haun Ventures 领投,Maven 11、1KX、Robot Ventures 和 Plaintext Capital 参投。 Sovereign Labs 计划构建一个软件开发工具包(SDK),帮助开发人员创建安全且可互操作的零知识 Rollup。Sovereign SDK 旨在简化 ZK-Rollup 的创建,就像 Cosmos SDK 简化 Layer 1 的创建一样。它是第一个消除零知识复杂性的汇总框架,使开发人员可以轻松构建他们的应用程序,开发人员无需成为密码学专家。使用 Sovereign SDK,开发人员将能够使用惯用的 Rust(或是 C++)编写应用程序,SDK 将自动将其编译为高效的 ZK 虚拟机。 Sovereign Labs 的路线图分为 3 个部分,第一阶段是在 2023 年第二季度完成研究设计原型,当前的原型集成了用于数据可用性的 Celestia 和用于证明的 Risc 0 。第二阶段是 Sovereign SDK 的部署,包括点对点网络、RPC 节点、核心 API 以及默认存储和排序模块。第三阶段是进行代码清理、测试、模糊测试和审计。 Ulvetanna Ulvetanna 是一家构建硬件以提高零知识证明(ZKP)生成效率的初创公司,以 5500 万美元估值完成了 1500 万美元的种子轮融资,Bain Capital Crypto 和 Paradigm 共同领投了种子轮融资,Jump Crypto 参投。 Ulvetanna 正在构建旨在加速生成 ZKP 过程的硬件,Ulvetanna 的团队包括来自 Coinbase、微软和英特尔的程序员和工程师。 随着未来 ZKP 需求的的增加, ZKP 需要大量计算,这就需要强大的硬件并消耗大量电力。 Ulvetanna 认为 ZKP 生成在专门设计的硬件上要高效得多,因此 Ulvetanna 组建了一支由应用密码学家、软件和硬件工程师、数据中心和云架构师以及加密原生投资者组成的经验丰富的团队,通过结合密码学和高性能计算来提供高效的 ZKP 硬件计算服务。 Cysic ZK 硬件初创公司 Cysic 于 2022 年 12 月完成了 600 万美元的种子轮融资,由 Polychain Capital 领投,其他投资者包括 Hashkey、SNZ Holding、ABCDE 和 Web3.com 基金会。 Cysic 旨在为 ZK 证明提供硬件加速解决方案。 目前 Cysic 的合作伙伴包括 Scroll、Nil Foundation 和 Hyper Oracle。 Cysic 团队开发了多标量乘法 (MSM) 的 FPGA 原型( 比在 CPU 上运行 MSM 省电), FPGA 是一种可编程硬件,类似于 CPU 和 GPU 芯片。 Hyper Oracle ZK 预言机网络Hyper Oracle最近完成了由 dao 5 和红杉中国种子基金共同领投的 300 万美元种子轮融资,Foresight Ventures、FutureMoney Group 等跟投。 Hyper Oracle 正在基于 zkWASM 虚拟机开发 ZK 中间件协议和 ZK 预言机 zkOracle 的开发,以解决区块链中间件的安全性、去中心化、计算完整性和性能方面的挑战。 Polyhedra 最近 ZK 基础设施初创公司Polyhedra Network 完成了由 Binance Labs 和 Polychain Capital 共同领投的 1000 万美元融资,Animoca Brands 和 Dao 5 参投。 Polyhedra 目前基于 ZK 技术开发了 3 款 ZK 产品:包括用于L1 和L2 资产传输的 ZK 桥(zkBridge);采用零知识证明技术保护隐私的用户身份解决方案 ZK-DID ;一种可编程的 NFT 协议 ZK-NFT, 该产品采用了零知识证明技术,以保护用户资产的隐私。目前,zkBridge 的测试网已经上线。 除此之外,Polyhedra 还开发了一种名为 ParaPlonk 的扩容方案,可使用大规模分布式证明生成网络来加速 ZK rollups。Polyhedra 计划集成更多区块链,并通过 API 和 SDK 工具让开发人员便于访问,以吸引更多的 ZK-rollup 开发人员。 RISC ZERO RISC Zero(暂未公布融资信息)是一个开源的通用型 ZK-VM,该项目的名字起源于流行的 RISC(Reduced Instruction Set Computer 精简指令集计算),RISC Zero 采用目前最新的第 5 代 RISC-V,RISC-V 指令集的理念是最大化的精简指令集,它仅包含 40 多条指令集。因为采用 RISC-V 指令集,因此 RISC Zero 支持 C++、Rust 和 Go 等高级编程语言,开发者无需学习新的语言就可以使用 ZK-VM。 RISC Zero 产品增长 VP Manasi(前 Uniswap 增长主管)表示,RISC Zero 也将会支持 Solidity,因此 RISC Zero 对原生以太坊开发者将会更加友好。在语言编译方面,RISC ZERO 采用了被很多大厂使用的 LLVM 架构。从技术路线来看,因为采用了比较成熟的编译和指令集方案,RISC ZERO 有可能成为 ZK-VM 赛道的典型项目。 ZK 赛道发展方向 去年,ZK 赛道的项目主要集中在兼容以太坊的 ZK-EVM 上,比如 Starknet、zkSync、Scroll 等热门项目。从近期融资的 ZK 项目类型来看,基本还是以基础设施层面为主,比如 ZK 电路编译器、ZK 硬件加速、ZK 预言机和桥。 同时,这些项目也呈现出一个趋势,即 ZK-VM 类的项目数量开始增多。其实,通过引入 ZK 证明系统,ZK-VM 可以帮助大量Web2.0 的应用结合零知识证明进入Web3。比如目前 Gamefi 后端管理用户数据的服务是中心化的,如果后端采用 ZK-VM,这样游戏可以实现真正的去中心化。以此类推,在有必要的前提下,很多Web2.0 的应用都可以实现去中心化。 ZK-EVM 和 ZK-VM 哪个才是未来?虽然以太坊上的应用会逐渐支持 ZK-EVM,但Web3不仅只有以太坊,因为 ZK-VM 支持更多的高级语言,而且相对于 ZK-EVM 来说更容易搭建(ZK-VM 可以采用成熟的编译器和指令集架构),如果 ZK-VM 也可以很好的支持 Solidity,也许 ZK-VM 才是Web3的未来。 来源:金色财经
lg
...
金色财经
2023-03-02
上一页
1
•••
888
889
890
891
892
•••
904
下一页
24小时热点
中国突传重磅!彭博独家:中国当局就走私调查约谈金属行业老板 释放关键信号
lg
...
特朗普突发语出惊人!黄金、比特币“战争”避险买盘飙升……
lg
...
黄金刚刚爆发!金价亚盘大涨26美元 彭博分析黄金本周突然“大变脸”背后的原因
lg
...
特朗普是在玩火:大美丽法案迎关键投票!债市暴动不安蔓延,比特币冲破11万
lg
...
中东突传重大巨响、美国通过关键法案!比特币飙升逼近11万 黄金3324避险加剧
lg
...
最新话题
更多
#Web3项目情报站#
lg
...
6讨论
#SFFE2030--FX168“可持续发展金融企业”评选#
lg
...
34讨论
#链上风云#
lg
...
102讨论
#VIP会员尊享#
lg
...
1971讨论
#CES 2025国际消费电子展#
lg
...
21讨论