全球数字财富领导者
财富汇
|
美股投研
|
客户端
|
旧版
|
北美站
|
FX168 全球视野 中文财经
首页
资讯
速递
行情
日历
数据
社区
视频
直播
点评旗舰店
商品
SFFE2030
外汇开户
登录 / 注册
搜 索
综合
行情
速递
日历
话题
168人气号
文章
Datamall Chain(DMC)-第三期技术硬核技术AMA
go
lg
...
:你认为DMC可以取代IBM,亚马逊,
阿里
云
这些传统存储吗?嘉宾:我认为这将在不久的将来会发生。数据的重要性决定了存储的价值。 如果我们能让矿工而不是大公司从高额的存储服务费中获利,那么我相信去中心化的矿工最终会建立一个存储容量远超大公司的超级存储网络。最终以更低的价格和更强的存储能力取代Web2中的垄断存储。主持人:哇,很期待那天的到来。现在DMC钱包支持手机下载吗? 嘉宾:现在DMC钱包手机版已经完成,我们正在和App Store & Google Play的工作人员合作,进行一些小的修改。 主持人:这样我们不久之后就可以使用更便捷的手机客户端了。最后一个问题,那么现在DMC的质押有什么用途呢?嘉宾:质押是给存储提供者矿工用的。在提供存储服务时,需要质押一定数量的DMC。 主持人:非常感谢ben,又给大家带来一场硬核头脑风暴。也让大家更了解了未来DMC未来的生态。最后由衷祝愿DMC越来越好。 关注我们,期待下一期的硬核AMA。 来源:金色财经
lg
...
金色财经
2023-03-10
新华都:公司深耕产品和用户,面向市场变化及客户需求持续拓展营销阵地
go
lg
...
科技有限公司后,主要做哪些产品项目?与
阿里
云
是否有密切合作? 新 华 都董秘:您好,公司业绩情况及合作请关注公司披露的定期报告与相关公告;公司主营业务为互联网营销业务,以数据研究为基础,依托自有数据研究系统,深度洞察行业数据,为合作客户提供基于互联网的整合营销、视觉营销、品效协同全域投放、私域会员管理及售前售后服务等。感谢您的关注。 新华都2022三季报显示,公司主营收入22.55亿元,同比下降39.78%;归母净利润2.56亿元,同比上升419.6%;扣非净利润1.19亿元,同比上升138.99%;其中2022年第三季度,公司单季度主营收入4.61亿元,同比下降57.08%;单季度归母净利润3677.2万元,同比上升251.96%;单季度扣非净利润3669.25万元,同比上升266.02%;负债率40.58%,投资收益1.44亿元,财务费用1501.3万元,毛利率26.07%。 该股最近90天内无机构评级。根据近五年财报数据,证券之星估值分析工具显示,新华都(002264)行业内竞争力的护城河较差,盈利能力较差,营收成长性较差。财务可能有隐忧,须重点关注的财务指标包括:应收账款/利润率。该股好公司指标0.5星,好价格指标1星,综合指标0.5星。(指标仅供参考,指标范围:0 ~ 5星,最高5星) 新 华 都(002264)主营业务:互联网营销业务 以上内容由证券之星根据公开信息整理,与本站立场无关。证券之星力求但不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的的准确性、完整性、有效性、及时性等,如存在问题请联系我们。本文为数据整理,不对您构成任何投资建议,投资有风险,请谨慎决策。
lg
...
证券之星
2023-03-09
阿里巴巴区块链交易暗示将推动加密货币发展
go
lg
...
新铺平道路,可能会产生重大影响。
阿里
云中
东、土耳其和非洲地区总经理Daniel Jiang在一份声明中表示:“我们很高兴能与Mysten实验室合作,将我们的安全技术和经过验证的解决方案带到这个新兴领域,实现更用户友好、身临其境的Web3体验。” “我们在促进Web3生态系统的发展方面处于有利地位,以更好地为客户提供可扩展、高效和安全的基础设施。”
lg
...
金融界
2023-03-09
ChatGPT思考:探索智能的极限
go
lg
...
OpenAI 打下手,这个换到国内,
阿里
云
有可能给一个创业公司打下手吗? 组织架构很重要,只有尖端的人才和先进的组织架构才能推动智能的不断迭代与进化;但它同样需要跟所在的土壤做适配,寻找可以 flourish 的方法。 探索智能的极限 第三种答案是,要探索智能的极限。这是我听到的最好的答案。它远超刻舟求剑式的经典互联网产品思维,也看到了组织架构和尖端人才密度的重要性,并且更重要地是它看到了未来,看到了模型演化与产品迭代,思考着如何把最深刻,最困难的问题用最创新的方法来解决。 这就涉及到了思考大模型的极限思维。 02. 极限思维 观察现在的 ChatGPT / GPT-3.5 ,它明显是一个中间状态,它还有很多显著可以加强,并且马上就能加强的点,包括: • 更长的输入框:开始的时候,GPT 3.5 的上下文最长到八千个 token;现在的 ChatGPT 上下文建模的长度似乎已经过万。并且这个长度明显可以接着增长,在融入 efficient attention 和 recursive encoding 的方法之后,context length 应该可以接着 scale 到十万,甚至百万的长度; • 更大的模型,更大的数据:模型的大小还没有到极限,MoE 可以接着把模型 scale 到 T 的量级;数据的大小还没有到极限,人类反馈的数据每天都在增长; • 多模态:在增加了多模态数据(音频,图片),特别是视频数据之后,总体与训练数据的大小可以再增大两个量级,这个可以让已知的能力接着按 scaling law 线性增加,同时还有可能继续出现新的涌现能力。比如可能模型在看过各种几何形状的图片,以及看过代数题之后,或许会自动学会做解析几何; • 专业化:现有的模型在文科上大概相当于研究生水平,但在理科上相当于高中或大一大二的学生水平;已有的工作已经证明我们可以把模型的技能点从一个方向挪到另一个方向,这就意味着即使不做任何 scaling,我们依然可以在通过牺牲其他方面能力的情况下,把模型朝着目标方向推进。比如牺牲掉模型的理科能力,把它的文科能力从研究生推到专家教授的水准。 以上四点只是现阶段可以看到的,马上就可以加强但暂时还没有加强的点,随着时间的推移和模型的演化,会有更多可以被 scale 的维度进一步体现出来。这意味着我们需要有极限的思维,思考当我们把能够拉满的维度全部拉满的时候,模型会是什么样子。 能够拉满全部拉满 模型的输入框可以接着加长,模型的大小可以继续增大,模型的数据可以继续增多,多模态的数据可以融合,模型的专业化程度可以继续增高,所有这些维度可以继续往上拉,模型还没有到极限。极限是一个过程,在这个过程中模型的能力会怎样发展呢? • Log-linear 曲线:一部分能力的增长会遵循 log-linear 的曲线,比如说某项任务的 finetuning。随着 finetune 数据的指数增长,模型所对应的 finetune 的任务的能力会线性增长。这部分能力会可预测地变得更强; • Phase change 曲线:一部分能力会随着 scaling 继续涌现,比如说上文中的模型做解析几何的例子。随着可以被拉满的维度被不断拉满,新的,难以预测的涌现能力会接着出现; • 多项式曲线?当模型强到一定程度,与人类 align 到一定程度之后,或许一些能力的线性增长,所需要的数据,会突破指数增长的封锁,而降低到多项式的量级。也就是说,当模型强到一定程度之后,它或许不需要指数级的数据,而是只需要多项式级的数据,就可以完成泛化。这可以从人类的专业学习中观察到:当一个人还不是领域专家的时候,ta 需要指数级的数据来学习领域的知识;当一个人已经是领域专家的时候了,ta 只需要很少量级的数据就自己迸发出新的灵感和知识。 所以,在极限思维下,把所有能拉满的维度全部拉满,模型注定会越来越强,出现越来越多的涌现能力。 反推中间过程 在思考清楚极限的过程之后,就可以从极限状态往后反推中间过程。比如说,如果我们希望增长输入框的大小: •如果希望把模型的输入框从千的量级增长到万的量级,可能只需要增加显卡数量,进行显存优化就能实现; •如果希望接着把输入框从万的量级增长到十万的量级,可能需要linear attention的方法,因为此时加显存应该也架不住 attention 运算量随输入框长度的二次增长; •如果希望接着把输入框从十万的量级增长到百万的量级,可能需要recursive encoding的方法和增加long-term memory的方法,因为此时 linear attention 可能也架不住显存的增长。 以这种方式,我们可以反推不同阶段的 scaling 需要怎样的技术。以上分析不止适用于输入框的长度,也适用于其他因素的 scaling 的过程。 这样的话,我们可以得到清晰的从现阶段的技术到 scaling 的极限的每个中间阶段的技术路线图。 按模型演化进程产品化 模型在不断演化,但产品化不需要等到最终那个模型完成 — 每当模型迭代出来一个大的版本,都可以产品化。以 OpenAI 的产品化过程为例: •2020 年,初代 GPT 3 训练完成,开放 OpenAI API; •2021 年,初代 Codex 训练完成,开放 Github Copilot; •2022 年,GPT-3.5 训练完成,以 dialog 数据 finetune 成 ChatGPT 然后发布。 可以看到,在中间阶段的每一个重要版本,模型的能力都会增强,都存在产品化的机会。 更加重要的是,按照模型演化进程产品化,可以在产品化的阶段适配市场。学习 OpenAI 的组织架构来推进模型演化本身,但产品化可以按照本土市场的特征来。这种方式或许可以既学到 OpenAI 的先进经验,又避免水土不服的问题。 03. 人工智能显著超过人类的点 到目前为止,我们讨论了要用模型演化的视角来分析模型,要用极限的思维讨论模型的演化历程。现阶段马上可以加强的点包括了输入框的长度,更大的模型和数据,多模态数据,和模型的专业化程度。现在让我们再把视野放得更长期些,思考在更大的时间和空间中,模型如何进一步地往极限推。我们讨论: • 并行感知:一个人类研究员一次顺序地读四五篇论文已经是极限,但模型输入框变长之后,可以在极短的时间内并行阅读一百篇论文。这意味着,模型对外部信息的感知能力远超人类一个数量级; • 记忆遗传:人类的演化过程中,子代只继承父代的基因,但不继承父代的记忆,这意味着每一次生殖都需要重启一次;在模型的演化过程中,子代可以继承父代的记忆,并且这个继承的程度可控:我们可以设置子代继承 100%,50%,20% 的记忆,或清空记忆,这意味着父代的经验和技能可以不断累积; • 加速时间:人类相互交流的速率是受到人类说话的物理速度限制的,而模型相互交流的速率可以远快于人类,这意味着模型可以通过相互交流来解决人类数据随时间线性增长的问题;人类演化的过程受到物理时间的限制,模型的演化可以比人类的物理时间快上几个数量级,这意味着模型的进步速度可以远快于人类; • 无限生命:一个人的生命有限,百年之后终归尘土,但模型的权重只要不丢失,就可以不断地演化。 从这些角度来说,人工智能超过人类并不是一件难以想象的事情。这就引发了下一个问题: 如何驾驭远超人类的强人工智能? 这个问题,是 Alignment 这项技术真正想要解决的问题。 04. Alignment 对齐 当前阶段,模型的能力,除了 AlphaGo 在围棋上超过了最强人类之外,其他方面的 AI 并没有超过最强的人类(但 ChatGPT 在文科上或许已经超过了 95% 的人类,且它还在继续增长)。在模型还没超过人类的时候,Alignment 的任务是让模型符合人类的价值观和期望;但当模型继续演化到超过人类之后,Alignment 的任务就变成了寻找驾驭远超人类的智能体的方法。 Alignment 作为驾驭远超人类的智能体的方法 一个显然的问题是,当 AI 超过人类之后,还可以通过人类反馈让 ta 更强 / 更受约束吗?是不是这个时候就已经管不了了? 不一定,即使模型远超人类,我们依然又可能驾驭 ta,这里的一个例子是运动员和教练之间的关系:金牌运动员在 ta 的方向上已经是最强的人类了,但这并不意味着教练就不能训练 ta。相反,即使教练不如运动员,ta 依然可以通过各种反馈机制让运动员变得更强且更有纪律。 类似地,人类和强人工智能的关系,在 AI 发展的中后期,可能会变成运动员和教练之间的关系。这个时候,人类需要的能力并不是完成一个目标,而是设定一个好的目标,然后衡量机器是否足够好地完成了这个目标,并给出改进意见。 这个方向的研究还非常初步,这个新学科的名字,叫 Scalable Oversight。 Alignment 与组织架构 在通往强人工智能的路上,不只是需要人类与 AI 对齐,人类与人类,也需要高度的对齐。从组织架构的角度,alignment 涉及到: • Pretraining 团队与 instruction tuning - alignment 团队之间的对齐: 这两者应该是一个相互迭代的过程,pretraining 团队不断地 scale 基础模型,alignment 团队为基础模型做 instruction tuning,同时用得到的结果反向指导 pretraning 团队的方向。 • Pretraining / Alignment 团队与 Scaling / Data 团队的对齐: scaling 负责为 pretraining / alignment 做好基础设施,data 做好高质量数据与人类反馈数据。 • 创业公司与 VC 的对齐: AGI 是一个困难的事情,需要长期的投入,这需要各个方面的人都有足够的耐心和足够高的视野。烧一趟热钱后催产品化然后占满市场的逻辑在大模型时代应该已经不复存在了。大模型的游戏要求 ta 的玩家们有足够高的视野与格局,模型的演化会让有足够耐心的,踏实做事人们在长期得到丰厚的回报,也会让只看短期刻舟求剑的人们一次又一次被降维打击。 05. 结语 在 2017 年,我刚刚入行 NLP 的时候,花了很大的力气做可控生成这件事情。那个时候所谓的 text style transfer 最多就是把句子情感分类改一改,把 good 改成 bad 就算是完成了 transfer。 2018 年我花了大量的时间研究如何让模型从句子结构的角度修改句子的风格,一度误认为风格转换是几乎不可能完成的事情。而今 ChatGPT 做风格转换简直信手拈来。那些曾经看似不可能完成的任务,曾经极其困难的事情,今天大语言模型非常轻松地就能完成。 在 2022 年一整年,我追踪了从 GPT-3 到 GPT-3.5 的全部版本迭代,亲眼看到它一步步地从弱到强不断演化。这个演化速度并没有变慢,反而正在加快。那些原先看来科幻的事情,现在已经成为现实。谁会知道未来会怎样呢? 彼黍离离,彼稷之苗。 行迈靡靡,中心摇摇。 彼黍离离,彼稷之穗。 行迈靡靡,中心如醉。 ——— 《诗经 · 黍离》 Reference 1. Ilya Sutskever https://scholar.google.com/citationsuser=x04W_mMAAAAJ&hl=en 2. GPT 3.5 系列在 2022 年更新了三个大版本 https://platform.openai.com/docs/model-index-for-researchers 3. ChatGPT 发布两个月一共更新了四个小版本https://help.openai.com/en/articles/6825453-chatgpt-release-notes 4. 微软 Azure 辅助 OpenAI https://blogs.microsoft.com/blog/2023/01/23/microsoftandopenaiextendpartnership/ 5. efficient attention https://arxiv.org/abs/2302.04542 6. recursive encoding https://openai.com/research/summarizing-books 7. MoE 可以接着把模型 scale 到 T 的量级 https://arxiv.org/abs/2101.03961 8. log-linear 的曲线 https://arxiv.org/abs/2001.08361 https://arxiv.org/abs/2203.15556 9. Phase change 曲线 https://arxiv.org/abs/2206.07682 10. linear attention https://arxiv.org/abs/2103.02143 https://arxiv.org/abs/2302.04542 11. recursive encoding https://openai.com/research/summarizing-books 12. long-term memory https://arxiv.org/abs/2112.04426 13. OpenAI API https://platform.openai.com/docs/introduction/overview 14. Github Copilot https://github.com/features/copilot 15. Scalable Oversight https://arxiv.org/abs/2211.03540 16. 从 GPT-3 到 GPT-3.5 的全部版本迭代 https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc 来源:元宇宙之心 来源:金色财经
lg
...
金色财经
2023-03-05
人工智能:中国式ChatGPT的“大跃进”
go
lg
...
巴达摩院负责,阿里巴巴集团资深副总裁,
阿里
云
智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席科学家,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学深度学习实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的深度学习实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 出品|虎嗅科技组 作者|齐健 编辑|陈伊凡 来源:DeFi之道 来源:金色财经
lg
...
金色财经
2023-03-05
中国式ChatGPT“大跃进”
go
lg
...
巴达摩院负责,阿里巴巴集团资深副总裁,
阿里
云
智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席科学家,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学深度学习实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的深度学习实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 来源:金色财经
lg
...
金色财经
2023-03-03
普华永道研报持续唱多元宇宙 背后是想进军Web3?
go
lg
...
-in-a-Box”产品。 另外,包括
阿里
云
、亚马逊云等,都是如此,巴比特就承办过亚马逊云的Web3活动,他们希望通过这类活动打造在Web3领域的影响力,寻找合作伙伴。 Web3创业持续火热,Web2企业也许不是从面向C端普通用户的产品进入,B端业务才是,这是他们擅长的领域。 来源:金色财经
lg
...
金色财经
2023-03-01
3月大事件汇总
go
lg
...
中旬至 4 月期间,PlatON 将与
阿里
云和
HashKey联手举办 Web3 全球创业大赛 3月18日 ,OKXChain 正式发布 OKT 减产计划,接下来将每 9 个月减半。 3月23日2点,美联储利率决定(上限)前值4.75% 预期值5.00%(重要) 3月27日,Polygon 将发布 zkEVM 主网 Beta 版本(重要) 3月27日,去中心化无线通信网络 Helium 将迁移至 Solana 区块链 3月27日EOS EVM最终测试网上线,主网Beta发布时间为4月14日 其他: ETH上海升级:Goerli作为最受瞩目参与度最高的测试网,将在3月中旬激活升级。这主网的上海升级可能发生在3月底。 cosmos v9-Lambda 升级(预计 2023 年第一季度) Cosmos 共享安全解决方案,使用 IBC 跨链验证 (CCV) 将验证器集组合从提供者链 (Cosmos Hub) 中继到消费者链。该验证器集负责使用不同的节点在两个网络上生成块。消费者链上的不当行为会导致供应商链质押代币 (ATOM) 大幅削减。 CULT DAO :在本地启动和运行 zkEVM ,进行云设置和配置$CULT作为本机令牌, 预计仍将在 2023 年第一季度推出。 MINA: 2023 年第一季度推出使用交互式零知识证明为 zkOracles 确定性能提高 256 倍的多方计算 (MPC) 设计 XVS:第一季度推出Venus Prime 代币 (SBT)和烧伤XVS令总供应量减少 ZIL:发布WEB3WAR v1.0 ZEN:2023 年第一季度发布侧链公共测试网 来源:金色财经
lg
...
金色财经
2023-03-01
腾讯云驶向Web3深水区 客户群瞄准“有币”区块链
go
lg
...
国内“四朵云”中的一员,但腾讯云始终被
阿里
云
压过一头,身负营收和增长压力。 涉水云业务长达12年之久,腾讯云还未实现盈利。2022年,受到云业务的拖累,腾讯金融科技与企业服务板块的收入增速从30%骤降至4.6%,腾讯云的市场份额也被后来者华为云反超,在国内排第三。在腾讯内部,多位高管曾喊出,腾讯需要优化亏损业务,降本增效,以保持更健康的增长。 此次,腾讯云服务原生区块链项目,无疑有利于在Web3领域寻找业务增长点。而一向以“财富效应”闻名的加密货币圈子,确实也是云服务商的一块掘金宝地。据《品玩》报道,亚马逊云一直在暗自服务中国的币圈企业,并创造了可观的收入,“一名亚马逊中国员工透露,国内一家颇具规模的加密资产交易所,每个月就在亚马逊云有一二十万美金的支出”。 当然,目前腾讯云还是延承了腾讯一贯的谨慎,公开宣布合作的4个客户大多是海外项目,此外,腾讯云暂未向监管风险更高的加密资产交易所提供服务。 据Market Research Future估计,2023年Web3区块链领域的价值将超过6万亿美元,从2023年到2030年,Web3市场规模将继续以44.6%的年复合增长率增长。面对这块大蛋糕,腾讯云拿起了掘金的“铲子”。 PANews PARTY AWARD 2023 年度评选提名火热征集中! 冬去春来,今年我们以“Keep Building”为主题,旨在发现并激励Web3领域中持续建设的真正Builder。将通过数据初选、公开征集、线上投票及专业评审团评议,最终评选出12项权威年度奖项。 来源:金色财经
lg
...
金色财经
2023-02-28
互动|财通证券:基金投顾、财通基金、财通资管优秀产品和服务均已对接蚂蚁财富平台
go
lg
...
。在大数据应用、区块链技术、人工智能、
阿里
云
等方面合作均在推动过程中。 财通证券表示,公司基金投顾、财通基金、财通资管的优秀产品和服务均已对接蚂蚁财富平台,在蚂蚁平台打造多款栏目的内容矩阵,访问用户和次数显著提升。 公司部分产品已进入蚂蚁优选,并通过蚂蚁财富平台进行销售;同时财通证券财富号、财通基金财富号、财通资管财富号等均已在蚂蚁财富平台上线。2022年蚂蚁财富号直播超过150场,累计观看人数超100万。
lg
...
金融界
2023-02-28
上一页
1
•••
91
92
93
94
95
•••
100
下一页
24小时热点
中国突传重磅!南华早报独家:习近平将首次缺席金砖国家峰会 究竟怎么回事?
lg
...
中俄突发重磅!华尔街日报独家:以伊冲突促使中国重新考虑俄罗斯天然气管道
lg
...
真停火还是假和平:伊朗否认再发导弹!油价跳水,鲍威尔证词万众瞩目
lg
...
特朗普突然重大表态!特朗普称允许中国继续购买伊朗石油 国际油价暴跌
lg
...
中国“禁酒令”再度加码之际,当局呼吁抵制极端吃播
lg
...
最新话题
更多
#Web3项目情报站#
lg
...
6讨论
#SFFE2030--FX168“可持续发展金融企业”评选#
lg
...
36讨论
#链上风云#
lg
...
109讨论
#VIP会员尊享#
lg
...
1989讨论
#CES 2025国际消费电子展#
lg
...
21讨论