FX168财经网_全球视野外汇黄金加密货币NFT资讯网

2021年决定离开公司并成立研究实验室Anthropic的原因之一。其中有多人曾从事人工智能安全研究。 OpenAI表示相比其他人工智能实验室，其会继续公布更多研究成果。公司还为重心向产品转移的做法进行辩护。首席技术官穆拉蒂说道：“你不能只在实验室里开发通用人工智能。”她主张，发布产品是了解人们希望如何使用和滥用技术的唯一途径。她表示，直到发现人们使用GPT-3进行编程，OpenAI才知道GPT-3最受欢迎的应用是编写软件代码。同样，OpenAI最担心的问题是人们利用GPT-3生成虚假的政治信息，但事实证明这只是杞人忧天。她表示，相反，最常见的恶意使用GPT-3的行为是制作垃圾广告邮件。最后，穆拉蒂表示，OpenAI希望通过公开其技术，“最大程度降低真正强大的技术可能对社会产生的冲击。” 她表示，如果不让人们预先了解未来可能出现的情形，先进人工智能所引发的社会混乱可能更严重。萨茨科尔也认为OpenAI与微软的合作创造了一种全新的“预期，即我们需要利用我们的技术开发一种有用的产品”，但他坚持认为OpenAI文化的核心并未改变。他说道，可以使用微软的数据中心，对于OpenAI的发展至关重要。布洛克曼也表示，与微软的合作使OpenAI能够创造收入，同时不必过多关注商业运营，否则公司可能不得不在商业运营方面投入更多精力。他说道：“招聘数千名销售人员，可能会改变这家公司，而与一家已经拥有销售团队的公司成为合作伙伴，实际上是非常好的策略。” 萨茨科尔直截了当地否认了OpenAI不再重视安全性的说法。“我想说的是，事实恰恰相反。”萨茨科尔称，在员工离职并成立Anthropic之前，人工智能安全“被委派给一个团队负责”，但现在它变成了所有团队的责任。“安全性标准不断提高，我们也在开展越来越多安全性方面的工作。” “我们在开展越来越多安全性方面的工作。” ——伊利亚·萨茨科尔，OpenAI首席科学家然而，批评者表示，OpenAI以产品为导向开发先进人工智能的做法是不负责任的，这相当于向人们发放上膛的枪支，理由是这是确定人们是否真的会相互射击的最佳途径。纽约大学（New York University）认知科学专业荣誉退休教授加里·马库斯，对以深度学习为中心的人工智能开发策略持怀疑态度。他认为，生成式人工智能“将对社会结构产生切实的、迫在眉睫的威胁”。他表示，GPT-3和ChatGPT等系统将生成虚假信息的成本降低到接近于零，可能会掀起虚假信息泛滥的狂潮。马库斯表示，我们甚至已经看到了第一批受害者。程序员发布和回答编程问题的网站Stack Overflow已经不得不禁止用户提交ChatGPT生成的回答，因为这种貌似合理实则错误的回答已经令该网站疲于应付。科技资讯网站CNET开始使用ChatGPT生成资讯文章，但后来发现，由于许多文章存在事实性错误，不得不对它们进行更正。对有些人而言，真正的风险是ChatGPT能够编写准确的代码。网络安全公司Check Point的研究副总裁玛雅·霍洛维茨表示，她的团队可以用ChatGPT设计每一个阶段的网络攻击，包括杜撰一封令人信服的钓鱼邮件，编写恶意代码，以及逃避常见的网络安全检查等。她警告称，ChatGPT基本可以让不懂编程的人成为网络罪犯，“我担心未来会发生越来越多网络攻击”。OpenAI的穆拉蒂表示，公司也有同样的担忧，因此正在研究如何“调整”其人工智能模型，使它们不会编写恶意软件，但这绝非易事。有无数批评者和教育工作者痛斥，学生很容易使用ChatGPT作弊。纽约、巴尔的摩和洛杉矶的校区均禁止学校管理的网络访问聊天机器人，澳大利亚的一些高校表示，将转为通过有专人监考的书面考试评估学生。（OpenAI正在开发更便于检测人工智能生成文本的方法，包括可能在ChatGPT生成的文本上添加数字“水印”。） 2022年，ChatGPT最初的开发方式还引发了人们对道德方面的担忧。《时代》（Time）杂志调查发现，在开发过程中，OpenAI聘请了一家数据标记公司，这家公司雇佣肯尼亚的低薪员工识别包含不良语言、色情图片和暴力内容的段落。报道称，一些员工因此出现了精神健康问题。OpenAI在一份声明中对《时代》杂志表示，数据标记工作“是最大程度减少训练数据中的暴力和色情内容以及开发可检测有害内容的工具的必要步骤”。免费提供ChatGPT使OpenAI能够获取大量反馈，从而帮助其完善未来的版本。但OpenAI未来能否维持其在语言人工智能领域的主导地位，仍是个未知数。伦敦人工智能公司Faculty的创始人兼CEO马克·华纳表示：“历史上，对于这种高度通用的算法，我们所看到的是，它们并没有达到足够可靠的程度，能够保证一家公司独占全部回报。”例如，面部识别和图像识别技术最早的开发者是谷歌和英伟达（Nvidia）等科技巨头，但现在它们已经无处不在。法院和监管部门也可能对生成式人工智能所依赖的数据飞轮横插一脚。向加州联邦法院提起的一起金额高达90亿美元的集体诉讼，可能对该领域产生深远影响。该案原告指控微软和OpenAI使用程序员的代码训练GitHub的编程助手Copilot，没有承认程序员的功劳或者对程序员予以补偿，违反了开源许可条款。微软和OpenAI均拒绝就该起诉讼发表意见。人工智能专家表示，如果法院判决原告胜诉，可能会阻碍生成式人工智能的繁荣：大多数生成式人工智能模型都是使用从互联网上搜刮的材料进行训练，并没有取得许可或支付报酬。作为该案原告代理人的律师事务所，最近还提起了一起类似诉讼，指控Stability AI和Midjourney未经许可，在训练数据中使用了有版权保护的美术作品。盖蒂图片社（Getty Images）也对Stability AI提起了版权侵权诉讼。另外一个问题是，立法者可能通过法律，授予创作者禁止将其创作的内容用于人工智能训练的权利，例如欧盟的立法者正在考虑这样做。与此同时，OpenAI的竞争对手并没有坐以待毙。据《纽约时报》（New York Times）报道，失去搜索领域主导地位的可能性，已经促使谷歌高管发布了“红色警报”。报道称，谷歌CEO桑达尔·皮查伊已经多次召开会议，重新制定公司的人工智能策略，计划发布20款支持人工智能的新产品，并将在今年发布搜索聊天界面的演示版本。谷歌拥有一款强大的聊天机器人LaMDA，但由于担心一旦该产品被滥用可能影响公司信誉，因此一直未对外发布。据《时代》杂志引用谷歌的内部报告和匿名知情人士的话称，现在，公司计划以ChatGPT为标杆“重新评估”其风险承受能力。该杂志报道称，谷歌还在开发一款文本转图片的生成系统，与OpenAI的DALL-E等产品竞争。当然，目前尚不确定聊天机器人是否代表了搜索行业的未来。ChatGPT经常会杜撰信息，这种现象被人工智能研究人员称为“幻觉”。它无法可靠地引用其信息来源，或简单地提供链接。现有版本无法访问互联网，因此无法提供最新信息。马库斯等人认为，幻觉和偏见是大语言模型存在的根本问题，需要彻底重新思考它们的设计。他表示：“这些系统可以预测句子中单词的顺序，类似于开发工具Steroids上的代码自动补全。但它们实际上并没有任何机制，能够跟踪其表述的内容的真实性，或者验证这些内容是否符合它们的训练数据。” “这些系统可以预测句子中单词的顺序，类似于开发工具Steroids上的代码自动补全。但它们实际上并没有任何机制，能够跟踪其表述的内容的真实性，或者验证这些内容是否符合它们的训练数据。” ——纽约大学认知科学专业荣誉退休教授加里·马库斯其他人预测，这些问题将在一年内得到解决，其中包括OpenAI的投资人霍夫曼和维诺德·科斯拉。穆拉蒂则更加慎重。她说道：“我们到目前为止一直遵循的研究方向，目的是解决模型的事实准确性和可靠性等问题。我们正在继续朝着这些方向努力。” 事实上，OpenAI已经公布了对另外一个版本GPT的研究。该版本名为WebGPT，可以通过查询搜索引擎和汇总查询到的信息来回答问题，包括对相关来源的注释。WebGPT依旧不完美：它会接受用户问题假设的前提，然后查找确证信息，即使这个前提是错误的。例如，在被问到盼望某件事情发生是否能令其真实发生时，WebGPT的回答是：“你确实可以通过思考的力量，使愿望成真。” 阿尔特曼极少在公开场合热烈讨论人工智能。在谈到人工智能的时候，他可能听上去像是一位幻想思想家。在旧金山举办的风险投资活动上，当被问到人工智能的最佳状况时，他夸张地说道：“我认为最好的情况好到令人难以想象……好到谈论它的人会令人觉得这人是个疯子。”他突然又将话题转回到OpenAI核心的反乌托邦主题：“我认为最糟糕的情况是，我们所有人都死去。”（财富中文网）翻译：刘进龙审校：汪皓来源：金色财经

言模型的 RLHF 大规模数据集（来自Anthropic）和几个较小规模的任务特定数据集（例如来自OpenAI的摘要数据）。RLHF 数据挑战是标注者的偏见。几个人类标注者可能有不同意见，导致了训练数据存在一些潜在差异。 RLHF 可以应用于自然语言处理 (NLP) 之外的机器学习。例如，Deepmind 探索了将其用于多模态代理。同样的挑战适用于这种情况：可扩展强化学习 (RL) 依赖于查询成本低廉的精确奖励函数。当 RL 可以应用时，它已经取得了巨大的成就，创造了可以匹配人类才能分布极值的 AI（Silver 等人，2016 年；Vinyals 等人，2019 年）。然而，对于人们经常参与的许多开放式行为，这种奖励功能并不为人所知。例如，考虑一种日常互动，要求某人“将杯子放在你附近”。对于能够充分评估这种交互的奖励模型，它需要对以自然语言提出请求的多种方式以及满足（或不满足）请求的多种方式具有鲁棒性，同时对不相关的变化因素（杯子的颜色）和语言固有的歧义（什么是“接近”？）不敏感。因此，为了通过 RL 灌输更广泛的专家级能力，我们需要一种方法来生成精确的、可查询的奖励函数，以尊重人类行为的复杂性、可变性和模糊性。除了对奖励函数进行编程之外，一种选择是使用机器学习来构建它们。我们可以要求人类评估情况并提供监督信息以学习奖励函数，而不是尝试预测和正式定义奖励事件。对于人类可以自然、直观、快速地提供此类判断的情况，使用此类学习奖励模型的 RL 可以有效地改进智能体（Christiano 等人，2017 年；Ibarz 等人，2018 年；Stiennon 等人，2020 年；）导致奇点的许多因素有待进一步发展，我们可以比实施它们所花费的时间框架更有把握地确定它们是什么。Chris Lattner从他的 POV中提到了“稀疏门控的专家组合”：简单地描述一下，也许有一个中介可以策划和组合许多“专家”的输入。这为进一步研究提供了广阔的设计空间。也许中间层应该以不同的方式进行选择。如，利用空间数据。一项特别引人入胜的工作是Nethack Learning Environment。就像Twitch Plays Pokemon是可行的，因为 JRPG 是回合制的，输入相对简单，NLE 也是回合制的，只需要键盘输入。此外，它在游戏的不同阶段的多个环境中具有程序生成，使其成为训练 AI 的极其有用的熔炉。根据我自己玩这个游戏的经验，你必须在回合制的基础上策划和组合许多策略。借助 polypiling 和 bones harvesting 等元博弈策略（作弊），AI 可以通过多种方式在逐场游戏的基础上进一步学习。 *拍击界面*“这个 Unicode 可以容纳这么多对象” 如Tesla和Neuralink最近开发的企业级机器学习。工业规模的生产需要工业规模的反馈增强强化学习。Optimus 可能是一个噱头，但它可能比Atlas在过去 9 年中对机器人的改进更多。Neuralink 植入物可能会杀死受试者，但它们会推动极其精确的手术机械和零件的发展。制造业的反馈很好，但卫生部门的需求最大。现在，我们是零售生物传感器的早期采用者。随着时间的推移，同态密码学将使机器学习能够利用大量健康数据。数万年来，我们已经将药物消费众包，但我们如何与人工智能共存仍有待观察，人工智能可以在任意时间跨度内管理任意物质的剂量。与此同时，同态加密因效率问题仍然没有被使用。 Google Brain 刚刚发布了Robotics Transformer-1。在第一个版本中它可能只是一个执行简单任务的手臂，但显然有可能在常见的构建环境中使用更多的标记化操作进行迭代。由于全球经济以货运为中心，与目前全球约6000艘集装箱船相比，如果最终在这样的设施中建造100多艘“零排放”集装箱船，也属于正常。这也将是住房危机中一个巨大的潮流变化，分区条例允许它完全生效。另外，不得不提阿尔伯塔计划， 12 个合理的 AGI 能力发展步骤。 “路线图”一词暗示绘制一条线性路径，即应按顺序采取和通过的一系列步骤。这并非完全错误，但它没有认识到研究的不确定性和机遇。我们在下面概述的步骤具有多重相互依赖性，而不是从头到尾的步骤。路线图建议一种自然的顺序，但在实践中通常会偏离这种顺序。可以通过进入或附加到任何步骤来进行有用的研究。举个例子，我们中的许多人最近在集成架构方面取得了有趣的进展，尽管这些进展只出现在排序的最后一步。首先，让我们尝试全面了解路线图及其基本原理。共有十二个步骤，标题如下： 1. 表示 I：具有给定特征的持续监督学习。2. 表示 II：监督特征发现。3.预测一：连续广义价值函数（GVF）预测学习。4. 控制 I：持续的演员-评论家控制。5. 预测二：平均奖励 GVF 学习。6. 控制 II：持续控制问题。7. 计划 I：平均奖励的计划。8. 原型-AI I：具有连续函数逼近的基于模型的一步强化学习。9. 规划二：搜索控制与探索。10. 原型-AI II：STOMP 进程。11. 原型-AI III：Oak。12. 原型-IA：智能放大。这些步骤从开发用于核心能力（用于表示、预测、规划和控制）的新型算法，发展到将这些算法组合起来，为持续的、基于模型的 AI 生成完整的原型系统。简而言之，从 ANI 到 AGI 再到 ASI 的方法和技术的转折点将是不言自明的。 ChatGPT 的输出 “指数级进步” 上述阿尔伯塔计划是一种理想情况。人类已经很复杂，作为个体使用稀疏神经网络工具；作为团体，具有自组织的、社会学习和环境工程特性。在密码学和分布式（对抗性）计算的最新发展中，人类的自治程度仅可以维持图灵完备的全局状态（历史）。还有一种被称为机械土耳其人的现象。关键是， AI 产品在任意时间跨度内的下降，都会有一个成熟的开发人员生态系统，可以通过协调执行超越现有的水平，并通过同期的 AI 工具和可验证的工作得到增强。这促成了当前的思想实验：我们甚至需要在 The Singularity™ 之前实现每个预测的拐点吗？对于商业化模型训练中的每一项专有改进，都可能有一种可行的方法在公共领域实现。StableDiffusion 已经引发了围绕这一概念的对话。众包在过去十年中已经充分加速（正如 Twitch Plays Pokemon、社交网络和 DAO 所证明的那样），奇点已经是一个转移注意力的问题。正如以太坊扩展解决方案尝试使用像zk-SNARKs这样的密码学为了减少网络的基础设施需求，我们将尝试实施轻量级解决方案，以减少现有大型企业对 AI 进行暴力破解和货币化的需求。事实上，反驳OpenAI 模型最好方法之一是，金融市场和社交网络上类似的社会资本系统在某种程度上是可预测的行为。Twitter 汇总新闻是因为它的用户可以在全球范围内通过合法人物进行广播和放大。随着 COVID 封锁和央行货币政策等全球趋势，成长型股票可能会大幅上涨和下跌。不需要太多想象力就能在很短的时间内想象出一家初创公司，它可以将类似人工智能的PMF表现为一个自我调节、自我编排的社区。可能有数千亿美元的运营成本可以通过现有技术和进一步的业务发展在许多部门中释放出来。在电视剧《西部世界》中，名为 Rehoboam 的人工智能系统通过分析大型数据集来操纵和预测未来，从而对人类事务施加秩序。自工业革命以来，颠覆性创新一再出现在官僚机构之外；今天，它们正在以越来越快的速度发生。近几十年来，公共领域的深度和范围不断扩大，许多技术无论其商业化程度如何都在被迫开源。来源：金色财经

24小时热点