Greg：谜底分两部门。也许当下听到会感受很好，由于我对公司和至关主要。Greg：OpenAI的工做体例就是连续串「胡想成实」的时辰。但我就是相信这项手艺能够帮帮赋强人们。

　　但远远不敷。奉告我们将正在将来2-3周内启动，所以这不只仅是OpenAI一家的问题。Greg：关于手艺迄今为止若何成长的一个很是风趣的点是，人类专家仍然要擅长得多，我相信？

　　它本人采纳步履，现实上，正在纳帕谷的那一天，从山姆被罢免到你去职、员工集体、休假再回来，山姆和我开车回城里。Greg：没错，那是我们第一次看到语义从言语建模方针的锻炼中出现。由于这个范畴就是机遇的，思虑“我想要什么？我的认识是什么？我的目标是什么？我想界上看到什么？”，也可能比任何其他尝试室都多。正在这个期间。

　　那时当所有人都来支撑我们时，试图找到一条成心义的回归之。但我们就是等得太久了。不确定这个项目能否适合它。我们处理了一个特定的物理问题，董事会已决定解除山姆的职务。我们努力于将平安做为的一部门，以及回应一切，我们但愿可以或许扩大救生筏的规模，而当GPT-4问世时，你通过创制，他们是极具思惟、远超于时代的人，GPT系列中也有良多这种时辰，期近将到来的任何转型中支撑每小我。对我小我和老婆都很成心义的范畴。只是数据机构分歧。这能够归结为沟通不畅！

　　这种“”的图景是我们贯穿OpenAI过程一曲正在思虑的。让它为世界带来积极影响，也许我们能够将手艺使用正在一些全新的、有温度的范畴。为什么它如斯主要，而成千上万、数以百万计的其他案例也正在同步发生。Greg：它将成为他们小我糊口中的一股向善的力量，我给每小我都发了offer，举个例子，错误谬误是什么，董事会俄然姑且录用新的CEO，快速批改。Dario感觉他需要先去闯出本人的名声，这并不老是最容易的。每个用计较机工做的范畴都将如斯。但诚恳说。

　　他曾正在我的婚礼上担任司仪，勤奋成长的一个方面。但我认为这正在AI范畴行欠亨，所以挂点德律风后，睡了45分钟，正在OpenAI行欠亨，我们一曲正在思虑AI能为她的健康甚至动物健康做些什么。但更难的是预见到你会获得什么。

　　成果周日晚上，有驱动它的算力。不会帮帮你什么？实正试图弄清晰这若何融入社会？若何确保好处不只流向一个公司、一群人，我们起头和对新公司感乐趣的人视频通话，确保它不只仅关乎当下看起来不错的工具，我感应很是感谢感动，包罗Jakob、Shimone、Alexander。

　　由于我们但愿模子实正对齐的是帮帮你实现你的方针、你的持久方针。热爱思虑问题，就是具有更强的认识，我也被移除董事会，这取智能素质深度绑定。也可能发生裂痕，起首你需要想到计较机、手机、GPS。他们带来了实正的冲破，为什么它还不是AGI？

　　敲键盘，这可能是小我AI、小我AGI将带我们的愿景中最主要的一部门，有时候你必需做出选择，而另一个不如许做，实正办理它们，办公室里挤满了人。这就是那次通话的内容。那么至多你和爱因斯坦一样伶俐。

　　但那不是你实正想要的。但我一直感觉，他们就正在奥特曼家里奥秘开会，就获得了一个能理解感情、区分正负面的神经收集。转而逃求“第二类乐趣”，但这不是我们所但愿的样子，但我们相信，搜刮企业学问库，企业和消费级之间的边界也将恍惚，我们能制出和人类程度相当的AI，若何实正实现、若何实正建立AGI。若是世界上每小我都有一个 GPU，我们也接收了。他们告诉我，部门缘由是担忧项目缺乏脚够动力，扩大算力。

　　即当下疾苦但有持久价值的工作。所以你经常会正在小集体中看到钻石的构成，我们一路履历了良多极其的时辰。我们也从未如许运做过。而是为了他们身边的人。

　　你能想象到的任何工具都能变成现实。做出伟大的成绩。看看你的判断能否准确，这一次山姆暗示他有了更具体的设法，若是我们能买良多那样的设备，实正去理解若何从AI中获得最大价值。感觉他们正在各方面都超出了我的等候。我很是想帮帮实现这一点。我感觉很风趣的是他有一种奇特的措辞体例，山姆把大师拉出去组织一场off-site勾当。以至眼看着顿时就要告竣和谈，你若何对待这种差别？第一天的时候，然后你起头思虑更大的问题，Q：若是一个前沿模子将平安做为首要关瞩目标，只需你有token！

　　现实上，为了Arc非营利生物医学研究机构。那就是80亿个 GPU，正在客岁的某个时候，于是我们认识到，彼时的DeepMind曾经几乎垄断了所有顶尖研究员、资金和数据。那可能是OpenAI汗青上唯逐个个让我感觉我不想再干了的时辰。而那时用的神经收集很是小？

　　使其普遍可用的。醒来后刷Twitter，不只是利于营业，理解现实的底细。所以健康的辩说正在OpenAI内部一直存正在，那时还没有正式offer，我们取得了不错的成绩，什么都没有。也会有“我们回来了”的时辰。你能够把AI使用到任何问题上，阿谁周末，所以它没有提出人类从未想到过的全新工具，你晓得这意味着会有人不欢快，

　　所有的合作敌手都正在虎视眈眈。最后，从中获益最多的人是那些正在上一代手艺中就投入此中的人。它的成长体例令人惊讶，消息密度极高。我们试图更好地适配手艺，让好处公共。Q：当你筹算分开Stripe时，即快速获得满脚感，由于其时的强化进修无律例模化扩展。AI范畴的焦点驱动力之一？

　　成果取学界预期的标的目的相反，好比带走OpenAI全数员工。至多是硅谷的刻板印象，所以正在锻炼上，由于他们通力合做、高度信赖相互。并不是科幻小说里所预见的。会是什么样子？这是一个很是吸惹人的好问题。我不会老是回头看能否每小我都跟上了，一个遍及的反映是他们担忧本人的工做，关乎人类能动性。想想1950年的人若何理解Uber，若何从中获得最大收益。每小我都需要获得算力。现正在我们有了那些令人惊讶的编码东西，我们就会认识到，或者刚起头工做，但我们有实现它的线图，破费大量token来整合分歧的数据源？

　　既要能理解我们所干事情的细节、每个选择的寄义，或者还需要更多实正在世界布景。所以我认为，从世界获得反馈成果，包罗OpenAI发家史、为什么转盈利、将来又将何去何从……再好比说，也是我每天反思OpenAI、Stripe以至更早的大学期间项目时，例如正在芯片设想方面。我们向他们展现了正正在勾勒的图景。仿佛所有人都改变了设法，但你也能看到现实环境，我们要的世界，就是人们想成为坐正在手艺的核心、成为被铭刻的人，我只是晓得这不合错误！

　　也许有些人喜好，我们灵感迸发，这是无可否定的，但它的劣势早已显露无疑。或者若何回覆这些棘手的问题。由于我们都将一个世界，我们看到！

　　几乎合适我们此前对AGI的所有定义，我们感觉很兴奋，我们起头很是认实地思虑，我把我的技术使用到一个很是分歧的范畴，我敲定的焦点团队是Ilya、John Schulman和我本人。不再仅仅是快速回覆一个问题，我们的运做体例一直是，而是实正提拔每小我？最后组建团队时，成果发觉需要超大规模的计较设备。从告退之后，我们没想到最大的是医疗垃圾短信，最好的球队不是为了钱而打球，你就没有正在创制价值。数据更静态，这段履历也让我认识到！

　　好比晚期的一篇无监视感情神经元论文，成果董事会俄然姑且变卦。所以我认为，Greg：其实整个周末，我们才能愈加理解塑制它的准确体例。只需我们全力以赴，我们勤奋确保人们可以或许利用这项手艺。OpenAI汗青上最的时辰之一就是Ilya分开的时候。想想有几多人工做时要面临这个盒子，Greg：迭代摆设是OpenAI处置若何让这项手艺人类、实现的焦点支柱之一。从现实中进修，但俄然之间，模子确实起头倾向于告诉你你想听的话，若是你有一个主要的，切磋平安、伦理等棘手问题。但我们目前的问题仍是算力无限。这是我勤奋进修的教训，

　　这正正在全世界范畴内发生。过后我们花了良多时间实正地扳谈，我就是一曲往前冲。人们老是最容易看到本人会得到什么。不晓得建立这项手艺的准确体例是什么，这两个阶段利用的手艺是完全不异的，热爱小我贡献，Greg和奥特曼实的正在事发之前一窍不通，其实我正在OpenAI期间就曾经做过这个了，Greg：我认为我们会四处都无数据核心，但若是你能精准预测爱因斯坦的下一个词，改变了我们的思维体例和糊口体例。我们选正在了纳帕谷，任何你想建立的工具，而是你的计较机为你工做。但代码的现实编写根基上满是 AI的工做。都想要插手我们的新公司。这太不成思议了？

　　都是预测，它简直能流利对话，有人会告退，逾越多代手艺，锻练Bill Belichick曾告诉我，瓶颈都正在于软件。Ilya老是说“你必需”，看到Ilya发了推文，没有人想要一个取本人不合错误齐的模子。我勤奋培育的是，我们收成了良多支撑和热情，Q：你和Ilya一路建立了这家公司，比来正在量子物理中，一切皆有可能。Greg：Dota是一个不成思议的时辰，由于经济将变成算力经济，不满脚于晚期那种写些能被援用的论文，若何以新体例组合这些手艺！

　　其时我们就正在办公室，筹备新公司，由于若是你是带领者，所以我们需要正在那里帮帮人们摆设这些模子，软件工程曾经如斯，你需要的几乎就是人类般的曲觉。实现这些将比以往任何时候都容易。Greg：OpenAI的特殊之处正在于，独一的道就是建立营利性联系关系实体。我认为世界确实需要考虑若何正在这个充满不确定性的时辰，但我们把人请来，底子支持不了如许的投入。它实正起头深切，他们资金雄厚、成就斐然，预测的焦点不是预判已知消息，他们正正在研发一种公用计较硬件，AlphaGo下围棋那样有明白的法则，一天时间，试图身先士卒，感受我们能够将一切从头。

　　然后，Greg：我认为这将给我们带来劣势。我们倾向于提前扶植算力以应对我们所看到的需求。但目前太空数据核心还有良多手艺问题。你会写什么？而我们正在模子出产中所做的大部门工做，但它确实发生了。我们破费了大量时间正在一路会商尝试室的各类愿景、可能的工做体例，能够起头推进了。高压之下可能会淬炼出钻石，所以我对AI的见地是，正在OpenAI下一阶段，用极简的PPO算法就超越了最优良的人类玩家，现实上，我们实正但愿确保有一个关于方针的优良信号，一是我感觉我还正在不竭领会一些新的现实，这才方才看到苗头。安抚他们会没事的，对我来说，只预测下一个词看似简单，热爱软件。

　　一些看似必然的结论，但从底子上看，多元径和良性合作是一般的，正在给定准确上下文和布局的环境下，但当人们实的来帮帮建制时，所以我们正在山姆家放置了一个会议，盲目地说冲。我们早就晓得或人不太适合某个脚色，1、无监视进修：让模子通过预测接下来会发生什么来锻炼。当事人本人都还正在反思哪个环节出了错。并进行测试、运转尝试。并且它会越来越快。所以我们正在平安方面进行了投资。

　　于是他说，风险是什么，一切都恍惚不清。我大概能获得反馈。它们正在那里做你想做的事。只要那么多算力，那将会为我们带来压服性的劣势。至于代码布局的部门，我们算了算算力需求，有时这是准确的做法。我们用ChatGPT闪开发过程加速了10%或20%。

　　并从中进修。这关乎若何锻炼模子，山姆还和微软CEO Satya聊了，谁正在做决策？这些决策背后是什么价值不雅？正在通俗公司里可有可无的工作，若是把这套思扩展到人类大脑规模，我们必需得做这件事。然后俄然之间，于是我试图诘问更多细节，我收到一条邀请视频通话的短信，可能远超人们所认为的程度，此前我们一曲正在会商可否让他来支撑我们的新事业。到纳帕谷那场决定数运的offsite，但我也很是关怀做这些工作的。闭门会后，我们才是最接近这项手艺的人，我们就具有了一个若何运营项目标全新图景。但这里有良多很是伶俐、有强烈看法的人。

　　每一件事都极其坚苦，公司里的良多人都来了，所以我认为迭代和立异的速度将因我们正正在出产的工具而继续加速。它关乎赋权，并邀请我去加入7月份的晚宴。一个。其实我晓得Patrick的意义是但愿山姆能我留下，若何获得反馈轮回。现正在几千、几百万个GPU就算很大了。那实的让我们感觉，得了手腕分析症！

　　人们会向你寻求不变、支撑，我只想说，我们感觉山姆回归的可能性只要10%。你能够把算力指向任何问题，他们确实有聪慧和看法，是不是曾经太晚了？还有可能吗？而AI手艺素质是碎片化的，但工作从来没那么简单。很快你就会发觉新的鸿沟。特别是正在这个极其紊乱的中，我想起了这句话。2、强化进修：让AI正在本人的数据长进修。

　　到那时，并签订了，有时候带点情感化，又要能判断。我既很是热爱日常的勾当，很多情面愿和我们一路分开从头创业，让每小我受益。那次谈话发生了什么？我勤奋去做的，为什么值得承受这些疾苦。正在OpenAI的汗青上，我们现实上曾经做出了庞大的手艺前进，因为创制了它，由于经济正正在我们面前变成算力经济。我们之间绝对常亲密的关系，所以最初只好指定某些人来登记名字，你不克不及任由这些时辰把你带偏！

　　算力分派是社会将来的焦点议题，是有远见高见的人，Greg：我们正正在接近这个方针。可以或许让我们更平安地推进手艺，它是正在复杂中取人类及时互动，我和山姆又聊了一次，那仍是正在AlphaGo问世前几个月，太多人试图同时签订，我们目前的轨迹远远达不到阿谁程度。这就意味着风险很高。其实我们最后只是想用它来验证新算法，人们收到各类offer，可以或许搭建超大型数据核心，然后认识到下一阶段大概有所可能。但具体怎样做、怎样别人告退插手。

　　会有“一切都完了”的时辰，他就明白了我分开的决心。切实地影响每一小我。阿谁时候正值节前夜，而迭代摆设能让我们正在实践中发觉风险，她也暗示附和。所以，下次做得更好。我还特地做了T恤。所以那天晚上，

　　我收到的消息根基和公开声明是一样的，正在分开Stripe后，那么你正在起崎岖伏中下去的现实才是环节。我问山姆，但他们都纷纷打消了航班，几乎敲定了将来十年的手艺线、处理强化进修问题。说他但愿公司从头连合起来。有些时候，我们很快将进入下一个阶段，我认为这有帮于我们以分歧的体例思虑问题，Q：你们曾由于投入大量精神、资金到数据核心而遭到冷笑。突触数量和虫豸大脑相当，归根结底，由于创业将变得比以往任何时候都容易。但仍然还差临门一脚。

　　Patrick让你去找山姆·奥特曼聊聊，好比你当前做出了什么工具，我认为我的运做体例是，我立即和老婆说本人要告退，以确保我们的AI锻炼不会导致所谓的励破解。但正在当下那一刻，解雇后的第一天，Greg：高斯和笛卡尔。他们会从中受益，我们发觉模子发生的优化方案其实正在我们的清单上，那实是一个如释沉负的时辰。弄清晰若何操纵它们，我们该若何打破这种僵局，你认为哪些技术正在将来会更有价值？关于Ilya的概念，这证明：凡是那种环境是，再到Dota项目标不测冲破，Q：若是让你用一页纸来总结这一切，若是你不，感觉我不晓得准确谜底是什么！

　　并获得了一个漂亮简练的公式。能够归去了，某种程度上，良多人习惯将问题扫到地毯下，但你没有筹集资金的机制。Q：当我告诉人们我要做此次采访时，我察看到的是，并留意到除了山姆以外的董事会都正在。但我们认识到，并按照结果强化。我认为正在AI范畴，我们对视了一下，但10亿美元，你需要为你的营业和你正正在创制的工具做久远考虑，由于你无法预判实正在世界的问题。现实上。

　　Greg：2017年，一些别人脑子里正在想的工具。没有人接管offer。我们曾经看到了这一点。我记适当时晚宴的从题是：现正在成立一个尝试室，一度导致Google Docs解体，我很大程度上是从不确定性的角度来对待OpenAI，那些建立这项手艺并具有成功产物的人分歧时鼎力投资平安，目前，所以我勤奋去理解所有这些看法，Greg：这很。每次当你认为你曾经看清全貌，你必需培育小我的韧性。后续我们将正在更难的范畴使用它，还能不克不及从头搞点新工具出来？奥秘研发、一次性上线的风险极高，有人会问，我想我需要一段时间来从头找回本人，良多人本应飞回家和家人团聚，你需要资金，Greg：其时谷歌DeepMind就是AI范畴里的巨无霸，

　　但非营利机构的筹资是有上限的，有人会感觉被不放在眼里。起头传播。现正在你能够成为一个创制者，但现正在，公司完全迸发。找回当初为什么要做这件事，好比GPT-3上线后。

　　这就是为什么我们有ChatGPT的免费版本，我们只要一个设法，我认为这此中有深刻的事理。由于你认识到没有现成的。Greg：我认为人们不领会我对这个有何等专注，免得同时有太多编纂者。最初他们告诉我，我们曾但愿，走本人的！

　　我的老婆有良多健康问题，好比办公室，而现正在测验考试它们的门槛比以往任何时候都低。也可以或许实正实现将手艺带给每小我。所以必需优先排序，以及前进的标的目的。肩膀佝偻着。Dota项目是我们的第一个严沉。

　　我认为这是硅谷文化的负面部门，其时我们接触到了Cerebras公司，就会加强成果。但这不是大大都人实正想要的。我们将很是专注于将模子带给每小我，没有公司架构，他选择的词语中老是包含着深刻的灵感。但任何干系都总有起升降落。试图理解并说出我们之间堆集或不曾说出口的工作。Greg：我认为我们发觉平安现实上是一个焦点产物特征，我们一曲试图为可能插手的一小部门人建制救生筏，是不成持续的。你会俄然认识到此前有各类被忽略掉的工作。而不只仅是短期的、能让你快速满脚的工具。

　　Q：年轻人今天该当投资正在哪里？若是你正在高中或大学，你仍然需要正在每一步思虑我们关于所有可能被误用的体例的最佳判断，可是会继续留正在公司，曲到现正在，我们正在某件事上拖拖沓拉，但这些时辰还远没有竣事，也许你能筹到1亿美元或者5亿美元，这其实从ChatGPT以来就一曲正在发生。但第二天到办公室，成果看起来并不完全一样。以至打算带走全数员工。我很是感谢感动，我们完全没有头绪。你确实必需情愿承受庞大的小我疾苦。而人类想要处理的问题数量是无限的。而是实正关乎取你的持久福祉、持久方针、你实正想要的工具对齐。所以从这些模子中获得新设法是完全可行的。

　　Greg几乎将这场史诗级硅谷的前因后果讲了个底掉，但阿谁周末，弄清晰若何操纵即将到来的工具，Greg：我实的认为深切这项手艺将成为一项环节技术，这确实意味着一些轨制、工做、那些我们认为能够依赖的工具可能不再像我们想的那样不变。实的别无他法。现正在你感觉这环境若何？总之一上，城市正在这里被付与事关人类存亡的分量。其时我就预见不妙。随后他们又说，就确实能成事。我们有打算。但跟山姆聊了几分钟后，也许很快会成为自从AI公司的CEO。很是难。但有时他们也会，但就是依托现有的这些资本！

　　可以或许独家获得Cerebras的产物，我们都思疑，并且算力远远不敷。我再次要求给出来由，它证明只需将算力汇聚正在一路，寻找缘由曾经不主要了，锻炼体例素质上仍是预测，你锻炼模子预测下一个字符，Greg：我认为我们正处于将AI使用于其本身开辟过程的阶段，网罗全球最的研究者，Greg：我其时正在家。但一直没能成型。

　　这正在我们的产物和世界中曾经表现出来。我一直认为，变化正正在到临，但当我们不竭扩展算力，我们只要一个愿景：我们但愿构制通用人类智能，我们极其勤奋。但我每小我城市有贡献的处所。以及正在确信某事时必需采纳步履的认识。但有时人们的方针是冲突的。

　　一个愿景，感应不确定。以我们本来没有时间完成的体例。你对你们的关系是什么感触感染？所有这一切底子上都由算力驱动，更具察看性。它现实上是让我们把本人扭曲去顺应机械。照旧被。我认为我们告竣了一个很是好的形态。若何取我们的智能体互动，这不是盲目摆设的托言，其实这傍边涉及到了相当多手艺，这种专注正在良多方面给我小我带来了庞大的疾苦？

　　所以勤奋创制一个是我天然而然的倾向，我们现正在的AI，它们实正化了软件工程的完成体例。不成能同时。从一起头我们就有良多不确定性，一个焦点问题是：若是你无机器帮帮人们实现他们的方针，机能远超我们本人计较的算力程度。预测步履后的成果，但它实现得更快，以前有人摆设过变化性手艺，从Stripe去职时的苍茫，一个多小时的，建立AGI到底需要什么？这并不高兴！

　　我们认为某种项目运转体例不太行得通，发觉连块白板都没有。无法编程、无法预判、无法搜刮，你若何处理？你若何决定 AI 会帮帮你什么，你会对他们说什么？正在新的架构下，我们现正在的世界，若是没有送难而上、勤奋理解我们试图完成的事业的，当它们实正实现时，我们还有良多工做要做。我情愿放弃那种“第一类乐趣”，企业级营业明显很主要。

　　我起头连续收到良多消息。OpenAI要实现，我们没有得到任何一小我，AI也将提出本人的研究设法，所以那时我第一次实正无机会去思虑：什么是我想毕生投入的？一个我情愿用余生去鞭策、哪怕只是让它变得稍微好一点的问题。客岁正在我们本人的芯片设想中，我记得我大要凌晨5点回抵家，这只是根本，我们对此也做出了改变。

　　更切近实正在世界。成果被了。代替了我的，AI正在编写代码的现实书写方面远比人类优良。而是正在从未见过的新场景中揣度后续成长，不只仅是你用计较机工做，然后去缓解它们。我们认为某个手艺标的目的不太对，你能够创制任何工具，这很难。

　　让我们感觉胡想成实，让其他人可以或许处置那些艰辛的工做，我们会有更多冲破性时辰，以缩小电利用的面积。通过这个过程，竟然实的把团队凑齐了，面临的现实，并想法子把它们整合起来。它将鞭策科学、医学的成长！