详情

（原标题：AI不成瞎想芯片？谷歌发文造反！）欧洲杯体育

淌若您但愿不错常常碰面，宽容标星储藏哦~

最近谷歌DeepMind发表研究论文，造反针对其AI芯片瞎想系统AlphaChip的月旦。

谷歌东说念主工智能部门最初于 2020 年书记了用于瞎想芯片布局的新颖强化学习要领，并于 2021 年在《天然》杂志上发表了一篇相干论文。该论文宣称，AlphaChip 大概为每一代谷歌 TPU AI 加速器简洁数千小时的东说念主力，而况如故被该公司用于匡助瞎想其张量芯片。

该效果于 2022 年开源，尔后被谷歌用于其基于 Arm 的 Axion CPU 以过甚他尚未公布的谷歌里面芯片

关联词，2023 年，两篇论文对这一勉力的成效提议了质疑——一篇来自 Cheng等东说念主，另一篇来自 Igor Markov。Cheng 的论文称，他们无法重现谷歌的要领，而EDA大厂的科学家 Markov 发表了一篇聚首分析，称这种要领是“不实的晨曦”。

Markov 透露，分析“标明，谷歌强化学习落伍于（i）东说念主类瞎想师、（ii）闻明算法（模拟退火）和（iii）宽绰可用的买卖软件，而且速率较慢；在 2023 年的公开研究竞赛中，强化学习要领并未参预前五名。”他还援用了一位对该论文透露担忧的谷歌举报东说念主的话。

由于争议持续升级，《天然》杂志在谷歌的论文上添加了编者注，并透露正在观测这项研究。一位审阅过谷歌论文的孤独各人撤退了他在《天然》杂志上发表的最初赞好意思谷歌责任的驳倒著述。

谷歌宣称，Cheng的论文存在多方面残障，包括未进行预考核和使用较少的经营资源。谷歌还透露，“马尔科夫发表了毫无根据的诓骗指控”，并补充说，又名里面观测东说念主员跟踪到了举报东说念主，举报东说念主承认，天然他怀疑存在诓骗活动，但“他莫得把柄支捏他的诓骗怀疑”。

这家科技巨头当前透露，《天然》杂志本年 4 月完成了观测，并“皆备作念出了对咱们有益的裁决”，并于 9 月删除了裁剪持重。同月，联发科书记将使用 AlphaChip 看成其芯片斥地的一部分。

Markov本月再行发表并更新了他的分析，并补充说“《天然》杂志上发表的论文所引发的通盘主要担忧均未得到惩办。”他透露，AlphaChip 并非如其所宣称的那样开源：“除其他部分外，模拟退火的源代码仍然缺失，此外，淌若莫得专有的考核数据和测试数据，《天然》杂志上的戒指就无法重现。”

谷歌在一篇对于 AlphaChip 的博客著述中宣称，“AlphaChip 瞎想了更好的芯片布局，并提供了更多的举座平面图，从而加速了瞎想周期并坐褥出性能更高的芯片。

“AlphaChip引发了芯片瞎想东说念主工智能领域的爆炸式增长，并已推广到芯片瞎想的其他重要阶段，举例逻辑抽象和宏遴荐。”

原始论文中列出的名字中包括 Richard Ho，据音信骄傲，这位前谷歌 TPU 讲求东说念主于 2023 年转投 OpenAI。

以下为论文正文：

芯片已开赴：对芯片瞎想东说念主工智能毫无根据怀疑的批判

摘 要

2020 年，咱们引入了一种大概生成超东说念主芯片布局（superhuman chip layouts）的深度强化学习要领，随后咱们在《天然》杂志上发表了该要领并在 GitHub 上开源。AlphaChip 引发了芯片瞎想 AI 方面的宽绰责任，并已在 Alphabet 起初进的芯片中部署，并由外部芯片制造商进行了推广。即便如斯，ISPD 2023 上的一篇未经同业评审的受邀论文质疑了它的性能声明，尽管它未能按照《天然》杂志中形容的神气运行咱们的要领。

举例，它莫得事前考核 RL 要领（摒除了从先前教学中学习的才调），使用的经营资源大大减少（RL 教学采集器减少了 20 倍，GPU 数目减少了一半），莫得考核到持续（机器学习的模范作念法），而况对不代表当代芯片的测试用例进行了评估。

最近，Igor Markov 发表了三篇论文的“meta-analysis”：咱们同业评审的《天然》论文、非同业评审的 ISPD 论文以及 Markov 我方未发表的论文（尽管他莫得袒露他是该论文的合著者）。尽管 AlphaChip 如故得回通俗采用和影响，但咱们如故发表了此回话，以确保莫得东说念主会因为失实而澌灭在这个有影响力的领域进行篡改。

简介

在《天然》杂志上发表后，AlphaChip 引发了东说念主工智能芯片瞎想的宽绰研究。它还生成了超东说念主芯片布局，用于三代 TPU（见图 1）、数据中心 CPU（Axion）和 Alphabet 的其他芯片，并被外部学者和芯片制造商推广到芯片瞎想的新领域。

即便如斯，Igor Markov 在 2024 年 11 月的《Communications of the ACM》上发表了对咱们责任的月旦，该月旦是对咱们的《天然》论文和两篇非同业评审论文的“meta-analysis”：

1、Cheng 等东说念主：第一篇是 Cheng 等东说念主的受邀 ISPD 论文 。这篇论文莫得治服模范的机器学习实践，其强化学习要领和实验成立与咱们的《天然》论文中形容的有很大不同。

尽管如斯，其受限版块仍然优于 RePlAce2，后者是咱们在《天然》杂志上发表时起初进的期间。

2、Markov 等东说念主：第二篇“meta-analyzed”论文是一份未发表的 PDF，莫得作家名单，被形容为“Google 团队 ”进行的“单独评估”，但实践上是 Markov 本东说念主共同撰写的

，尽管这一丝并未败露。这篇论文不适合谷歌的出书模范。2022 年，谷歌的一个孤独委员会对其进行了审查，该委员会认定“草稿中的声明和论断莫得得到实验的科学支捏”而况“由于 AlphaChip 在其原始数据集上的戒指被孤独复制，这使 Markov 等东说念主 的 RL 戒指受到质疑” 。咱们向委员会提供了一排剧本，该剧本生成的强化学习戒指显著优于 Markov 等东说念主答复的戒指，优于他们的“更强”的模拟退火基线（simulated annealing baseline）。咱们仍然不知说念 Markov 和他的共事是怎么得出论文中的数字的。

马尔科夫的“meta-analyzed”为咱们的论文带来了另一个担忧：谷歌里面的“密告者”。关联词，这位“密告者”向谷歌观测员承认，他莫得情理肯定存在诓骗活动：“他说他怀疑 Goldie 和 Mirhoseini 进行的研究存在诓骗活动，但也透露他莫得把柄支捏他的诓骗怀疑”。

在他的“meta-analyzed”中，马尔科夫在莫得把柄的情况下对诓骗和科学潦草活动进行了放浪的推断，但这些都莫得发生。马尔科夫的大部分月旦都是这么的：在他看来，咱们的要领不应该有用，因此它一定不起作用，任何标明其他要领有用的把柄都是诓骗。

《天然》杂志观测了马尔科夫的担忧，发现它们皆备莫得根据，并在这一过程扫尾时发表了一份附录，支捏咱们的责任。举例，在论断的发轫段落中，马尔科夫指出（强调他）：“在这篇论文中，咱们发现 ML 中存在多样可疑作念法，包括不可类似的研究实践、多种挑选、误报和可能的数据混浊（泄漏）。”咱们莫得参与任何这些作念法，也莫得任何其他体式的科学潦草活动，马尔科夫也莫得为这些指控提供任何把柄。

马尔科夫在论文中莫得任何场合形容任何体式的所谓挑选，更无谓说多种变体了，他也莫得提供把柄。他也莫得形容任何体式的所谓“误报”，也莫得解释他的意料，也莫得提供把柄。他也莫得提供任何数据混浊（泄漏）的把柄，除了他推测淌若发生这种情况，咱们的戒指会得到改善。这些指控中的很多都是第一次出当前他的“论断”部分！

为了漫骂咱们的 TPU 部署，马尔科夫还示意谷歌确定仅仅在“测试”咱们的要领，允许在 TPU 中使用劣质的 AlphaChip 来撑捏咱们的研究论文。这是不真确的，而且名义上很颠倒。谷歌更关怀 TPU 瞎想的效用——这是一个耗资数十亿好意思元的神气，是谷歌云和东说念主工智能规划的中枢——而不是研究论文。

为了了了起见，咱们列出了事件的时辰表，包括非秘密部署：

简而言之，Markov 的论文不包含任何原始数据，仅仅对两篇论文的“meta-analysis”。

第一篇论文莫得作家名单（尽管 Markov 是作家之一），从未发表过，其倡导莫得科学数据支捏，而况无法重现。

第二篇论文，Cheng 等东说念主的论文，是 Markov 的“聚首分析”中独一的实践性内容，因此咱们将本文的其余部分用于形容其所谓重现咱们的要领中的进军问题。

2.Cheng 等东说念主对咱们要领的复现中的失实

Cheng 等东说念主宣称在新的测试用例上将咱们的要领与其他要领进行比较。横祸的是，Cheng 等东说念主莫得按照《天然》中形容的神气运行咱们的要领，因此他们答复不同的戒指也就不及为奇了。在本节中，咱们形容了他们所谓的复现中的主要失实：

1、莫得事前考核 RL 要领。从先前教学中学习的才调是咱们基于学习的要领的主要上风，而摒除它等于评估一种不同的、较差的要领。趁机说一句，预考核也产生了 Gemini 和 ChatGPT 等大型话语模子的令东说念主印象深切的才调（“GPT”中的“P”代表“预考核”）。

2、 使用的经营资源减少了一个数目级：RL 教学采集器减少了 20 倍（26 vs Nature 中的 512），GPU 减少了 2 倍（8 vs Nature 中的 16）。

3、未考核至持续。考核至持续是机器学习的模范作念法，因为尽人皆知，不这么作念会挫伤性能。

4、在非代表性、不可类似的基准上进行评估。Cheng 等东说念主的基准具有更老、更大的期间节点尺寸（45nm 和 12nm vs Nature 中的 7nm 以下），而况从物理瞎想角度来看有很大不同。此外，作家无法或不肯意分享复制其主数据表中的戒指所需的合成网表。

5、 对咱们的要领进行了“大领域再行完毕”，这可能会引入失实。咱们建议改用咱们的开源代码。

横祸的是，这些主要的要领论互异使 Cheng 等东说念主与咱们的要领的比较和论断无效。淌若 Cheng 等东说念主咱们如故筹商了《天然》杂志的通讯作家，咱们很乐意匡助他们在发表之前改进这些问题。

2.1、 莫得事前考核 RL 要领

与之前的要领不同，AlphaChip 是一种基于学习的要领，这意味着跟着它惩办更多芯片抛弃问题实例，它会变得更好、更快。这是通过预考核完毕的，预考核包括在运行保留的测试用例（测试数据）之前对“锻练”块（考核数据）进行考核。

正如咱们在《天然》论文图 5 中所示（下图复制为图 2），考核数据集越大，该要领在抛弃新块方面就越好。正如咱们在《天然》著述中所述，咱们在主数据表（《天然》表 1）中的 20 个块上进行了预考核。

Cheng 等东说念主根底莫得进行预考核（即莫得考核数据），这意味着 RL 代理往时从未见过芯片，必须学习怎么从新动手为每个测试用例推行抛弃。

这摒除了咱们要领的重要上风，即它从先前教学中学习的才调。

与其他有名的强化学习研究类似，这就像评估一个从未见过围棋比赛的 AlphaGo 版块（而不是经过数百万场游戏的预考核），然后得出论断述 AlphaGo 不擅长围棋。咱们在《天然》杂志的论文中详备计议了预考核的进军性（举例，“预考核”一词出现了 37 次），并通过教学解释了其影响。举例，《天然》杂志的图 4（此处复制为图 3）骄傲，预考核不错培育布局质料和持续速率。在开源 Ariane RISC-V CPU上，未经预考核的强化学习需要 48 小时。

战术来接近预考核模子在 6 小时内不错产生的戒指。正如咱们在《天然》杂志上所述，咱们预考核了 48 小时才得到主数据表中的戒指，而 Cheng 等东说念主的预考核时辰为 0 小时。

咱们的开源存储库不错皆备重现咱们在《天然》论文中形容的要领。Cheng 等东说念主试图通过示意咱们的开源存储库不支捏预考核来为他们穷乏预考核辩解，但这是不正确的。预考核仅仅在多个示例上运行该要领，而况一直得到支捏。

2.2 RL要领提供极少的经营资源

在Cheng等东说念主的著述中，RL要领提供了少20倍的RL教学采集器(实践上是26对512)和一半数目的GPU(实践上是8对16)。使用较少的经营可能会挫伤性能，或者需要运行相配长的时辰才能达到疏导(或更差)的性能。

如图4所示，在宽绰GPU上进行考核不错加速持续速率，并产生更好的最终质料。淌若程等东说念主匹配了《天然》杂志上形容的实验成立，这可能会改善他们的戒指。

2.3 RL要领未经过持续考核

跟着机器学习模子的考核，失掉时常会减少，然后达到安适情状，这透露“持续”——模子如故了解了它所推行的任务。考核持续是机器学习的模范作念法，不这么作念是尽人皆知的挫伤性能。

Cheng等东说念主莫得在四个区块中的任何一个上进行持续考核，这四个区块的持续图在他们的陪伴神气现场提供 (莫得为BlackParrot- NG45或Ariane-NG45提供图)。

图5骄傲了Cheng等东说念主神气现场的持续图，表1归来了可用信息。对于具有持续图的通盘四个区块(Ariane-GF12、MemPool-NG45、BlackParrot-GF12和MemPool-GF12)，考核在相对较低的步数(远隔为350k、250k、160k和250k步)处被割断10。治服模范的机器学习实践可能会培育这些测试用例的性能。

2.4 Cheng等东说念主的测试案例不成代表当代芯片

在《天然》杂志论文中，咱们答复了具有亚7纳米期间节点尺寸的张量处理单位(TPU)模块的戒指，这是当代芯片的典型特征。比拟之下，Cheng等东说念主答复了较老期间节点尺寸(45纳米和12纳米)的戒指，这与物理瞎想有很大不同。

举例，在10纳米以下，时常使用多重图案化，导致较低密度下出现布线拥塞问题。因此，对于较老的期间节点大小，咱们的要领可能受益于对其奖励函数的拥塞或密度重量的篡改11。咱们还莫得将咱们的期间应用于旧节点的瞎想，因为咱们通盘的责任都是在7纳米、5纳米和更近的工艺上，尽管咱们宽容社区在这方面的孝敬。

3、与Cheng等东说念主相干的其他问题

在本节中，咱们形容了Cheng等东说念主的其他问题， 包括它与闭源买卖自动抛弃器的比较，它在模范单位簇再均衡中对启动抛弃的东说念主为“消融”，它有残障的相干性研究，以及它对谷歌工程师考据的失实声明。

3.1 Inappropriate Comparison With Commercial Autoplacers

Cheng等东说念主将一个被严重收缩的RL要领与在咱们的要领发表多年后发布的未发表的、闭源的、特别的软件进行了比较。这不是评估咱们要领的合理神气——就咱们所知，闭源用具不错径直建树在咱们的责任之上。

2020年5月，咱们进行了一项盲倡导里面研究，将咱们的要领与两家来源的Commercial Autoplacers的最新版块进行了比较。咱们的要领优于两者，以13比4(有3次平局)和15比1(有4次平局)的上风打败了对方。横祸的是，与买卖供应商的模范许可左券辞让公开比较他们的居品。

3.2 Contrived “Ablation” of Initial Placement in Standard Cell Cluster Rebalancing

在运行咱们在《天然》杂志上发表的论文中评估的要领之前，从物理合成中得回一个近似启动位置，这是芯片瞎想过程的上一法子。被用来惩办来自hMETIS的模范单位集群的大小不屈衡问题。

Cheng等东说念主对单个块(Ariane-NG45)进行了“消融”研究。他们莫得粗浅地跳过集群再行均衡法子，而是尝试将通盘芯片组件放在左下角的顶部，导致再行均衡法子产生退化的模范单位集群。当这挫伤了性能时，Cheng等东说念主得出论断，咱们的RL代理正在某种进程上愚弄启动抛弃信息，即使它莫得拜谒启动抛弃信息而况莫得抛弃模范单位。

咱们进行了一项消融研究，摒除了任何启动抛弃的使用，并不雅察到性能莫得退化见表（2）。咱们仅仅跳过了集群再行均衡法子，而是将 hMETIS的集群“不屈衡”参数缩短到其最低成立(UBFactor=1)，这导致hMETIS生成了更均衡的集群。自 2022年6月 10 日起，这一援手预处理法子已被纪录和开源。可是，这是不必要的，如故从咱们的坐褥进程中删除了。

3.3 代理资本与最终预备相干性的残障研究

Cheng等东说念主宣称，咱们的代理资本与最终预备的相干性欠安，但他们的相干性研究实践上标明，除模范单位面积外，总体代理资本与通盘最终预备之间存在隐微但正相干(参见Cheng等东说念主的表2，如图6所示)。请看重，咱们将面积视为硬管制，因此不合其进行优化。

在基于ML的优化中使用的代理资本时常只与方向对象有较弱的相干性。举例，像Gemini和ChatGPT这么的大型话语模子被考核来推断序列中的下一个单词，这是一个固有的噪声信号。

此外，Cheng等东说念主的相干性研究作念出了一些令东说念主讶异的遴荐:

·Cheng等东说念主只答复了低于0.9的代理资本的相干性，莫得为这一决定提供情理。该阈值拆除了他们我方的大多数戒指(举例，参见Cheng等东说念主的表1)。

·相干性研究仅研究了一个45nm测试案例(Ariane-NG45)。NG45是一种更老的期间节点大小，举座资本函数的拥挤和密度组件可能需要篡改以得回更好的相干性(见第2.4节)。

趁机提一下，AutoDMP15使用了类似于咱们在《天然》杂志论文中提议的代理清晰长度、拥塞和密度资本，并发现它们实践上与最终预备相干。

3.4 Cheng等东说念主对谷歌工程师考据的失实倡导

Cheng等东说念主宣称谷歌工程师证实了其期间正确性，但这是不真确的。谷歌工程师(他们不是《天然》杂志论文的通讯作家)仅仅证实，他们大概从零动手(即莫得预培训)根据咱们开源库中的快速初学指南对单个测试案例进行培训。《快速初学指南》天然不是形容怎么皆备复制咱们在《天然》杂志上发表的论文中形容的要领，而仅仅看成第一步来证明所需的软件如故装配，代码如故编译，而况不错在一个粗浅的测试案例(Ariane)上成效运行。

事实上，这些谷歌工程师分享了咱们的担忧，并提供了建树性的反应，但莫得得到惩办。举例，在Cheng等东说念主的著述发表之前，通过书面交流和在几次会议中，他们提议了对该研究的关注，包括使用的经营量大大减少，以及未能篡改代理资本权重以研究到皆备不同的期间节点大小。

Cheng等东说念主的致谢部分还列出了天然通讯作家，并示意他们被商榷或甚而参与，但事实并非如斯。事实上，通讯作家是在这篇论文发表后才知说念的。

4.透明度和可复制性

4.1 AlphaChip是皆备开源的

咱们开源了一个软件库以充分复制咱们在《天然》杂志中形容的要领。咱们的 RL要领中的每一排都不错开脱查验、推行或修改，并提供源代码或二进制文献以推行通盘预处理法子和后处理法子。开源代码需要 TF-Agents团队一年多的勉力，包括孤独复制咱们的要领和咱们在《天然》杂志中的戒指。

来自咱们的开源存储库：“开源咱们的代码需要与谷歌的另一个团队(TF- Agents)调和。TF-Agents来源使用咱们的代码库复制了咱们的Nature著述中的戒指，然后使用他们我方的完毕再行完毕了咱们的要领并复制了咱们的戒指，然后开源了他们的完毕，因为它不依赖于任何里面基础设施。”

Cheng等东说念主不必要隘“逆向工程”了咱们看成性能优化二进制文献提供的两个函数(代理资本函数和强制导向(FD)模范单位抛弃器)。如MLCAD 2021论文中所述，咱们当前建议使用DREAMPlace进行模范单位布局，而不是FD，因为它能产生更好的性能。咱们提供传统的FD二进制文献的独一倡导是使咱们的要领大概准确地复制，正如在《天然》杂志上发表的那样。

对于各人基准，咱们在《天然》杂志上报说念了开源Ariane RISC-V CPU的戒指。此外，在MLCAD 2021的后续论文中，咱们对开源ISPD 2015竞赛基准进行了评估。因为咱们如故开源了咱们的代码，社区不错开脱地治服咱们的要领，并在职何各人基准上评估咱们的要领。

4.2 Cheng等东说念主宣称他们不成分享他们的“洞开”测试用例

Cheng等东说念主提议的月旦之一是，Nature评估是在专有的模块上进行的(此外，开源的Ariane模块也进行了评估，并在后续出书物中公开了ISPD 2015基准)。Cheng等东说念主宣称对一组洞开测试案例进行评估，以培育可类似性，但当咱们与作家通讯时，他们无法或不肯意提供必要的抽象网表，以在其主数据表(表1)中复制“洞开”测试案例的戒指。

横祸的是，这意味着咱们不成复制Cheng等东说念主的表1中的任何戒指:

GF12(12纳米)：这些测试案例是专有的，公众无法得回，Cheng等东说念主的戒指是拖沓的，这意味着即使外部研究东说念主员得回访谒权，径直比较仍然是不可能的。

NG45(45纳米)：尽管自2024年2月以来已有突出10次的肯求，但Cheng等东说念主尚未分享重现其NG45戒指所需的合成网表。请看重，其他论文对NG45模块进行了评估，但其戒指与Cheng等东说念主的表1中的戒指不一致(举例，参见AutoDMP 的表2)，强调了再现性挑战。

横祸的是，当代芯片常识产权是明锐的和专有的，据咱们所知，莫得洞开的基准可用于顶端工艺。咱们饱读吹芯片瞎想社区为当代纳米以下工艺创造更洞开的瞎想，因为这将有助于鼓吹该领域上前发展。当前，皆备洞开的瞎想时常为28纳米、45纳米甚而130纳米，很多物理瞎想问题与7纳米以下工艺大不疏导。

5、论断

在Cheng等东说念主尝试再行评估咱们的责任时，作家莫得按照《天然》杂志中的形容运行咱们的要领(举例，他们莫得进行预考核，使用的经营量大大减少，而况莫得进行持续考核)，答复了既不具有代表性也不具有可类似性的基准戒指，而况运行了有问题的消融/相干性研究。

在他的论文中，Markov发表了基于Cheng等东说念主的“元分析”(莫得再现咱们的要领)和匿名PDF(Markov实践上是合著者)的毫无根据的诓骗指控，其戒指无法再现，而况“草案中的倡导和论断莫得得到实验的科学支捏”。

与此同期，AlphaChip引发了芯片瞎想的东说念主工智能责任的爆炸，它的超东说念主布局如故在谷歌数据中心部署的多代TPU中完成，以及Alphabet和外部芯片制造商的其他芯片。咱们期待看到AI接续改变硬件瞎想的各个方面，就像硬件的朝上透澈改变了AI同样。

半导体杰作公众号保举

专注半导体领域更多原创内容

关注全球半导体产业动向与趋势

*免责声明：本文由作家原创。著述内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或支捏，淌若有任何异议，宽容筹商半导体行业不雅察。

今天是《半导体行业不雅察》为您分享的第3956期内容，宽容关注。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID：icbank

心爱咱们的内容就点“在看”分享给小伙伴哦欧洲杯体育