クアンタマガジン

2022 年 11 月 10 日

セニョール・サルメがQuanta Magazineに寄稿

寄稿者

2022 年 11 月 10 日

人工知能アルゴリズムは、現在のペースで成長し続けることはできません。 ディープ ニューラル ネットワークのようなアルゴリズムは、重みと呼ばれる数値を介して相互にリンクされた複数の人工ニューロン層を備え、脳から大まかにインスピレーションを受けており、年々大型化しています。 しかし最近では、ハードウェアの改善が、これらの大規模なアルゴリズムを実行するために必要な膨大な量のメモリと処理能力に追いついていなくなっています。 近い将来、AI アルゴリズムの規模が壁にぶつかる可能性があります。

また、たとえ AI の要求を満たすためにハードウェアをスケールアップし続けることができたとしても、別の問題があります。それは、AI を従来のコンピューターで実行すると、膨大な量のエネルギーが無駄になるということです。 大規模な AI アルゴリズムの実行によって生成される高炭素排出量はすでに環境に有害であり、アルゴリズムがさらに巨大になるにつれて環境はさらに悪化するでしょう。

ニューロモーフィック コンピューティングと呼ばれるソリューションの 1 つは、生物学的な脳からインスピレーションを得て、エネルギー効率の高い設計を作成します。 残念ながら、これらのチップはエネルギーの節約においてはデジタル コンピューターを上回ることができますが、大規模なディープ ニューラル ネットワークを実行するために必要な計算能力が不足していました。 そのため、AI 研究者にとっては見落とされやすいものとなっています。

それは 8 月にようやく変わりました。Weier Wan, H.-S. Philip Wong 氏、Gert Cauwenberghs 氏らは、NeuRRAM と呼ばれる新しいニューロモーフィック チップを発表しました。このチップには、アルゴリズムを実行するためにハードウェアに組み込まれた 300 万個のメモリ セルと数千個のニューロンが含まれています。 これは、抵抗性 RAM (RRAM) と呼ばれる比較的新しいタイプのメモリを使用します。 以前の RRAM チップとは異なり、NeuRRAM はエネルギーとスペースをさらに節約するためにアナログ方式で動作するようにプログラムされています。 デジタル メモリはバイナリ (1 または 0 のいずれかを格納) ですが、NeuRRAM チップ内のアナログ メモリ セルはそれぞれ、完全に連続した範囲に沿って複数の値を格納できます。 これにより、チップは同じ量のチップスペースに大規模な AI アルゴリズムからより多くの情報を保存できるようになります。

その結果、新しいチップは画像認識や音声認識などの複雑なAIタスクにおいてデジタルコンピュータと同等の性能を発揮することができ、エネルギー効率が最大1,000倍高く、小型チップでますます複雑なアルゴリズムを実行できる可能性が開かれたと著者らは主張している。スマートウォッチやスマートフォンなど、これまでAIには適していなかった小型デバイス内で。

研究に関与していない研究者たちは、この結果に深い感銘を受けています。 「この論文はかなりユニークだ」と香港大学で長年RRAMを研究しているZhonrui Wang氏は言う。 「デバイスレベル、回路アーキテクチャレベル、アルゴリズムレベルなど、さまざまなレベルで貢献します。」

デジタル コンピューターでは、AI アルゴリズムの実行中に大量のエネルギーが浪費されますが、その原因は、あらゆる計算を非効率にする単純かつ普遍的な設計上の欠陥です。 通常、コンピュータのメモリ (計算中に処理するデータと数値を保持するメモリ) は、計算が行われるプロセッサから離れたマザーボード上に配置されます。

プロセッサーを流れる情報については、「通勤に 8 時間を費やしているのに、2 時間の仕事をしているようなものです」と、元スタンフォード大学のコンピュータ科学者で、最近 AI スタートアップ企業 Aizip に移ったワン氏は言う。

Quanta Magazine を受信箱に届けてください

NeuRRAM チップはメモリ内で計算を実行でき、データは従来の 2 進数ではなくアナログ スペクトルで保存されます。

デビッド・バイヨ/UCSD

メモリと演算を同じ場所に配置した新しいオールインワン チップを使えば、この問題を解決するのは簡単そうに思えます。 また、多くの神経科学者は、計算はニューロンの集団内で行われ、記憶はニューロン間のシナプスが結合を強化または弱めるときに形成されると考えているため、これは私たちの脳が情報を処理する仕組みにも近いと考えられます。 しかし、現在の形式のメモリはプロセッサの技術と互換性がないため、そのようなデバイスを作成することは困難であることが判明しています。

コンピューター科学者は数十年前、メモリーが保存された場所で計算を実行する新しいチップを作成するための材料を開発しました。これは、コンピューティング・イン・メモリーとして知られるテクノロジーです。 しかし、従来のデジタル コンピューターのパフォーマンスが非常に優れていたため、これらのアイデアは数十年間無視されてきました。

スタンフォード大学のウォン教授は、「その研究も、ほとんどの科学研究と同様、忘れ去られていた」と語った。

実際、そのような装置の最初の起源は少なくとも 1964 年に遡ります。このとき、スタンフォード大学の電気技術者は、金属酸化物と呼ばれる特定の材料を操作して、電気を通す能力をオン/オフできることを発見しました。 材料が 2 つの状態を切り替える能力は、従来のメモリ ストレージのバックボーンを提供するため、これは重要です。 通常、デジタル メモリでは、高電圧の状態は 1 に対応し、低電圧の状態は 0 に対応します。

RRAM デバイスの状態を切り替えるには、金属酸化物の 2 つの端に接続された金属電極間に電圧を印加します。 通常、金属酸化物は絶縁体であり、電気を通しません。 しかし、十分な電圧があれば電流が増加し、最終的には材料の弱点を突き抜けて反対側の電極への経路が形成されます。 電流が一度通過すると、その経路に沿って自由に流れることができます。

ウォン氏はこのプロセスを稲妻に例えています。雲の中に十分な電荷が蓄積されると、すぐに抵抗の低い経路が見つかり、落雷が起こります。 しかし、経路が消滅する雷とは異なり、金属酸化物を通る経路は残ります。つまり、金属酸化物は無期限に導電性を保ちます。 また、材料に別の電圧を印加することで導電パスを消去することも可能です。 そのため研究者は、RRAM を 2 つの状態の間で切り替えて、デジタル メモリの保存に使用できます。

ミッドセンチュリーの研究者は、エネルギー効率の高いコンピューティングの可能性を認識していませんでした。また、研究していた小規模なアルゴリズムではまだその必要もありませんでした。 研究者がその可能性に気づくには、新しい金属酸化物が発見された 2000 年代初頭までかかりました。

当時 IBM で働いていた Wong 氏は、RRAM に携わる受賞歴のある同僚が、関係する物理学を完全には理解していないと認めたと回想します。 「彼が理解できないなら、理解しようとしなくてもいいのかもしれない」とウォンさんは考えたのを覚えている。

しかし、2004 年にサムスン電子の研究者らは、従来のコンピューティング チップ上に構築された RRAM メモリの統合に成功したと発表し、コンピューティング イン メモリ チップが最終的に可能になる可能性があることを示唆しました。 ウォンさんは少なくとも挑戦してみようと決心した。

ウォン氏のような研究者は、10 年以上にわたって、強力なコンピューティング タスクを確実に処理できるレベルまで RRAM テクノロジを構築することに取り組んできました。 2015 年頃、コンピュータ科学者は、これらのエネルギー効率の高いデバイスが大規模な AI アルゴリズムに大きな可能性を秘めていることを認識し始め、それが本格化し始めました。 その年、カリフォルニア大学サンタバーバラ校の科学者たちは、RRAM デバイスが新しい方法でメモリを保存するだけではないことを示しました。 これらは、ニューラル ネットワークの人工ニューロン内で行われる計算の大部分 (単純な行列乗算タスク) を含め、基本的な計算タスク自体を実行できます。

NeuRRAM チップでは、シリコン ニューロンがハードウェアに組み込まれており、RRAM メモリ セルが重み、つまりニューロン間の接続の強さを表す値を保存します。 また、NeuRRAM メモリ セルはアナログであるため、メモリ セルに保存される重みは、デバイスが低抵抗状態から高抵抗状態に切り替わる間に発生する抵抗状態の全範囲を表します。 これにより、チップはデジタル処理バージョンのようにロックステップで次々と実行するのではなく、多くの行列計算を並行して実行できるため、デジタル RRAM メモリが達成できるよりもさらに高いエネルギー効率が可能になります。

しかし、アナログ処理はデジタル処理よりも数十年遅れているため、解決すべき問題はまだ多くあります。 1 つは、物理チップ上の欠陥によってばらつきやノイズが発生する可能性があるため、アナログ RRAM チップは非常に正確でなければならないということです。 (状態が 2 つしかない従来のチップの場合、これらの不完全性はそれほど問題になりません。) そのため、アナログ RRAM デバイスで AI アルゴリズムを実行することが大幅に困難になります。 RRAM デバイスの導通状態は毎回まったく同じではありません。

「照明経路を見ると、毎回異なります」とウォン氏は言います。 「その結果、RRAM はある程度の確率性を示し、プログラムするたびにわずかに異なります。」 ウォン氏らは、アルゴリズムがチップ上で遭遇するノイズに慣れるように訓練されていれば、RRAM デバイスは継続的な AI 重みを保存でき、なおかつデジタル コンピューターと同じくらい正確であることを証明しました。これにより、NeuRRAM チップの製造が可能になりました。

上から、H.-S. Philip Wong、Weier Wan、Gert Cauwenberghs (写真には写っていません) は、モデル効率を高めて巨大な AI アルゴリズムを実行できる新しい種類のコンピューター チップの構築に貢献しました。

(上) フィリップ・ウォン氏提供。 ポール・ジン

H.-S. フィリップ・ウォン氏（左）、ウェイアー・ワン氏、ガート・カウエンバーグス氏（写真には写っていない）は、前例のない効率で巨大なAIアルゴリズムを実行できる新しい種類のコンピューターチップの構築に貢献した。

フィリップ・ウォン氏（左）の厚意による。 ポール・ジン

彼らが解決しなければならなかったもう 1 つの大きな問題には、多様なニューラル ネットワークをサポートするために必要な柔軟性が含まれていました。 以前は、チップ設計者は小さな RRAM デバイスを、大きなシリコン ニューロンの隣の 1 つの領域に並べる必要がありました。 RRAM デバイスとニューロンはプログラム可能ではなく配線されているため、計算は一方向にしか実行できませんでした。 双方向計算でニューラル ネットワークをサポートするには、追加のワイヤと回路が必要となり、エネルギーとスペースの必要性が増大しました。

So Wong 氏のチームは、RRAM メモリ デバイスとシリコン ニューロンが混在する新しいチップ アーキテクチャを設計しました。 この設計への小さな変更により、総面積が削減され、エネルギーが節約されました。

「（アレンジメントは）本当に美しいと思いました」とスイス連邦工科大学チューリッヒ校の神経形態研究者メリカ・ペイバンド氏は語った。 「間違いなく画期的な作品だと思います。」

ウォン氏のチームは数年間、協力者と協力して NeuRRAM チップ上で AI アルゴリズムを設計、製造、テスト、校正、実行してきました。 彼らは、コンピューティング イン メモリ チップでも使用できる他の新しいタイプのメモリの使用を検討しましたが、アナログ プログラミングにおける利点と、従来のコンピューティング マテリアルとの統合が比較的容易だったために、RRAM が優位性を持っていました。

彼らの最近の結果は、これほど大規模で複雑な AI アルゴリズムを実行できる最初の RRAM チップを表しています。これは、これまで理論的なシミュレーションでのみ可能であった偉業です。 「実際のシリコンに関しては、その機能が欠けていました」とドレクセル大学のコンピューター科学者アヌプ・ダス氏は言う。 この作品が最初のデモンストレーションです。

「デジタル AI システムは柔軟で正確ですが、効率は桁違いに劣ります」と Cauwenberghs 氏は言います。 Cauwenberghs 氏は、同社の柔軟で正確かつエネルギー効率の高いアナログ RRAM チップが「初めてギャップを埋めた」と述べました。

チームの設計では、アナログ プロセッサとして機能する 300 万個の RRAM メモリ デバイスを圧縮しながら、NeuRRAM チップを爪ほどの小さなサイズに保ちます。 そして、このチップは、少なくともデジタル コンピューターと同じくらいニューラル ネットワークを実行できると同時に、(そして初めて) 異なる方向に計算を実行するアルゴリズムを実行することもできます。 同社のチップは、RRAM チップの標準と同様に、RRAM アレイの行に電圧を入力し、列から出力を読み取ることができますが、列から行へ逆方向に実行することもできるため、動作するニューラル ネットワークで使用できます。データはさまざまな方向に流れます。

RRAM テクノロジー自体と同様、これは長い間可能でしたが、誰もそれをしようとは考えませんでした。 「なぜ今までこのことについて考えなかったのでしょう？」 ペイバンドは尋ねた。 「後から考えると、わかりません。」

「これにより、実際には他の多くの機会が開かれます」とダス氏は言います。 例として、彼は、多次元物理シミュレーションや自動運転車に必要な膨大なアルゴリズムを実行する単純なシステムの能力について言及しました。

やはりサイズが問題です。 現在、最大規模のニューラル ネットワークには、新しいチップに含まれる数百万の重みではなく、数十億の重みが含まれています。 Wong 氏は、複数の NeuRRAM チップを積み重ねることによって規模を拡大することを計画しています。

将来のデバイスではエネルギーコストを低く抑えること、またはデバイスをさらに縮小することも同様に重要です。 そこに到達する 1 つの方法は、脳をさらに厳密にコピーして、実際のニューロン間で使用される通信信号、つまり電気スパイクを採用することです。 これは、細胞の内側と外側の電圧差が臨界閾値に達したときに、あるニューロンから別のニューロンに発せられる信号です。

「そこには大きな課題がある」とユニバーシティ・カレッジ・ロンドンのナノテクノロジー研究者トニー・ケニオンは言う。 「しかし、それでも私たちはその方向に進みたいと思うかもしれません。なぜなら…非常にまばらなスパイクを使用すれば、より高いエネルギー効率が得られる可能性があるからです。」 ただし、現在の NeuRRAM チップ上で急上昇するアルゴリズムを実行するには、まったく異なるアーキテクチャが必要になる可能性が高いと Kenyon 氏は指摘します。

今のところ、NeuRRAM チップ上で大規模な AI アルゴリズムを実行しながらチームが達成したエネルギー効率は、メモリ テクノロジーが AI を使用したコンピューティングの未来を表す可能性があるという新たな希望を生み出しています。 おそらくいつの日か、電力を使い果たすことなく、人間の脳の 860 億個のニューロンとそれらを接続する数兆個のシナプスに匹敵することさえできるようになるかもしれません。

寄稿者

2022 年 11 月 10 日

Quanta Magazine を受信箱に届けてください

メールの受信箱に配信される最も重要なニュースのハイライトを取得します

Quanta Magazine は、情報に基づいた実質的な市民的な会話を促進するためにコメントを管理します。 虐待的、冒涜的、自己宣伝的、誤解を招く、支離滅裂、または主題から外れたコメントは拒否されます。 モデレータには通常の営業時間 (ニューヨーク時間) にスタッフが常駐しており、英語で書かれたコメントのみ受け付けます。