AI 研究者であり、コンピューティング能力の使用を抑えた手頃な価格の AI システムの提唱者であるサラ フッカー氏は、自らの命を賭けています。 AI企業Cohereの元研究担当副社長でGoogle DeepMindのベテランでもある同氏は、自身の新興スタートアップであるAdaption LabsHookerのシード資金として5,000万ドルを調達した。共同創設者のスディップ・ロイ氏は、以前Cohereで推論コンピューティング部門のディレクターを務めていたが、現在のほとんどのAIメジャー企業よりも使用するコンピューティング能力と実行コストが低いAIシステムの開発に取り組んでいる。モデル。また、さまざまなテクノロジーを使用して、解決する必要がある個々のタスクに対して既存のほとんどのモデルよりも「適応」できるモデルを目指しています。この資金調達ラウンドは Emergence Capital Partners が主導し、Mozilla Ventures、ベンチャーキャピタル会社 Fifty Years、Threshold Ventures、Alpha Intelligence Capital、e14 Fund、Neo が参加しています。サンフランシスコに本拠を置くアダプション・ラボは、資金調達後の評価額に関する情報の提供を拒否した。フッカー氏はフォーチュンに対し、コストのかかる再トレーニングや微調整を必要とせず、AI モデルを特定のユースケースに合わせて調整するために現在ほとんどの企業が使用している広範なプロンプトやコンテキスト エンジニアリングを必要とせずに、継続的に学習できるモデルを作成したいと語った。継続的に学習できるモデルを作成することは、AI の最大の課題の 1 つと考えられています。 「これはおそらく私が研究した中で最も重要な問題です」とフッカー氏は語った。
Adaption Labs は、より有能な AI モデルを作成する最善の方法は、基礎となる LLM をより大きくし、より多くのデータでトレーニングすることであるという、一般的な AI 業界の常識に対する大きな賭けを表しています。大手テクノロジー企業は大規模なトレーニングの実施に数十億ドルをつぎ込んでいるが、このアプローチでは利益が減少しているとフッカー氏は主張する。 「ほとんどの研究所では、モデルのサイズを毎年 4 倍にすることはありません。主な理由は、アーキテクチャが飽和しているためです」と彼女は言いました。
フッカー氏は、AI業界はもはや「判断点」にあり、単により大きなモデルを構築することによって改善を行うことはできず、むしろ目の前のタスクにより簡単かつ安価に適応できるシステムを構築することによって改善を行うことができると述べた。 Adaption Labs は、いわゆる「ネオラボ」だけではありません。OpenAI、Anthropic、Google DeepMind などのより確立された企業の成功に続く、次世代の最先端の AI ラボであり、継続的な学習を目的とした新しい AI アーキテクチャを追求しています。 OpenAIの上級研究員であるジェリー・トゥーレック氏は、ここ数週間で同社を退職し、Core Automationと呼ばれる自身のスタートアップを設立し、新しいAI手法を使用して継続的に学習できるシステムの作成にも興味があると述べた。 Google DeepMind の元主任研究員である David Silver 氏は、先月テクノロジー大手を退職し、Ineffable Intelligence と呼ばれるスタートアップを立ち上げました。このスタートアップは、AI システムが静的データではなく実行されるアクションから学習する強化学習の使用に焦点を当てます。これにより、一部の構成で継続的に学習できる AI モデルが実現する可能性があります。フッカー氏のスタートアップは、3 つの「柱」を中心に仕事を組織しています。適応データ (AI システムが必要とするデータを生成および操作するデータ。大規模な静的データ セットでトレーニングする必要がなく、その場で問題に答える必要があります)。適応型インテリジェンス (問題の難易度に基づいて、消費するコンピューティングの量を自動的に調整します) と適応型インターフェイス (ユーザーがシステムと対話する方法から学習します)。 Google に在籍していた頃から、フッカー氏は AI 業界内で、多くの AI 研究者仲間の「規模がすべて」の原則に反対する人物としての評判を高めてきました。広く引用されている 2020 年の論文「ハードウェア宝くじ」の中で、彼女は、AI のアイデアが成功するか失敗するかは、AI 自体の利点ではなく、既存のハードウェアに適合するかどうかに基づいて決まると主張しました。最近、彼女は「スケーリングの緩やかな死について」という研究論文を書き、より優れたトレーニング技術を備えた小規模なモデルは、はるかに大きなモデルよりも優れたパフォーマンスを発揮できると主張しています。
Cohere では、Aya プロジェクトを支持しました。このプロジェクトは、119 か国の 3,000 人のコンピューター科学者と協力して、主要な先駆的モデルのパフォーマンスが低かった数十の言語に最先端の AI 機能を導入し、比較的コンパクトなモデルを使用してそれを実現しました。この研究は、データのキュレーションとトレーニングに対する創造的なアプローチが生のスケールを補完できることを実証しました。 Adaption Labs が研究しているアイデアの 1 つは、「勾配なしの学習」です。今日の AI モデルはすべて、数十億のデジタル ニューロンを含む非常に大規模なニューラル ネットワークです。従来のニューラル ネットワーク トレーニングでは、勾配降下法と呼ばれる手法が使用されます。これは、目隠しをしたハイカーが谷の最低点を見つけながら、斜面を下っているかどうかを感じようとするのに似ています。このモデルは、特定のニューロンが自身の出力において接続されている他のニューロンの入力をどの程度強調するかを決定する「重み」と呼ばれる何十億もの内部設定を微調整することにより、各ステップの後に正しい答えに確実に近づけます。このプロセスには膨大な計算能力が必要で、数週間から数か月かかる場合もあります。モデルがトレーニングされると、これらの重みは所定の位置に固定されます。特定のタスクに合わせてモデルを磨き上げるために、ユーザーは微調整に頼ることがあります。これには、通常は依然として数千または数万のケースで構成される、より小規模で精選されたデータセットでモデルをさらにトレーニングし、モデルの重みをさらに調整することが含まれます。繰り返しになりますが、費用が高額になる可能性があり、場合によっては数百万ドルに達することがあります。
あるいは、ユーザーは、モデルに実行してもらいたいことを実行する方法について、非常に具体的な指示やプロンプトをモデルに与えたい場合があります。フッカー氏はこれを「気の早いスタント」として却下し、プロンプトが頻繁に機能しなくなり、モデルの新しいバージョンがリリースされるたびに書き直す必要があると指摘しました。彼女の目標は「ラピッド・エンジニアリングを排除する」ことだと彼女は語った。
勾配なし学習では、微調整と迅速なエンジニアリングにより多くの問題を回避します。 Adaption Labs のアプローチは、コストのかかるトレーニングを通じてモデルの内部重みをすべて調整するのではなく、クエリに応答した瞬間、つまり研究者が「推論時間」と呼ぶモデルの動作を変更します。モデルのコアの重みは変わりませんが、システムは現在のタスクに応じて動作を調整できます。
「重みを変更せずにモデルを更新するにはどうすればよいですか?」フッカー氏は語った。 「アーキテクチャ分野では本当にエキサイティングなイノベーションが起きており、より効率的な方法でコンピューティングを活用しています。」彼女はこれを行うためのいくつかの方法について言及しました。 1 つは「オンザフライ マージ」で、システムは基本的にアダプターのレパートリー (小規模なデータセットで個別にトレーニングされることが多い小規模なモデル) から選択します。これらのアダプターは、大規模な基本モデルの応答を形成します。モデルは、ユーザーの質問に基づいて、どのアダプターを使用するかを決定します。
もう一つの方法は「動的デコード」です。デコードとは、モデルがさまざまな考えられる答えの中から出力をどのように選択するかを指します。動的デコードでは、モデルのデフォルトの重みを変更せずに、現在のタスクに基づいて確率を変更します。 「私たちは単なるモデルから脱却しつつあります」とフッカーは語った。 「これはより深い概念の一部です。これはインタラクションに基づいており、モデルはタスクの内容に応じてリアルタイムで変更する必要があります。」フッカー氏は、このような方向への移行はAIの経済学を根本的に変えると主張する。 「最も高価なコンピューティングは事前トレーニング コンピューティングです。これには膨大な量のコンピューティングと膨大な時間が必要となるためです。推論コンピューティングを使用すると、コンピューティング能力の各単位でより多くのメリットが得られます。」と彼女は言いました。
Adaption の CTO として、Roy は AI システムを効率的に実行するための深い専門知識をもたらします。 「私の共同創設者は GPU を非常に高速に開発しています。リアルタイム コンポーネントを備えているため、これは私たちにとって重要です」とフッカー氏は述べています。
フッカー氏は、アダプションはシードラウンドで得た資金を利用して、より多くのAI研究者とエンジニアを雇用し、ほとんどのAIモデルが使用する標準的な「チャットバー」を超えたAIの別のユーザーインターフェースに取り組むデザイナーを雇用すると述べた。
この記事はもともと Fortune.com に掲載されました。
