今月初め、OpenAIの創立スタッフの一人であり、後にテスラのAIを率いた有名なAI研究者Andrej KarpathyがXで口コミを出しました。これだけでもそれほど珍しいことではありません。現在独立したAI研究者として働いており、AI時代のための新しい種類の学校を作っていると言うEureka Labsの創設者でもあるKarpathyはXに190万人のフォロワーを持っており、彼の評判は彼がAIについて語るほとんどすべてが福音や予言として扱われるほど有名です。 しかし、この記事は、小さな言語モデルのトレーニングを改善する方法を理解するために、AIコーディングエージェントを使用して一連の実験を実行する実験に関するものでした。彼は2日間AIエージェントを実行し続け、その間にAIエージェントは700の異なる実験を行いました。これらの実験の過程で、トレーニング時間を改善する20の最適化が見つかりました。 Karpathyは、大きくてもまだかなり小さい言語モデルに同じ20の調整を適用すると、モデルのトレーニングにかかる​​時間が11％向上することがわかりました。 Karpathyは、この実験を実行するために構築したシステムを「自動研究」と呼びました。 Shopifyの共同創設者でありCEOであるTobias Lütkeは、社内データのAIモデルを最適化するために自動調査を試み、エージェントにモデルの品質と速度を改善するためのガイドラインを提供したとXに投稿しました。 Lütkeは、一晩の自動調査を行った後、37回の実験を実行し、19％の性能向上を達成したと報告しました。多くの人々の注目を集めたのは、自己研究がもともとサイエンスフィクションで取り上げられていた自己改善AIシステムのアイデアに近く、AI研究者の中には心から願い、一部に深い恐れがあるということです。懸念されるのは、AIが一種のループで独自のコードとトレーニングを継続的に最適化する「再帰的自己改善」が、AI安全研究者が時々「ハード離陸」または「インテリジェント爆発」と呼ぶ現象につながる可能性があることです。このようなシナリオでは、AIシステムは独自のパフォーマンスを急速に向上させ、人間の認知能力を超えて人間のコントロールから抜け出すことができます。 Karpathyの実験はこれではありませんでした。自動研究設定の中心となるAIエージェントは、独自のトレーニング設定を改善するのではなく、はるかに小さく、あまり洗練されていない他のAIモデルのトレーニングコードと初期ニューラルネットワーク設定を調整することです。しかし、Karpathyは彼の実験がAI研究所が将来の研究を行う方法に大きな影響を与え、それが進行を加速する可能性があることを正しく指摘しました。KarpathyはXについて「すべてのLLMフロンティア研究所でこれを行います。これは最後のボスの戦いです」とKarpathyはXに書いています。彼は「もちろん、規模がはるかに複雑である」と認めた。彼の自動研究者は、630行のPythonコードに含まれているモデルとトレーニングプロセスの調整について心配するだけでしたが、フロンティアAIモデルのトレーニングコードベースははるかに大きいからです。 「しかし、そうすることは「ただエンジニアリング」に過ぎず、効果があるでしょう。」と彼は続けました。 「エージェントの群れを稼働させ、コラボレーションして、より小さなモデルを調整し、最も有望なアイデアをますます大きな規模で推進し、人間は（オプションで）エッジに貢献します。」彼は現在、独自の自動研究システムが単一のエージェントが単一のパスに沿ってコードの断片を継続的に改善するように設計されていますが、今後は複数のAIエージェントがさまざまな最適化とさまざまな実験を同時にナビゲートできると想像しています。 「自動研究の次のステップは、エージェントのために非同期で大規模なコラボレーションを実行する必要があることです」と彼は書いた。 「目標は、一人の博士課程の学生を模倣するのではなく、彼らの研究コミュニティを模倣することです」。Karpathyはまた、多くの人々を興奮させた自動研究について別の話をしました。 「評価するのに合理的に効率的な（または小規模なネットワークトレーニングなど、より効率的なプロキシ指標がある）興味のある*すべての指標は、エージェントのグループによって自動的に調査される可能性があります」と彼は書いた。 「あなたの問題もこのバケットに属しているかどうかを考える価値があります。」いくつかの評論家は、自動研究の基本的なコンポーネントがプロセスを最適化するために他の多くのエージェントシステムで使用できることを指摘しています。 Janakiram & AssociatesのシニアアナリストであるJanakiram MSVは、技術出版物The New Stackでこれを「Karpathy Loop」と呼びました。これには3つのコンポーネントがあります。変更可能な単一ファイルにアクセスできるエージェント。エージェントが最適化できる客観的にテスト可能な単一の指標各実験を実行できる期間には一定の時間制限があります。彼はまた、Karpathyが自動研究でAIエージェントに提供した指示がAIエージェントと対話するすべての人にとって良いモデルであることを強調しました。 Karpathyが使用するプレーンテキストファイルには、エージェントが実行する必要があるアクション、制約、エージェントに実行または変更しないでください。しかし、一部の批評家は、Karpathyは、Google、Microsoft、およびその他のAI研究所の研究者がすでに長年にわたって使用してきたAutoMLというプロセスの一部を再発見した以上を実行していないと述べています。 AutoMLはまた、最適化ループと一連の実験を使用して、AIで使用するための最良のデータ、使用するための最良のモデルアーキテクチャを見つけ、そのモデルアーキテクチャを調整します。ただし、AI研究論文を読んで改善を必要とする仮説を開発できるAIエージェントは使用しません。...

Michael SaylorのStrategy Inc.は、ほぼ16億ドル相当のビットコインを購入しました。これは1月以降の会社最大規模の買い入れであり、投資家に同じ暗号通貨で支えられる年間11.5％の配当金を約束する証券にさらに期待しています。 月曜日の規制文書によると、以前はMicroStrategyとして知られていた同社は、3月9日から3月15日の間に22,337個のビットコインを購入しました。買収資金のうち約4億ドルは普通株式の売却を通じて調達された。残りの12億ドルは「Stretch」永久優先株の市場販売から来ました。決して満期のない債券と同様の配当金支払証券は、投資家に最終的にStrategyのビットコイン保有で資金を調達する着実な利回りを約束します。 先週、Strategyが7月にこの問題を初めて公開した後、最大規模のStretch販売を記録しました。また、会社が購入資金を調達するために主にStretchに頼っていたのは、数週間で初めてでした。その間、Strategyは投資家と企業が暗号通貨の商標の変動性を考慮せずにビットコインにさらされるように証券をマーケティングしてきました。 Strategyは階層化された資金調達システムを構築しました。これはビットコインを購入するために負債、優先株式、株式を発行します。各層は投資家にさまざまなリスクと報酬の組み合わせを約束しますが、すべての層は同じこと、つまりビットコイン価格の上昇に依存します。 水曜日に、Strategyは永久優先株を買収する可能性が低い企業、すなわち貸借対照表がビットコイン価格に依存する別の会社を発表しました。元共和党大統領候補のVivek Ramaswamyが共同設立したBitcoin財務会社Strive Inc.は、企業財務の3分の1以上の5000万ドルをその証券に割り当てたと発表しました。 約13,300個のビットコインを保有しているStriveは、すでにトークン価格変動に大きく露出しています。自己優先配当義務を満たすために別途確保した資本に対して、2桁の利回りを得るためにStretchに転換しています。 当時、Striveの最高経営責任者であるMatt Coleは、「マネー・マーケット・ファンドで低利回りを得るためにアイドル現金を保有するのではなく、強力な利回りダイナミクスを提供しながら、安定した価格行動を維持するStretchなどの商品にこれらの準備金の一部を割り当てることは合理的だと思います」と述べました. 同社は12.75％の配当で独自の優先株式を発行し、収益の大部分をビットコイン購入に使用します。優先権の固定配当金を充当するために現金を備蓄しておきます。 Striveは、収益率が約3.7％の国債の代わりに、収益率が11.5％のStretchに予備現金の一部を投入することで、その現金で稼ぐ収入を増やします。 それにもかかわらず、まだ準備金で稼ぐよりも優先株でより多くのお金を支給していますが、これは1.25％の格差です。ビットコインがギャップを狭めるのに十分に上昇すると、株式保有者は利益を得ることができます。そうでない場合でも優先配当金を支払う必要があるため、普通株主が利用できる資本が減ります。 ストライブの株式に対して買収された格付けを持っているB. Riley SecuritiesのアナリストFedor Shabalinは、今回の投資は、デジタル資産財務省が他のDATの優先株を使用して独自の配当義務を支持する最初の既知のケースであると述べました。彼のメモでは、「DAT全体の成長モデルは、純資産価値の自己資本プレミアムを維持することに決定的に依存しています」と述べた。 「このプレミアムが崩壊したり割引に変わったりすると、好循環が崩れます。」 Striveの投資はビットコインと戦略への主な投資です。 RIA AdvisorsのポートフォリオマネージャーであるMichael Lebowitzは、「戦略が正しく行われていないと、彼らは多くのリスクを負うことになります」と述べた。 「すべてのStrive株主は怒らなければなりません。」...