2024年の無料オープンソースLLMトップ5
LLMは今やどこにでもあり、紹介するまでもない。 技術職であろうとなかろうと、日常的に何らかの形でLLMに遭遇しているか、現在利用している可能性はある。 現在最も著名なLLMには、OpenAIのGPT、AnthropicのClaude、GoogleのGeminiなどがある。 しかし、これらの一般的なLLMは、抽象的あるいはブラックボックス的なシステムとして運用されることが多く、データのプライバシーや透明性に関する懸念が生じる。 このような問題に対処するため、オープンソースのLLMがいくつか提供されており、ユーザーは安心してプライベートマシンやサーバーにLLMを導入することができる。 オープンソースとは、ソースコードを自由に閲覧、変更、配布できる状態で配布されているソフトウェアや製品のことを指す。 このアクセシビリティによって、ユーザーはソフトウェアを理解し、向上させ、開発に貢献することができる。 現在利用可能なオープンソースのLLMの中で最も優れたものをいくつか紹介しよう： ラマ2 Llama 2は、Meta社によって開発されたオープンソースのLLMで、商用および研究用に無料で提供されている。 ラマ2のモデルは2兆個のトークンで学習され、ラマ1の2倍のコンテキストの長さを誇る。 モデルのパラメータは、テキストを理解する能力に直接影響し、より大きなモデルは、サイズとリソース要件の増加の代償として、より良いパフォーマンスを提供する。 バリエーションあり：7B、13B、70Bパラメータ コンテキストウィンドウ4096トークン 対応言語英語に最適 ミクストラル 8x7B Mistral AIが開発したMixtral 8x7Bは、総パラメータ46.7Bを含むLLMである。 その大きさにもかかわらず、3分の1の大きさのモデルと同程度の推論スピードとコストを維持している。 このデコーダのみのTransformer Mixture of Experts(MoE)モデルは、特定のベンチマークにおいてLLama 2とGPT-3.5を大幅に上回る。 利用可能なバリエーション：小型、小型、中型、大型（コストパフォーマンスの高いものから高性能なものまでランク付けされている） コンテクスト・ウィンドウ32000トークン（Mistral Largeの場合） 対応言語英語, フランス語, スペイン語, ドイツ語, イタリア語 (Mistral Largeの場合) ファルコン アブダビのテクノロジー・イノベーション・インスティテュート（TII）が開発したファルコンも、オープンソースの代表的なLLMである。 ファルコン40Bは、発売後2ヶ月間、Hugging Faceのオープンソース大規模言語モデル（LLM）のリーダーボードで1位を維持しました。 180B型では、TIIはモデルの知識とデータ理解能力をさらに強化した。 ファルコン180Bは、3.5兆個のトークンで訓練された超強力な言語モデルです。 利用可能なバリエーション：ファルコン40Bおよびファルコン180B コンテキストウィンドウ4096トークン 対応言語英語、ドイツ語、スペイン語、フランス語、イタリア語、ポルトガル語、ポーランド語、オランダ語、ルーマニア語、チェコ語、スウェーデン語に限定対応。 ブルーム BLOOMはビッグサイエンス社が開発した自己回帰型大規模言語モデル（LLM）である。 176Bのパラメータで訓練されたBLOOMは、膨大なテキストデータと産業規模の計算リソースを用いて、プロンプトからテキストの続きを生成することに優れている。 利用可能なバリエーション：ブルーム-560M、ブルーム-1B1、ブルーム-1B7、ブルーム-3B、ブルーム-7B1、ブルーム176B コンテキストウィンドウ2048トークン 対応言語46の自然言語（データ量はさまざま、英語の30％からChi Tumbukaの0.00002％まで） ジェマ Gemmaは、Geminiの成功に続く、グーグルの最新鋭のオープンLLMである。… Read more »
記事を読む
