
- アーティフィシャル・インテリジェンス
グロックとラマ3:ゲームを変えるデュオ
数カ月前、「Groq」という名の新会社が突如として現れ、AI業界で画期的な進歩を遂げた。 LPUは、LLM、特にLlama、Mixtral、GemmaのようなオープンソースのLLMの推論エンジンとして、開発者がLPUにアクセスするためのプラットフォームを提供しました。 このブログでは、Groqの特徴を探り、LPUの背後にある驚異を掘り下げてみよう。 Groqとは? “GroqはGenAIの推論速度の標準を設定する使命を担っており、リアルタイムのAIアプリケーションの実現を今日から支援しています。”- Groqウェブサイト GroqはGPTやGeminiのようにLLMを開発する会社ではない。 その代わりにGroqは、これらの大規模な言語モデルの基盤、つまりそれらが動作するハードウェアを強化することに重点を置いている。 推論エンジン」の役割を果たす。 現在、市場にあるほとんどのLLMは、プライベートサーバーやクラウド上に配置された従来のGPUを利用している。 これらのGPUは、Nvidiaのような会社から供給される高価で強力なものですが、依然として伝統的なGPUアーキテクチャに依存しており、LLM推論には最適ではないかもしれません(しかし、強力であることに変わりはなく、モデルのトレーニングには適しています)。 Groqが提供する推論エンジンは、LPU(言語処理ユニット)上で動作する。 LPUとは何ですか? 言語処理ユニットはLLMのために特別に設計されたチップで、CPUとGPUを組み合わせた独自のアーキテクチャで構築されており、LLM向けのAIソリューションのペース、予測可能性、パフォーマンス、精度を一変させる。 LPUシステムの主な特徴。 クレジットGroq LPUシステムは、グラフィックプロセッサ(GPU)と同等かそれ以上の計算能力を持ち、1単語あたりの計算時間を短縮することで、より高速なテキストシーケンスの生成を可能にします。 Groqのウェブサイトに掲載されているLPU推論エンジンの特徴: 卓越したシーケンシャル性能 シングル・コア・アーキテクチャ 大規模展開でも維持される同期ネットワーキング >50B LLMの自動コンパイル機能 インスタント・メモリー・アクセス 低い精度レベルでも維持される高い精度 Groqが提供するサービス GroqCloudクラウド上のLPU GroqRack:最大64個のチップを相互接続できる42Uラック GroqNode:8台のGroqCard™アクセラレータを相互接続した4Uラック対応スケーラブル・コンピューティング・システム GroqCard:標準PCIe Gen 4×16フォームファクタのシングルチップで、手間のかからないサーバー統合を実現 「AIとは全く異なる種類のタスクを行うために設計されたCPUや、偶然AIのようなことを行うためにCPUをベースに設計されたGPUや、AIに適したものにするためにGPUを改良したTPUとは異なり、Groqは一から、第一原理から、AIのためのコンピューターシステムなのです」ダニエル・ウォーフィールド(データサイエンスに向けて LPUがGPU、TPU、CPUとどのように異なるかについては、ダニエル・ウォーフィールド(Daniel Warfield)氏がTowards Data Scienceに寄稿した包括的な記事を読むことをお勧めします。 Groqは何のためにあるのか? LLMは非常に強力で、非構造化データの解析から猫のかわいさに関する質問への回答まで、幅広いタスクをこなすことができる。 しかし、現在のところ、その主な欠点は応答時間にある。 応答時間の遅さは、バックエンドプロセスでLLMを使用する際に大きなレイテンシーにつながる。 例えば、データベースからデータをフェッチし、JSONフォーマットで表示するのは、データを変換するためにLLMを通すよりも、従来のロジックを使った方がはるかに速い。 しかし、LLMの利点は、データの例外を理解し処理する能力にある。 Groqが提供する驚異的な推論速度により、LLMのこの欠点は大幅に軽減される。 LPUを使えば、オープンソースのモデルをより安価に導入でき、レスポンスも速くなる。 Groqのラマ3 数週間前、メタ社は、すでにパワフルで非常に高性能なオープンソースのLLM-Llama 3の最新版を発表した。 スピード、データ理解力、トークン生成における典型的な強化に加えて、2つの重要な改善が目立つ: Llama 2の7倍のデータセットと4倍のコードで学習。 コンテキストの長さを2倍の8,000トークンに。 Llama 2はすでに手ごわいオープンソースLLMだったが、これら2つのアップデートにより、Llama 3の性能は大幅に上昇すると予想される。… Read more »
記事を読む



