無料のオープンソースLLM5選｜ブログ

LLMは「Large Language Model」の略で、大規模な言語モデルを指します。これは自然言語処理（NLP）の技術で、大量のテキストデータから学習し、言語に関する複雑なタスクを処理することができます。LLMはテキスト生成、翻訳、要約、感情分析など、多岐にわたる応用が可能で、様々な企業がそのモデル構築にしのぎを削っています。 本記事では、その中で無料で使えるオープンソース提供しているLLMを５つ紹介します。 オープンソースLLMの例としては、GPT-Neo、EleutherAIのGPT-J、BigScienceのBLOOMなどがあります。これらのモデルは、GitHubなどのプラットフォームでコードが公開されており、研究目的や教育目的で自由に使用することができます。 オープンソースLLMの利点は多岐にわたりますが、主に以下の点が挙げられます： アクセシビリティ: 誰でもアクセスできるため、教育機関やスタートアップ企業でも高度なモデルを利用できます。 カスタマイズ性: 自分のニーズに合わせてモデルを調整したり、新しい機能を追加したりすることができます。 コミュニティとの協力: 世界中の開発者が改善に協力することで、モデルは迅速に進化します。 透明性: モデルの動作が明確で、倫理的な問題が発生した場合に対処しやすくなります。 これらのオープンソースモデルは、特に研究者や開発者にとって、新しいアルゴリズムのテストや教育用ツールとしての利用、さらには商業的なアプリケーションへの適用など、幅広い用途に活用されています。 LLaMA（ラマ） LLaMA（Lifelong Language Model Architectures）は、2023年3月にMeta（旧Facebook）によって開発された大規模言語モデルです。 OpenAIのChatGPTがAIモデルとして広く知られていますが、LlamaもGPTシリーズと同等に評価される注目のモデルです。 その特徴として、パラメータ数が少なくコンピュータ負荷を軽減しつつ、他の大規模言語モデルよりも高性能で、商用利用も無料で可能です。 2024年4月18日に「Llama3（ラマ3）」が発表され、Meta（旧Facebook）社のLLM最新モデルとなります。「Llama3（ラマ3）」では、InstagramやFacebookなどのアプリで利用可能な新しい対話型AI機能も提供される予定となっています。 「Llama3（ラマ3）」は、AIモデルの大きさを示すパラメーターが80億と700億の二つのバリエーションで提供され、学習データは前作の「Llama2（ラマ2）」と比べて7倍に増加しています。アメリカのGoogleが開発した基盤モデル「Gemini Pro 1.5」と比較すると、高度な数学や推論能力では劣るものの、歴史や法律などの広範な知識を評価するテストやコンピューターコード生成の能力においては優れているとされています。 Meta社は既にAIスタートアップとの提携を行い、「Llama2（ラマ2）」をサポートするサービスの開発を進めており、Microsoft社とAmazon社もLlama 2へのアクセスを提供してきているため、「Llama3（ラマ3）」ではさらにその流れは加速していくと考えられます。このような状況を踏まえると、これからChat-GPTと同等のLLMとして台頭してくるのは時間の問題です。 「Llama（ラマ）」の特徴とは 「Llama（ラマ）」は大きく分けて4つの特徴があります。 ①小さくても高性能なAIモデル ②無料で利用可能で、商用利用も許可されている ③オープンソースで提供されている ④プログラミング支援機能「Code Llama」が含まれている ①小さくても高性能なAIモデル 「Llama（ラマ）」はそのコンパクトさと高性能さで注目されています。「Llama（ラマ）」はパラメータ数がGPT-3などの先行モデルの約10分の1にもかかわらず、これらの大型モデルに匹敵する、またはそれを超える性能を持つAIモデルです。 パラメータ数はAIモデルの学習能力や複雑性を示す指標で、一般にパラメータ数が多いほど、モデルの処理能力や表現力が向上します。しかし、パラメータ数が増えると、それに伴いモデルのサイズや計算要求も大きくなり、コンピュータのリソースやコストに影響を与えます。 「Llama（ラマ）」は以下の4つの異なるパラメータサイズで提供されています： 70億パラメータ ／ 130億パラメータ ／ 330億パラメータ ／ 650億パラメータ これらのサイズは、GPT-3の1750億パラメータと比較してはるかに少ないですが、70億パラメータのバージョンでもGPT-3に匹敵し、130億パラメータ以上のものではGPT-3を上回る性能を示す調査結果があります。 このように、「Llama（ラマ）」は少ないパラメータを効率的に使用して、高い性能を実現しつつ、コンピュータへの負荷を軽減するという特徴を持っています。 ②無料で利用可能で、商用利用も許可されている 「Llama（ラマ）」は高性能なLLMでありながら、無料で利用可能です。商用目的での利用も無料で許可されており、多くの個人や企業による応用が期待されています。現在、生成AI市場はOpenAI社のChatGPTが主導していますが、「Llama（ラマ）」もGPTに匹敵するLLMとしての地位を築く可能性があります。 商用利用に際しては、ライセンス条件を注意深く確認する必要があります。特に注意すべき点は以下の通りです。 「Llama2（ラマ2）」を利用した製品を第三者に提供する際は、ライセンス情報も一緒に提供する必要。 月間アクティブユーザー数が7億人を超える場合は、Meta社へのライセンス申請が必要。 「Llama（ラマ）」の使用によって生じた直接的または間接的な損害に対して、Meta社は責任を負わない。 契約違反や「Llama（ラマ）」に関連する訴訟が発生した場合、ライセンス。 これらの点を踏まえ、「Llama（ラマ）」の商用利用を検討する際には慎重に進めることが重要です。 参照：Llama Community License Agreement ③オープンソースで提供されている 「Llama（ラマ）」は無料で利用可能であり、GitHubでオープンソースとして提供されている点が大きな特徴です。LLMを開発するには高度な技術と大規模な計算リソースが必要ですが、オープンソースとして提供することで、既存のモデルやコードを再利用し、他の開発者と共同で作業することが可能になります。これにより、開発の効率化とコスト削減が図れます。 さらに、ソースコードを自由に変更し、特定のニーズに合わせてカスタマイズすることができるため、使用の柔軟性と拡張性が向上します。このため、LLMの性能や品質を客観的に評価するための情報が豊富になり、どのLLMを選択するか比較しやすくなります。 また、「Llama（ラマ）」を使う開発者が増え、活発なコミュニティが形成されることもオープンソースの利点です。その名の通りオープンに使われることで、多くの技術者が「Llama（ラマ）」に関する専門知識を持つようになり、情報の収集が容易になり、発展しやすい土壌が醸成されます。 「Llama（ラマ）」以外にも、オープンソースLLMが次々と登場しています。今後はオープンソースの集合知を活用して技術の革新や拡張を目指す動きが主流になるかもしれません。 ④プログラミング支援機能「Code Llama」が含まれている Code Llamaは、メタ社により開発された、最先端技術（SOTA: state-of-the-art）を実現しているコード生成専門のLLMです。このモデルは、メタ社のLlama 2を基盤にしており、約5000億単語に相当する500Bトークンのプログラム専用の学習データを使用してトレーニングされています。 Code Llamaには主に3つの機能があります。 プログラムの補完：これは、ユーザーが途中まで書いたプログラムをCode Llamaが自動で完成させる機能です。この機能は「穴埋め」のような役割を果たします。 自然言語の命令からのプログラミング：ユーザーが「フィボナッチ数列のプログラムを書いて」といった具体的な命令を出すと、それに応じたプログラムを生成します。 プログラム関連の質問への回答：例えば、データ分析に適したライブラリの選択に困った時、「Pandasのライブラリを使用すると良いですよ」といったアドバイスを提供する機能です。 また、Code Llamaには複数のバージョンが存在し、それぞれパラメータサイズが異なります。これにより、異なるニーズや使用状況に応じて最適なモデルを選択することが可能です。 | モデル名 | サイズ （パラメータ） | 機能 | | --- | --- | --- | | Code Llama | 70億・130億・340億 | 自然言語の命令（プロンプト）からプログラミング プログラムの補完 ※340億のサイズはプログラムの補完目的で学習はされていません。 | | Code Llama – Python | 70億・130億・340億 | 自然言語の命令（プロンプト）からプログラミング | | Code Llama – Instruct | 70億・130億・340億 | 自然言語の命令（プロンプト）からプログラミング プログラム関連の質問に答える ※340億のサイズはプログラムの補完目的で学習はされていません。 | 学習過程で、16,000単語に相当する16kトークンという比較的長いデータを使用しているそうです。そのため、100,000単語に相当する100kトークンの入力に対しても高精度で応答が可能です。実際の業務で使用するプログラムが多くの行を含むことを考えると、このモデルは非常に実用的であると言えるでしょう。 「Llama（ラマ）」の日本語対応について 「Llama2（ラマ2）」は日本語に対応していますが、その処理能力はまだ完全ではありません。「Llama（ラマ）」は英語や日本語、中国語を含む多言語での対応が可能で、多様な言語のテキストコーパスを使って事前学習が行われています。これにより、異なる言語の知識や文化を融合できる設計になっています。 ただし、日本語のデータ量が他の言語に比べて少ないため、特に日本語の生成には苦手意識があります。日本語の入力はある程度扱えますが、出力に関しては不得意です。「Llama（ラマ）」を使う際には、英語での出力後、ChatGPTなどのツールを使って翻訳する方法が良いでしょう。 さらに、モデルのパラメータ数が多いほど精度が向上するため、日本語での出力を求める場合は大きなパラメータを持つモデルの使用が推奨されます。「Llama3（ラマ3）」では、日本語にチューニングされたモデルもリリースされているとのことなので、更なる向上を期待したいですね。 Gemma（ジェマ） Gemma（ジェマ）はGoogleが2024年2月21日にリリースを発表した、オープンソースの大規模言語モデル（LLM）です。Googleとしては初のオープンソースで提供しているLLMとなり、これまでのAI開発でクローズドな姿勢をとってきたGoogleが大きな方向転換をしてきたといえるでしょう。 Gemma Google DeepMindとGoogleのチームによって開発されたこのモデルは、軽量で最先端の技術を使用し、GoogleのGemini（ジェミニ）モデルの研究と技術を基に構築されています。Gemma（ジェマ）モデルは、テキスト生成を主な用途としており、Gemmaには小型版のGemma 「2B」と大型版の「7B」の2つのサイズが用意され、開発者のノートパソコンやデスクトップパソコンで直接実行できる軽量さがアピールされています。 「2B」と「7B」モデルは、インストラクションに基づいたチューニングが施されており、プリトレーニングされたバージョンと指示調整済みバージョンの両方が提供されています。Gemma（ジェマ）はPyTorchやJAX、そしてTensorFlowなど、複数の主要なフレームワークに対応しており、Google CloudやGoogle Kubernetes Engineなどのプラットフォームで容易にデプロイや運用が可能です 。 多くの指標において、下記のようにMetaのLlama2（ラマ2） 7B、Llama2（ラマ2） 13Bを上回っていると示しています。 Impress Watchより引用 Gemma（ジェマ）の開発ツールは、開発者がAIを責任を持って使用し、イノベーションと協力を促進することを支援します。また、「2B」と「7B」モデルは、開発者が特定のタスクに特化させるためにチューニングすることも可能です 。 Mixtral（ミクストラル） 8x7B Mixtral（ミクストラル） 8x7Bは、Mistral AIによって開発されたオープンソースの大規模言語モデル（LLM）で、特にコード生成と多言語対応に優れた性能を持っています。 このモデルは、GPT-3.5を超えるパフォーマンスを持ち、大規模なデータセット上で優れた処理速度と効率を示しています。特に、最大32,000トークンの長いコンテキストを扱う能力があり、英語、フランス語、スペイン語、ドイツ語、イタリア語など複数の言語に対応しています 。 また、Mixtral（ミクストラル）8x7Bは、モジュラリティと拡張性に優れており、異なる「エキスパート」パラメータグループを使用することで特定のタスクに適応します。このアプローチにより、高度なパフォーマンスを維持しつつ、計算コストとレイテンシーを効率的に管理しています 。 このモデルは、研究者や開発者にとって非常に有用であり、オープンソースとしてのアクセスが可能なため、幅広いアプリケーションでの利用やさらなる開発が期待されています。 BLOOM（ブルーム） BLOOM BLOOM（BigScience Large Open-science Open-access Multilingual Model）は、BigScienceという協力的AI研究ワークショップによって開発されたオープンソースの多言語大規模言語モデルです。BLOOM（ブルーム）は1760億のパラメータで訓練されており、46言語でテキストを理解し生成することが設計されています。BLOOM（ブルーム）のモデルは、よりアクセスしやすく、倫理的で、透明性のあるAI開発のアプローチを作成するための取り組みの一部です。BLOOM（ブルーム）は、世界中の研究者がAIの革新とアクセシビリティを進めるために使用することを目的としています。 Falcon（ファルコン） Falcon LLM Falcon（ファルコン） LLMはアブダビのTechnology Innovation Institute（TII）によって開発された大規模言語モデル（LLM）です。このモデルは1800億パラメータを持つFalcon 180Bを含む複数のバリエーションがあり、3.5兆トークンのデータでトレーニングされています。Falcon（ファルコン）は、オープンソースのフレームワークで提供されており、そのアクセスと利用はApache 2.0ライセンスに基づいています。 Falcon（ファルコン） LLMは特にその高性能で知られており、MetaのLLaMA 2やGoogleのPaLM 2と競合し、特定のベンチマークでこれらを上回る性能を示しています。このモデルは主に英語、ドイツ語、スペイン語、フランス語などの主要言語に対応していますが、他の言語にも限定的な能力を持っています。 Falcon 180Bは、特に大規模なデータセットを使用してトレーニングされ、コーディング、論理的推理、知識テストなど幅広いタスクで高いパフォーマンスを発揮します。また、このモデルは、トレーニングコストが低いことでも知られており、コスト効率と性能のバランスが取れている点が魅力的です。 まとめ オープンソースの大規模言語モデル（LLM）は、ソースコードが公開されており、誰でも自由にアクセス、使用、改変が可能な言語モデルです。このようなモデルは、商業的な製品と比べて柔軟性が高く、AIの研究と開発をより透明にし、より多くの研究者やエンジニアが技術の進歩に寄与できるように設計されてるため、今後、オープンソースのLLM開発が主流となる可能性はとても高いのではないでしょうか。 １つ問題があるとすればいずれも日本語での学習があまり行われていないため、日本語での精度が今のところ高くない点です。日本が世界のLLM開発に遅れをとらないためには、技術力の向上ももちろんのこと、英語力を高めることが重要かもしれません。 -