LLM は、ある意味どのようにファインチューニングするかが本質であり、入力と出力が観測できれば、それを再現するのは容易いのではないか、という話。
結果、 OSS と SaaS が乱立している領域よろしく、未来では学習されてきたモデル群は広く利用可能になっているのではないか、説。 (上手くビジネス化できないならば、限界費用がそのまま価格になっている説)
LLM
大規模言語モデル。 サービスとして展開されている場合、入力と出力の合計のトークン分だけを、良い感じに処理できるように学習したモデルのこと。
2023/05/17 -- CyberAgent が LLM をリリースした
以下、ソース:
BERT
Transformer の Encoder 部分を利用した LLM. 正解文からある程度の語句をマスク処理した穴埋め問題と、文章の関連性判定問題を同時に事前学習することが特徴。
Claude
100k トークンな LLM Anthropic 社がリリース?
FlexGen
家の PC でも LLM を動くようにしたツール。 PyTorch の上に構築される。
Jupyter AI
例えば ChatGPT は、 LLM をバックエンドとして持つような、 web integration のプロダクトであって、その integration を Jupyter の文脈で行ったもの。
LangChain Agent
LangChain の機能の一つ。 LLM に「作業手順書」を出力させ、その手順をプログラム(アプリ)側で実行していくプロンプトエンジニアリングの手法の実装。
LangChain
LLM をシステムに integration していくための機能たちをまとめたライブラリ。
LLaMa
Meta 社が開発した、 GPT-3 相当の LLM. ひとまずは研究者のみに公開。
PaLM
Google がリリースした LLM