LLaMa

大規模言語モデル。 サービスとして展開されている場合、入力と出力の合計のトークン分だけを、良い感じに処理できるように学習したモデルのこと。

Facebook の LLaMa がリークされた件で、それのが Torrent 上に流通しているので、それを高速ダウンロードするツール、っぽい?

以下、ソース:

Transformer の Encoder 部分を利用した LLM. 正解文からある程度の語句をマスク処理した穴埋め問題と、文章の関連性判定問題を同時に事前学習することが特徴。

100k トークンな LLM Anthropic 社がリリース?

家の PC でも LLM を動くようにしたツール。 PyTorch の上に構築される。

GPTの一つ。 GPT-3 の前のモデル。

例えば ChatGPT は、 LLM をバックエンドとして持つような、 web integration のプロダクトであって、その integration を Jupyter の文脈で行ったもの。

LangChain の機能の一つ。 LLM に「作業手順書」を出力させ、その手順をプログラム(アプリ)側で実行していくプロンプトエンジニアリングの手法の実装。

LLM をシステムに integration していくための機能たちをまとめたライブラリ。

LLM は、ある意味どのようにファインチューニングするかが本質であり、入力と出力が観測できれば、それを再現するのは容易いのではないか、という話。

Google がリリースした LLM