strangerの日記： 大規模言語モデル「Llama-2」を試した

Metaとマイクロソフトがオープンソースとして無償提供を始めた大規模言語モデル「Llama 2」をローカルで試してみた。

準備として、WindowsのHyper-V上にAlmaLinux9.2の仮想環境を作った。
あとはこのnote「Llama.cpp で Llama 2 を試す」を参照させていただき、下記を除いて基本そのままの手順でAlmaLinux上に環境構築すれば問題なく動作した。

・AlmaLinux9.2に自前でpipとgccをインストールした
・提示されているサンプルコード「hello_ggml.py」のbinファイル指定がq8でなくq4になっていたのでコードを修正した

気になったのは日本語でも質問できるけど、回答が一律英語であること。
何かパラメータを変える必要があるのだろうか。

・What kind of website is "https://srad.jp/"?
・What kind of website is https://srad.jp/?
上記の「url(スラド)ってどんなサイト？」という質問は、ダブルクォーテーション有無で回答が変わるのは当然だろううけど、上の方の回答が
"Hello! Based on my research, "https://srad.jp" appears to be a website for a Japanese company called SRA Radian Corporation."
「SRA Radian Corporationという会社のサイト」と、いうわけがわからないものだった。

ざっと試した感じ、言語の分析精度が高いけど回答はおかしな感じ。