モデルの更新

まず、思い浮かぶのがモデルの更新よる影響です。

モデルの更新によって性能が上がるなどのメリットを享受できる反面、

挙動変更によって、困ることもあります。

私の場合、システムの実運用では無いですが、LLM技術書のサンプルコードが動かなくなる事態がありました。

gpt-3.5-turboをAgentとして使用したときの挙動が変わったという内容です。

アプリに組み込んでいたら、機能が使えなくなる可能性があり、使えなくなった場合の代替案も用意しておく必要があると考えました。

また、LLMのリリース情報もウォッチしておく必要があるでしょう。

Geminiはリリースの最新情報を日本語で提供しています。

ChatGPTはリリースノートを英語のみですが提供しています。

Anthropic製品（Claude）のリリースノートは日本語で提供されています。

モデルの廃止

モデルの廃止もウォッチする必要があるでしょう。

GPT-3.5 Turbo終了はニュースになりました。

↑日経クロステックの有料会員記事ですが、会員でなくても1ページ目で内容は把握できます。

Azure OpenAIでは、GPTの各種マイナーバージョンが提供されていますが、適宜廃止になるので注意が必要です。

廃止になる場合、モデルのVersion UPが必要なので、早めに開発環境でVersion UPしたモデルの挙動確認をする必要があるでしょう。

Version UPしたモデルだと、LLMの利用料が高くなることも念頭に置いて、コスト試算しましょう。

モデル更新や廃止を早く知るために、LLM公式サイトのリリースノートなどのウォッチをして、早めに対策をしましょう。