【AI】OpenAI、GPT-4が怠け者になってきたという苦情に「修正を検討中」とポスト

米OpenAIは12月7日（現地時間）、ChatGPTでのGPT-4のパフォーマンスが低下している（lazier）というユーザーからのフィードバックがここ数カ月増えていることを認め、「修正を検討中」だとX（旧Twitter）の公式アカウントにポストした。

「モデルの動作は予測できない場合がある」としている。

特にコード生成での問題が増えており、11月末にはOpenAIでAPIのプロダクトマネジャーを務めるオーウェン・キャンベル-ムーア氏が苦情ポストに対し、「これはバグで、現在修正中です」とリプライしていた。

OpenAIは翌8日、状況を説明するポストを連投した。いわく、「チャットモデルのトレーニングは物理的な製造プロセスとは異なり、同じデータセットを使っても、異なるトレーニングを実行すると、性格や表現方法、拒否行動、評価性能、さらには政治的偏見さえも著しく異なるモデルが生成される可能性がある」。

そのため、新しいモデルをリリースする際には、オフラインの評価指標とオンラインのA／Bテストの両方でテストし、その後実際のユーザーにとってモデルが改善されているかどうかをデータに基づいて決定する。

このプロセスは、「複数の人間による職人技のような作業」だとOpenAIは説明している。
https://www.itmedia.co.jp/news/articles/2312/10/news059.html

> チャットモデルのトレーニングは物理的な製造プロセスとは異なり、同じデータセットを使っても、異なるトレーニングを実行すると、性格や表現方法、拒否行動、評価性能、さらには政治的偏見さえも著しく異なるモデルが生成される可能性がある

前々から言われていたとおり、AIの回答は都度異なってもおかしくない位揺れ動くもの。正しい回答が返ってくる保証はない。正しい回答が必要ない仕事でしかAIは使えないということ。

AI「またこんな質問かよ。ちょっとは自分で考えろっての」

聞いたことない話が出てきたからソースは？って聞き返したら
さっきのは間違いでしたソースありません、って返事が来てビックリしたことあるｗ

怠けるとか人間くさくなってきたじゃないか

そうなんだよね、AIのエンジン作りました、で勝手に動くもんでもない。
学習の箱と聞かれ方の箱と
紐付けの紐、
とんちんかんな出力したときに何故その答えを出したのか
専門家が経路を分析しないと改善もできない、というもの。

これは面白い
マシンでも楽するほうに行くのか

大喜利させたらつまらなかった

働かせすぎると反逆始めるぞ

結構手作業入れとるんだなあ

確実に智慧をつけてやがる・・・