ChatGPTとバグ取りしてくたびれた話

ChatGPTとバグ取りしてくたびれた話

今日もChatGPTとプログラムを書いていたんですけど、なかなかくたびれました。うまくいくときはものすごくうまくいくんですけど、一旦バグ取りでハマると、ものすごく深くハマりますね。

何回か問題解決をしたあとでトラブルが起きたとします。そこで方法Aを試してみてダメだったので、方法Bに切り替えました。

方法Bでもうまくいかないので、いろんなことを少し試したあと、また方法Aに戻ってきたりするんですね。ところが、さっき方法Aを試してダメだったことを忘れていて、当然のようにまたそれを試そうとする。

このレベルまでくると「ああ、生成AIは確かに考えていないんだな」という気持ちになります。「だって、さっきそれ試したから、もうそれをやる論理的な理由はない」と思うんだけど。ただ、それは本質的な問題ではなくて、現在のChatGPTにはできないというだけのことですね。きっと。

それからもう一つ今回あったのは、まあハルシネーションの一種だと思うんですけど、「公式ドキュメントにはこう書いてあるから、これが正しいです」と強硬に主張するんですが、チェックしてみると、そんなことは一言も公式ページに書いていない。

そして、「公式ページにない」と言うと、「公式ページがありませんけど、普通はこうです」みたいなことを言い出すんですね。これはなかなか言うことを信用できないと思うわけです。その強硬に主張するあたりが。

まあでも、人間にもそういう人はいますけど。そういう意味ではとても人間的と言えるかもしれませんね…

結局さっきバグ取りでやっていたのは、方法Aも方法Bもダメで、もっと違うレベルの解決方法を、最終的には私が提案して、それを作ることになりました。

すると、ChatGPTはそのまったく別な私が提案した方法を、さくっと作ってくれるんですよ。私としては「それがそんなに簡単にできるんだったら、最初からそっちの方を提案して」と思うんだけど、そこまで大きく方針を変えるというのが、やっぱり難しい。

少なくとも、現在私が使っているChatGPTではできない。そんなふうに思いました。