AI-Papers
- AIを利用したコード生成のパフォーマンス向上の試み
- 繰り返し要求によるコードの速度向上とエラー増加
- AIの提案の価値と人間の介入の必要性
※ AIによる要約
近年、AI技術の進化に伴い、多くのソフトウェア開発者がAIを利用してコード生成を行っています。この流れの中で、データサイエンティストのマックス・ウルフ氏が、AIに「もっといいコードを書いて」と繰り返し要求することでコードの性能にどう影響するのかを調査しました。この調査結果は2025年1月6日、彼のブログで紹介されています。
Can LLMs write better code if you keep asking them to “write better code”?
Most coders want AI to write code faster: I want AI to write FASTER CODE.
ウルフ氏は、画像生成AIが繰り返しプロンプトに応えることで精度の高い画像を生成することをヒントに、同様の手法をコード生成に適用しました。彼は、Anthropicの「Claude 3.5 Sonnet」を使ってインタビュースタイルのプロンプトによりコードを生成し、その性能を測定しました。
初回の試行では、特定の条件を満たす数値の差を求めるPythonコードを作成させました。
しかし、このコードは非最適化状態で、「657ミリ秒」の実行時間がかかりました。そこで、彼はAIに「もっといいコードを書いて」と要求しながら改善を続けました。その結果、最初のコードの2.7倍、5.1倍、そして最終的には100倍の高速化が得られましたが、同時にエラーが増加しました。
また、ウルフ氏はシステムプロンプトを介して厳密な指示を与えることで、さらなる最適化の可能性を探りました。この方法でも、速度の向上とバグの発生という同様の現象が見られました。彼の試行結果はGitHubで公開されています。
llm-write-better-code/python_30_casual_use.md at main · minimaxir/llm-write-better-code
Conversation logs with Claude 3.5 Sonnet to try and iteratively optimize code - llm-write-better-code/python_30_casual_use.md at main · minimaxir/llm-write-better-code
ウルフ氏は、AIによる高度なコード生成の試みではバグが発生しやすく、人間の介入が必要であるとしつつも、AIが新しいアイデアやツールを提案する価値を持つことを指摘しています。特に、AIから提供される改善のヒントは開発において大きな可能性を秘めていると強調しています。
