「コンピュータみたいな人」が，今までは数理が得意な人の表現だったのが，今度からは英語や国語が得意な人の表現になってしまう
— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) May 5, 2024
“数学が1点では…ChatGPT、英語8割超も「東大不合格」”https://t.co/tkjbUyD4n3
確かにChatGPTは、Code Interpreterを使用しても、数学の複雑な応用問題を解くのが苦手だが、生成AI自体としては、東大入試の問題より遥かに難しい数学オリンピックの問題を解くことができるAlphaGeometryなどのAIが開発されている。 https://t.co/O2wi7vWnd6
— IT navi (@itnavi2022) May 5, 2024
多少の誤字や言い間違いでも許容する柔軟な生成AIは、符号が1箇所変わるだけで大きく結果が異なる厳密な数学の問題とは相性が悪いのか？
— IT navi (@itnavi2022) May 5, 2024
実際に、ChatGPTに数学の問題を解かせると、不等号の向きが逆でも気にしないようないい加減なところがある。 https://t.co/g3Q6yHIHaq
これは、プロンプトの問題。
— IT navi (@itnavi2022) May 5, 2024
試しに、2024年東大入試数学の第1問の(1)をプロンプトを工夫して解いてみたら、一発で解けた。これだけで5点くらい取れているはず。
解答例：https://t.co/F7Yi9MTCe6 https://t.co/O2wi7vWnd6 pic.twitter.com/4Dd4Vo6lXf
2024年東大入試数学の第2問の(1)は、プロンプトを工夫しなくても、ChatGPTで普通に正解できた。
— IT navi (@itnavi2022) May 6, 2024
日経新聞の実験では、一体、どんなプロンプトを使ったのだろうか？
解答例：https://t.co/evsSpZ4awf https://t.co/O2wi7vWnd6 pic.twitter.com/vFfPl8Un9f
足りなかったのはChatGPTの性能を引き出す人間の能力という皮肉・・・
— しー (@GTXTiTanX) May 5, 2024
始めに前提を指示してあげるだけでも、だいぶ変わりそうですね
— mania3bb (@mania3bb2007) May 5, 2024
逆に言うと、問題文をきちんと理解できていない受験生という状態。でも、それは当然、受験生側の問題ですよね。人間の受験生は理解できているのだから。
— Takuya Murata (@takusigov) May 6, 2024
(AIに対する差別と言われると、それはまた別の問題w。)
足りなかったのはChatGPTの性能を引き出す人間の能力という皮肉・・・
— しー (@GTXTiTanX) May 5, 2024
私も以前ある年の東大数学を、簡素なプロンプトと問題の画像読み込ませだけで GPT4に解かせたけど理系の問題でも1問は完全に解けていた。今年4月のモデルの前でも解けていたので、今はもっと精度が上がっているはず。AIは数学苦手というのは、今年の3月のClaudeを皮切りに改善されてきています。 https://t.co/CUaDOIYAou
— Kyutaro@Web x AI x DX (@kyutaro15) May 5, 2024
このツイートみて、LLMがあの軌跡の問題解けるの意外だなと思ったけど、よく見ると元の記事は東大理系数学2024を解かせてるのに、このツイートでは東大文系数学2024-1を解かせてるの微妙だった https://t.co/Tqi3Jmicmv
— Harui (@NuToriaezu88808) May 6, 2024
文系数学の1-(1)は計算頑張れば解ける問題だけど、理系数学の1は難問ではないものの誘導がない上に受験テクみの高い逆像法が必要でLLMには難しそう
— Harui (@NuToriaezu88808) May 6, 2024
本来ならこのプロンプトの内容もAI自身に考えさせて人間は単純な質問だけで済むようにしないと…。 https://t.co/OCWz2EL7WL
— 普通人ノジアン (@NoizyNozian) May 6, 2024
Chat GPTも「あなたは、数学オリンピックの金メダリストです」とか入れないといけないのかw
— Sayama Yuki (@cirnodayoo) May 5, 2024
Stable Diffusionの8K, 4K, masterpiece, best qualityに似てる https://t.co/oiCCoX7jYZ
