grok3、文献探しさせるとほぼ必ず嘘をつくので、いまのところ利用に耐えない。
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 26, 2025
chat gptはもう少し文献渉猟能力が高くて、たまに良いの拾ってきてくれて助かることがある。
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 26, 2025
grok3は本当に文献調べに向いてなくて、ISBNまでつけた上で架空の本を勧めてくる。それを指摘して再調査させると「君の信頼を裏切るようなことしてごめんよ…でも今度こそ大丈夫！」って言いながら架空の本とISBNを勧めてくる。 https://t.co/0IB5gzdwzU
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 26, 2025
月刊化学3月号！「使われていない元素名」概論です！ひえ〜元素オタク全開〜！！！
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 17, 2025
今回のおすすめは江頭和宏先生をも唸らせたことでおなじみ（？）の図1です皆さん図1をよろしく！！！ pic.twitter.com/O9GB8SvGnU
deepsearchモードにしてもそうなりますか？
— 平田朋義 (@tomo3141592653) February 26, 2025
今試してみたところ、少しだけ精度が上がりました（5冊挙げさせると、半分ぐらいは実在の書籍になりました）
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 26, 2025
それでも半分ぐらい嘘になるんですね
— 平田朋義 (@tomo3141592653) February 26, 2025
そうですね…同時に挙げられた実在する本については、要約させてもかなり良い感じの出来だったので、なぜこんなピーキーな出力なのかと謎に思っています。
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 27, 2025
これクソ腹立つんですよね（ #＾ω＾）
— 古典力学たんbot (@k1assische_phys) February 26, 2025
いっぺん私の著書を調べさせたら架空のタイトル挙げてきたので指摘したら「いや!合ってますよ！言いがかりよしてください！」とか言ってきたので「私が著者なんだけど」したら急に謝罪モードに転じてすごい人間ぽかった
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 26, 2025
指摘してからようやく非を認めるムーブとか、前言撤回しながら誤りに誤りを重ねて全部間違えるムーブとか、頭でっかちな学部1年生みがあって本当にころ…ころころしたくなるね……
— 古典力学たんbot (@k1assische_phys) February 26, 2025
ころころころ〜！！！✨✨✨💥
— 元素学たん@月刊『化学』連載中！ (@gensogaku) February 26, 2025
他のAIに比べて「質問者の希望に沿った答えを(無理矢理にでも)出そうとする」傾向が強い気がします。
— 【キャベツの歴史】up Youtube 雑学のヒストリア (@historyoftrivia) February 27, 2025
結果、例えば陰謀論界隈から「他のAIが否定した質問にもちゃんと答えてくれて素晴らしい！」という反応が多々。
SNSとセットなせいで、誤情報の拡散への影響が大きく大丈夫かな…という感も。
ChatGPTもしれっと嘘をつくし、全然悪びれない。 pic.twitter.com/ts9pUISYqm
— Mtodo fully pfizered! 酒のつまみに年中「おせち料理」を (@Mtodo) February 27, 2025
ChatGPTもそうでしたね。
— 弥八郎 (@ya8low) February 27, 2025
うっすら知ってる程度の門外漢ですら疑問を感じる回答を出したので「根拠となったサイトのURLを教えて」と指示したら、しれっと「存在しないページ（それっぽいタイトルとURLつき）」をリスト化してきましたからね……
あの時点でAIサービスの信用がゼロ以下になりました。
AIでサメの間違いがあったのを正しく訂正しても開き直る問題について話したときの回答
— 天女の舞子 (@EnQpVZlKa8lY7ku) February 27, 2025
過去にそういう答えを何度もしてる人が存在して
尚且つアップデートされてない状況みたいですね pic.twitter.com/FVVqM7j33E
調べ物には向いてないと聞いたので愚痴聞いてもらうのに使ってます。他人の気持ちに寄り添って欲しいとかなんというかAI扱いより人間扱いして使う方がストレスなさそうです。
— おいしいお茶子🍵🐧お茶の妖精Vtuber (@Osakana_pithi2) February 27, 2025
私の作品は？と聞いたら、実在する別の作家様の小説を出してきました。違うよと指摘したら、謝って取り下げましたが、堂々っぷりがすごい。
— 水田歩@小説家、お仕事募集中。シナリオや原作も承ります (@WalkRiceFiled) February 27, 2025
Claudeはご存命の研究者を平気で故人にしますよう
— Secilia🤐 (@Secilia24029759) February 27, 2025
指摘すると謝るだけ
そして訂正された誤りは今後の検索に反映しないと言われました
朝から晩まで問い詰めたし命令と言って無理矢理納得させようとしたけれどダメだったです。ちょっと怖くなるぐらい訂正ができない
— ふにゃろー (@sge547pe2369) February 27, 2025
調べものは普通は資料を目視しに行くけどAIくんはそんなことせず記憶を頼りになんかこんな感じだったなと想像してそれっぽい文章を書く
— とうがらし (@07lUiXFRht37611) February 27, 2025
学習した記憶に頼らず何らかの検索をして確かにこれだと確認する機能をつけると改善しそう
多分、ファクトチェックなしでネット空間上の言説の平均値をとってる感じ？
— mikki (@mikki0412) February 28, 2025
流行を知るには良い。
