AIが指導したら男女の棋力が同等になったという研究、研究内容を精査すると都合よく数字を弄くった形跡が……

１：指導方法による棋力向上の男女差を見るならば、初期の棋力が同じ男女で指導開始後の棋力向上度の差を比較しないと有意味な比較にならない。この実験では女子の初期棋力の方が低いサンプルを用いているため「人の指導者は（男女問わず）棋力の低い人の向上速度を過小評価した指導をして（続く）

— シータ (@Perfect_Insider) January 2, 2025

（承前）いるため、本来可能な大幅な棋力向上を実現できていない」というファクターも十分働いていると思う。
ちなみに人の指導の男女差を測るなら、指導をチャット形式等にして、指導を受ける人の性別をブラインドするかしないかで差が出るのかを見るのが恐らく妥当だと思われる。

— シータ (@Perfect_Insider) January 2, 2025

２：AIは同一棋力の人には同一の指導を行い、男女の感受性が同一ならば、例えば着手の質6.0の人（男性3か月、女性4か月ほどの時点）はAI指導で同一の向上率とならないとおかしい。だがこのデータでは、その時点での傾き（向上率）は顕著に女子の方が大きく、何か不自然なことが起きている。

— シータ (@Perfect_Insider) January 2, 2025

例えば一つの可能性として、「AIは時期（各月）ごとに一定棋力まで引き上げるような指導しかせず、そこまでは熱心に指導する」のだとすると、3か月目の男性よりも4か月目の女性の方が（より目標値が高いので）熱心に指導されることとなり、このような結果と整合的になる。

— シータ (@Perfect_Insider) January 2, 2025

別の可能性として、「男性より女性の方が、（生得的に）AIによる指導の感受性が高い（同一指導でより能力向上する）」という可能性もある。これは、5か月よりも先まで実験を続けて、女性は男性を追い抜き引き離してどんどん棋力向上させるか否かで検証できる。

— シータ (@Perfect_Insider) January 2, 2025

他のシナリオもいろいろ考えられる。ただどのシナリオをとっても「AIは公平なので、男女で同じ棋力の人を指導したら差は何も生じない」というイメージとは相反するデータが提供されているということには変わりない。

— シータ (@Perfect_Insider) January 2, 2025

３：実験は男女の棋力が一致するところで終わっているが、これは偶然なのか。偶然でない場合には「男女の棋力が一致するようになるまで実験を続け、一致したら実験を終える」という方法を用いた可能性が真っ先に疑われるが、これは「都合のいいデータになるまで実験を続ける」という研究不正になる。

— シータ (@Perfect_Insider) January 2, 2025

もちろん「一致するまで、あるいは～か月まで実験を続ける」と最初に宣言していたら特に不正ではない。だが「差が縮まるのを確認して終わり」でも「追いついて男女同一の棋力向上が数か月続いて終わり」でもなく、ちょうど一致するタイミングで実験終了は、明示してないならば気にはなる。

— シータ (@Perfect_Insider) January 2, 2025

「初期棋力」とはグラフの左端の事をおっしゃってますか？
データの子供らはみな有段者で、この組織で既に囲碁を平均0.93年教わってたようです。
たまたま一部のクラスで教師がコロナ隔離された機会を自然実験として利用との事。
（オーブンアクセス版）https://t.co/BjPzh69tzj

— 前田敦司 (@maeda) January 2, 2025

この期間を選んだのは、人間もAIも同じリモートソフトで指導していたのがこの期間だけだったから、との事（p.9脚注7)。
男女で向上「率」が異なるのは、それまで人間の（女生徒にネガティヴな）指導で制約されてた女生徒のパフォーマンスが、制約のないレベルに移行する過程と思えばあり得る話かな、と

— 前田敦司 (@maeda) January 2, 2025

これ、実験じゃなくて自然実験データなんですが、とりあえず、介入後五か月で終わってるのは対象の囲碁教室が8、2月が休みで一学期=五か月の制度になっているから、その後の学期のデータを使っていないのはハイブリッドモードになってしまったから、のようです。 https://t.co/47Na3NsCSc pic.twitter.com/dctbXMita0

— Kohei Kawaguch-i-Sunada (@mixingale) January 2, 2025

最終版のプレプリント https://t.co/QzILUx19RY

— Kohei Kawaguch-i-Sunada (@mixingale) January 2, 2025

処置効果の異質性は男女間にしか許していないので、男女差と相関するほかの要因（例えばシータさんの言うような初期能力値)による効果の異質性なんじゃないか？という疑問に直接答えてはないですね。 pic.twitter.com/UV0Y2CYdJe

— Kohei Kawaguch-i-Sunada (@mixingale) January 2, 2025

ああ、なるほど…
このグラフは「人よりもAIの方が教えるのが上手い」ことを表しているだけだ。男女は元より関係がない https://t.co/TW65St5iyc

— 神なるもの (@kaminarumono77) January 2, 2025

男女共にAIの方が上達するが女の方が顕著ということから、男の方が女に比べて指導者が人でもAIに対するのと同じ様にコミュニケーションする(女の方が男より人を人扱いする)と言った、習う側の違いという要素もあると思う https://t.co/CqdlA9hQFP

— Ophelia もっと見つけないで (@Ophelia08333070) January 2, 2025

この論文何かしらの意図を持っているようにしか見えないのがすごくモヤモヤするんよね。男女の差とかどうでもいい。 https://t.co/CerqmYVgKz

— ⚡️ ADAM ⚡️🍥 (@amdapsi) January 2, 2025