生成AI時代に学生の学びは変わったのか――九州大学のプログラミング科目10年分の教育データから

九州大学の島田と言います。今日はよろしくお願いいたします。ご覧のタイトルで発表させていただきます。

まず、生成AI時代の学生の学びって本当に変わったのかっていう、そういう疑問をお持ちの方、多いんじゃないかなと思います。直感的にはいろんな疑問を抱かれると思いますけど、例えば学生は、今や生成AIに対して何か問いかければ答えが返ってきますので、直接的な答えを求めるようになってしまったのではないかとか、そういうご懸念をお持ちの方もいらっしゃると思いますし、率直に成績上がったのかなとか下がったのかなとか、こういう疑問もきっと持たれてると思います。

もう少し長いスパンというか、日々の活動を見ていくと、そういう学び方が、今まではこう学んでたはずだけども、生成AIが出てきたおかげで変わったのかどうかとかですね。この辺が、いろいろと話を聞かれたりとか、大学とか学校とかで授業を持たれてる先生方におかれましては、直接そういう印象をお持ちの方もいらっしゃるんじゃないかなと思いますけど、今日の私の話の中では、そこを印象ではなくて教育データの方から見てみようというのが一つ、趣旨になっております。

早速なんですけど、大学全体の科目を対象にまだ分析は全然できてなくて、今回ご紹介するのは一部の対象科目になっておりますので、この点、まずご了承いただければと思ってます。

対象にした科目はクォーター学期に開講される科目でして、プログラミングの科目です、一言で言うと。ただし、よくある演習系の科目ではなくて、しっかり設計論を学ぼうということで、座学も中ではちゃんと行われてます。その上で、毎回の座学の内容に関する演習ということでプログラミングも行うと。さらには次回の授業までに課題が出題されますので、それに取り組まないといけないですし、期末試験では理解度を評価します。ただ、この期末試験一発勝負の評価ではないので、あくまでこれは試験というスコアを取るための評価とお考えください。

先ほど言いましたようにクォーター科目ですので、第1週から第7週まで、90分のコマが2コマ続く形で毎週実施されております。最終の第8週目に試験が実施されています。この科目は同一科目が3クラス、合同というか並行実施されておりまして、教材とか試験は共通のものを使っております。今回の分析は、その中でも同一の教員が継続担当した一つのクラスを対象に分析をしたというところが、今回の対象講義になっております。

では、この対象講義ですね、授業とか試験環境がどう変遷してきたかというところをここにまとめております。データを取り始めている2017年度からの10年間分になりますので、それをコロナ前とか、コロナ禍、コロナ後、そして2026だけ一番右にはみ出して書いてますけど、ちょっと事情があってここは分けて書いております。

まずコロナ前の2017年から2019年度までですけど、この時期は対面で授業を行ってまして、期末試験も筆記試験をやってました。プログラミング系の授業で筆記試験をやるって結構珍しいんじゃないかなと思いますけれども、筆記でコードを書いてもらうみたいなことをやっていたのが、そのコロナ禍前の時期でした。

コロナ禍を迎えて、授業がフルオンラインに変わりました。それが2020年度から22年度までですね。その時に試験も筆記試験できませんでしたので、Web試験に変わりました。その後、2023年に5類にコロナが確か分類された後に、対面授業に戻ったんですけども、その中でも引き続き期末試験はWebで行っておりました。この頃から生成AIが出てきましたので、試験時にはAI利用禁止ということをちゃんと学生たちに伝えた上で、受験をしてもらっていると。一応、試験監督も通常よりも多めに配置をして、そういうAIとか使ってないかは、結構細かく試験監督で現地を回りながら監視をしておりました。

2026のところ、あえて分けたっていうところを先ほど言いましたけども、対面授業は今年度も対面で行われたんです。授業は対面で行われたんですけども、試験が筆記に戻ったんですね。なので、ある意味、実施方法が原点回帰してるのが2026ということで、ここはコロナ後という観点からも少し外して、試験の実施方法が変わったということで、あえて枠を変えてます。

あともう一つ、右下におまけで書いてますけども、2025年度からAIチャットボットを授業でも導入してます。もちろん学生さんたち、自分でもいろんなAI、チャットですかね、サービス使ってますけども、授業用の、ある意味ティーチングアシスタント代わりのAIチャットボットを導入したのが2025年度でしたので、この時の利用状況も今日併せてご報告できればと思っております。

では次に、対象データを少しここで整理しております。まず一つ目は学習活動データですね。これ、10年間で延べ474名分のデータがありまして、学生ごとの試験のスコアとか課題の提出率を今回取り上げております。二つ目が試験問題そのもののデータですね。10年分ありますので10回分の試験ですね。これで問題の難易度をちょっと測っております。学習活動データと試験問題データが10年分ございまして、あとはAIの利用ログですね。これは2025年度のみですけれども、約2000件ぐらいの質問応答の記録がありましたので、これらを少し分析をしております。

では、次のページからもういきなり結果がずらっと出てきますので、順番にご紹介していきたいと思います。まず、試験のスコアのところなんですけれども、これ、年度ごとに平均点を赤い点でプロットしています。大体この手のグラフって本当は棒グラフとかで書いた方がいいんですけども、年度間の変動を線でつないで見ていただくために、あえて系列グラフにしておりますので、そこをご了承ください。あとはエラーバーも一応各年度書いてますので、多少伸び縮みが毎年あるかなってところですね。

全体的に見ていただくと、下がってまた上がって、下がって上がってみたいなものを繰り返しているかなってところが、まずは直感的に見て取れるかなと思います。年度差も大きいなってところで、2017年度が一番高いですかね。73点ちょっとあったところが、24年度、多分ここに多くの方、注目されてると思いますけど、ここ何があったんだっていうぐらい、39.1点ですかね、かなり低くなっていると。単純な右肩下がりではないってことは先ほど申し上げました通りで、下がったり回復したり、また下がったり回復したりの繰り返しが起こっていると。

特にこの24年度は少しケアしないといけないってところで、平均点も低いんですけど、中央値を取っても低いので、著しく低い人が平均点を下げたわけじゃなくて、全体的に低かったってところがこの年の特徴でした。一応エリア分けは色ですね、先ほどの年表に従って色分けしてまして、コロナ前、コロナ禍、コロナ後、そして2026年度ですね、分けて背景に塗ってますけど、こういう状況でしたと。この変動が果たして学生の変化なのかなってところは、少しケアしないといけないかなっていうのが、今からお話ししていきたい内容になります。

ずばり、何を次やったかと言いますと、各年度の試験問題ですね、この難易度をちょっと分析をしてみました。これ、教員に難易度分析をしてもらうのも、できなくはないんですけども、本当に公平に分析できるかってところはなかなか難しいところもありますので、今やAIにその難易度評価をしてもらったと。一応、試験問題自身は、その年度の試験を行った時にはもう学生たちにオープンになってますので、それを実際に今回は生成AIに渡して、難易度を評価してもらったと。

最初は生成AIに解かせてみようと思って、何点取れるかをやったんですけど、想像の通り、今の生成AI、すごく出来がいいので、ほとんど差が出ないんですね。なので、全部できるんだったら難易度評価してもらった方がいいかなってことで、途中から着眼点を変えて、ここに挙げてるように7項目ですね、知識深度とか推論複雑性とか、計算処理量とか、あと同様性、条件、誤答誘発性、時間負荷。ここで7項目を1から5点満点で評価してもらい、最終的に総合難易度を1点から5点の5段階で評価させました。

上の棒グラフはその総合難易度になってまして、先ほどテストのスコアが著しく低かった2024年度が、総合難易度、ここだけ5が付いたんですね。だからやっぱりそこが難しかったんだろうなってところが、なんとなく分かりましたと。なので、難易度が高い年度ほど学生平均点が低い傾向っていうのが全体的にも見えまして、スピアマンの順位相関を取るとマイナスのスコアが出てきたので、そういうことだなってことは少し見えています。

あとはその下の表になってるところですね。いろんな観点での評価項目を見た時に、時間負荷のところが、これコロナ禍とコロナ後のWeb試験をやってた6年間がずっと5なんですね。確かに、試験問題を多分作る時に、筆記の時ってやっぱり記述に時間がかかるので、あまり時間をかけなくてもいいようなコード量にしたりとか、場合によって穴埋めになってたりとかするんですけど、それがコロナ禍でのWeb試験になった時に、であればコーディングをしっかりさせようってことで、少しその試験の作り方が変わってたんですね。確かにこのスコアを見た時に、その辺がフラッシュバックしたなというのがありました。

あと他にも、2024年度で見ていただくと、やっぱりここに5が付いてるスコアが結構いくつかあって、誤答誘発性とかはこの2024年度だけだったりとか、あとは推論複雑性も、ここ2024年度だけだったりとかしてまして、やっぱり総合評価も5を取ってますけども、いろんな項目で難しいところがこの24年度には混ざってたんだなってことが改めて分かりましたと。ですので、この試験難易度の年度差ですね、これを踏まえて少し先ほどの試験スコアを解釈していく必要があるんじゃないかなってことで、少し対象を絞って比較をしてみたっていうのが次の話です。

これ、同程度の難易度に限定すると、その普及前後の成績差ってどれぐらい埋まるのかってところを、こういうトリッキーなやり方やっていいのかどうかは一旦さておき、やってみたのがこちらの結果で、まず期間全体ですね、難易度をあまり限定せずにやってみると、生成AIの普及前と普及後では、平均差が7.2ポイント違っていました。これに対して、先ほどのAIの総合難易度が4の年度に限定、別の言い方をすると、唯一難易度が5であった2024年度のみを取り除いて平均点比較すると、その差は少し埋まったかなというところですね。

なので、このAI評価をどこまで信頼するかはあれですけども、同程度の難易度というふうに出てきた年度に限定して成績差を見てみると、そこまで心配するほど点数が下がったとは言えないんじゃないかなってところが一つ見えてきたのが、こちらの結果になります。

もう一つ気になるのが26年度ですね。原点回帰というふうに先ほど申し上げましたけども、じゃあ試験スコアも当時のコロナ前と同じぐらいになったのかなってところですね。これ、コロナ前の3年間のデータがありましたので、そこと比較すると、5点弱ですね、4.7ポイント、平均点は落ちていたんですね。対面でやってる授業の内容は実際には変わってない。資料もほとんど同じものを使ってますし、筆記試験も同じようなスタイルで実施したってところだったので、期待としてはほとんど同じぐらいの平均点が出るかなと思ってたんですけど、少し下がっていたかなと。

ただ、一応統計的な検定は行ったんですけど、そこでは明確な差が確認されなかったってところで、差があるとは言えないかなというところが今日のこのデータからは言えるところかなということですね。下にもう一個書いてますけど、試験スコアについてはコロナ前との明確な差は確認されなかったっていうのが一つ、この2026年度にフォーカスを当てて、授業の実施方法と試験の実施方法が当時、コロナ禍前に戻った時と、昔のコロナ前の時を比較した時の一つの結果かなと思います。

次が、AIチャットボットですね。ティーチングアシスタント代わりに導入したAIチャットボットが何のために使われたかっていうところを、約2000件の対話ログを分類して見てみましたと。そうすると、左に挙げてる7つぐらいのジャンルに質問の内容を分けられました。その他がかなりカバーしてるところもあるんですけども、7つに分けて上から順に割合の多い方から横棒グラフを書いてます。

概念理解のため、あるいはデバッグ支援のために使ってるようなケースが、2つ合わせて半分ぐらいですね。質問のうちの半分ぐらいがこの2項目です。3つ目にあるのが課題解答生成に関する話なので、要はここでどういうふうに解けばいいかみたいなことをいろいろ質問してるわけですけど、この中で実際に本当に直接答えを教えてくれみたいな、直球を投げかけてるような質問はどれぐらいあったかというと、31%ですね。約3割です。

全体で約2000件のログで見た時に、そういう直球型の質問をしてるのはどれぐらいあったかというと、これ7.1%なので、非常に低い割合でした。それ以外の質問の方がもう圧倒的に多くて、9割以上がそういう直球型の「答え教えて」っていう短絡的な質問じゃない質問が多かったかなと。それがどういうものであったかというのが、この左にまとめてる通りでして、ちょっと短めにまとめると、直接的な回答要求は限定的であったということと、あと理解、問題解決、課題遂行を中心とした活用の方が圧倒的に多かったっていうのが、このログから見えてきた結果になります。

そのチャットボットですね、AIティーチングアシスタント、いつ使われたかってところもちょっと時間分析をしてみると、授業中の利用が13%ぐらいですね。授業外の方がやっぱり圧倒的に多くて、87%ぐらいが授業外利用でした。その各時間帯において、直接回答要求ですね、直で答えを教えてっていうような、そういう質問をしたケースは、もうわずか5、6%とか7%ぐらいにとどまってまして、授業外でも直接回答要求には偏らないような活用がなされていたっていうのが、ここの授業のケースですけど、一つ見えてきた話です。

これは多分最後の分析結果なんですけど、課題の取り組み状況と試験のスコアには関係があるかという、これ、よくラーニングアナリティクスの研究とかでも、日々の活動とか課題への取り組み状況と最終成績の関係とか分析しますけど、それを今回は課題の提出状況と試験のスコアですね、この関係をちょっとまとめてみたのがこちらです。横軸が課題提出率で、課題、結構たくさんあるので、小刻みに横にはばらけてますけども、大体全部出した学生さんが多いので、一番右のところに点が集まっています。

試験スコアとこの課題提出率には、大体正の関連がありそうだってことは見えてきています。あと同じ年度の中で比較した時に、課題提出率が高い学生ほどやっぱり試験スコアが高い傾向は認められました。例えばですけど、10ポイント提出率が高い学生だったら、試験スコアが大体平均で2.6ポイントぐらい高いかなっていうのが出てきてまして、一応参考に、信頼区間の95%でどういう状況だったかもここには載せています。

重複しますけど、継続的に課題を提出してるような学生さんっていうのは、最終的にやっぱり試験のスコアとは関連もあったし、ただ、毎回毎回、先ほどのチャットボットの話もありましたけど、答えを求めてAIに頼ってるような、そういう使い方はほとんどなかったので、うまく学習を進めてたのかなっていうところは、この辺から推察されたところです。

ということで、教育データから見えた学びの実像ですけど、答えを聞いてしまうのかなっていうところに関しては、あんまり直球型の要求はなかったなっていうのが、ここは意外な印象です。授業外だったらむしろ答えに頼りがちかなと思ったんですけど、ここもそこまでなかったなってところと、成績上がる、下がるは、これ問題の難易度を考慮すると、あんまり差はなかったかなってところですね。最後、日々の行動と成績は関連するって、これはもうAIが登場する前からずっとこの分野で言われてましたけど、やっぱりそういうところには関連がありそうだってことは見えてきました。

ということでまとめますと、今日いろいろと分析結果をまずご紹介いたしました。まだまだ分析できてないことの方がむしろ多いと思ってまして、こういう時代だからこそ、学習者の状況を、生成AIとどういう対話をして、どんな学習効果が得られたかということを、多面的かつ公平に捉えるような、このLA、ラーニングアナリティクスの重要性が、改めて私自身、再認識できましたということで、今日のご報告とさせていただきたいと思います。ご清聴ありがとうございました。