Whose victory?

f:id:tmrowing:20220331142205p:plain

2022年3月30日(水) 文部科学省記者クラブにて開催された「入試改革を考える会」の記者会見第2弾にスピーカーとして参加してきました。

東京都立高校入試への英語スピーキングテスト導入の問題を論じるものです。

その時の資料をこちらに転載します。

当日の全体進行は、

  • 代表の大内裕和
  • 松井孝志
  • 鳥飼玖美子

の順に発言し、その後、代表の大内からの今後の動きの説明に続いてメディアからの質疑とその応答、となっています。
こちらの動画を是非ご覧下さい。

2022年3月30日 「入試改革を考える会」文科省記者会見
www.youtube.com

以下、松井分の資料です。


「入試改革を考える会」記者会見資料: ESAT-J導入の問題点

2022年3月30日(水) 於:文部科学省記者クラブ
英語講師 松井孝志 

1. ESAT-J の目的の羊頭狗肉

※都教委からの途中経過の報告はこちら

2022年2月17日の公開です。3月31日段階ではまだ読めるようです。
www.kyoiku.metro.tokyo.lg.jp

・学力検査入学者がもたらす情報の貧弱さ。推薦等の入学者での情報の欠落。
ESAT-J の結果を使うのは「学力検査」を課す入試選抜の枠組みでのみ。入学定員約4万人のうちの約4分の1に当たる入学者が高校に送る調査書にはESAT-Jのグレードもスコアも記載されていない。

・事業の目的で謳っている「英語指導に活かす」ことのできない情報量(内容)。
ESAT-Jの結果で調査書に記載されるのは「100点が上限のスコア」でさえなく、6段階のグレードのみ。テストの設問の4パターンのそれぞれで「タスクの達成度」も分からず、「使用できる語彙表現の多様性」も分からず、「音声の特徴や流暢さ」も分からない中で、どのように「スピーキング力」の指標として入学後の指導に活かせる?


2. 入試選抜の枠組み・制度上の不備、杜撰さ
・公平性が確保できない不受験者の扱いと「独自出題校」受験生の扱い。

f:id:tmrowing:20220331133403p:plain
(表1)

f:id:tmrowing:20220331133427j:plain
(表2)


3. 「似てるけど違う」?: 評価も含めた不透明さ、言語テストとしての妥当性
都教委はオンラインの説明会で、2021年に行った「プレテスト」の評価基準を取り上げている。

2022年3月23日に公開されたが、わずか1週間で削除されているので現在は見られない。
youtu.be

そのうち設問Cの「4コマのイラストの描写説明」の評価方法を考えてみたい。
4コマそれぞれのイラストの説明ができているか否か、という「達成度」は0か1かの2段階。
語彙・表現・文構造などの「言語使用の豊かさ」は0,1,2,3,4の5段階。
個々の発音、言いよどみ、言い直し、流暢さ等の「音声」は0,1,2,3 の4段階。
以下の表は、都教委が示したものではなく、松井が仮定した受験(受検)生の評価例である。

f:id:tmrowing:20220331133643j:plain
(表3)

ここでまず確認したいのは「タスクの達成度」と「言語使用」「音声」との重みづけである。
全ての受験生が「観点別の素点合計」は同じ6点となっているが、この受験生の「スコア」が同じであるかどうかは分からない。
・A → 4コマの説明描写は全て不可だが、話している音声は英語らしさがあり、多様な表現を駆使している。
・E → 4コマ全て説明描写ができているが、話している音声は英語らしさが弱く、表現も簡単なものしか使えていない。 
・BとC は4コマの描写でできているのは半分で、かぶっていない。言語使用は2、音声は2なのに対して、Dは3コマ描写できていて、言語使用が1、音声が2。
・HとI の差は、4コマの描写のうち、2コマ目ができているか、3コマ目ができているかのみ。
次に確認したいのは、「言語使用」と「音声」とのバランス。仮に、音声は「発音・リズム・抑揚」「言い淀み」「言い直し」等の観点で母語話者に近いほど高い評価とした場合に、語彙表現、文構造と掛け合わせた優劣は

  • A<B
  • A<C
  • B<D

となるだろう。では、BとCはでどう優劣をつけるのか?その優劣をつける根拠は?

f:id:tmrowing:20220331133725j:plain
(表4)

このような「観点別素点」は、ESAT-Jの実際の「スコアレポート」では明かされないことになっている。 「得点開示は成績票がすべて。これ以上のものを渡すことは難しい」(『AERA』 2022年2月21日号での都教委西貝氏の回答。)

dot.asahi.com

その一方で、都教委が「ESAT-Jと似ているけれども違う」と言うGTECが「高校生のための学びの基礎診断」というテスト事業で文科省に提出した資料には次のようなものがある。

2021年6月30日提出 
https://t.co/XHNEJH88D1
f:id:tmrowing:20220331133951j:plain

同じ企業が関わる「テスト」である以上、ESAT-Jで「観点別素点」を明かせない理由が「企業秘密」とは言えないだろう。


4. 事故やミス対応への「プレテスト」事前事後の検証の有無が不明
  2021年度の「プレテスト」では、受験生は約64000人という「概数」しか報告されず、機器のトラブル、音声回収の不備、喪失などの「事故やミス」の報告がこれまでなされていない。2022年11月の「本番」に向けての対策をとるためにも、事故やミスの検証は不可欠ではないのか?

京都工芸繊維大の羽藤由美教授は、自身が開発・運営に携わるスピーキングテストでの「事故」「ミス」に関して、松井とのソーシャルメディアのやり取りで次のように記している。
「万全の対策をしても回答音声の回収トラブルは起こります。1回の受験者が800人程度の我々のテストでも以下のとおり。私達は1問分でも回収できない場合は受験者に連絡して再テストを受けてもらっていますが,そのあたりの対応はどうなっているのでしょう?」

https://twitter.com/KITspeakee/status/1508212829434052608

以下の表はJACET関西紀要 vol.23(2021), p.116より「トラブル一覧」を抜粋したもの。

f:id:tmrowing:20220331134113j:plain

2021年のプレテスト受験者の64000人は、京都工芸繊維大の受験者の約80倍。「本番」のESAT-Jは約8万人と言われているので、約100倍の受験規模である。「ミスや事故が生じたときの対応」「被害を被った受験生の救済措置」など、未だ決まっていないのだとしたら、何のためのプレテストだったのか?


以上、記者会見資料の転載です。
会見でも強調しましたが、

  • 公立学校の入試選抜で使える公平性・公正性の担保された枠組み・制度にはなっていません。
  • このまま推し進めれば、単にスピーキングテストだけではなく、日本での「言語テストの信頼性」を著しく損なう恐れがあります。
  • そして、今、ここで止めなければ、他道府県へ拡大していく可能性があります。

東京ローカルの話題ではなく、日本の公教育の根幹に関わる問題として捉えてくれる人が一人でも増えることを切に願います。


本日のBGM: 
東京VICTORY (サザンオールスターズ)

2022年4月4日追記:
過去ログでの関連記事へのリンクを追加します。
併せてお読み下さい。
 
tmrowing.hatenablog.com

tmrowing.hatenablog.com

tmrowing.hatenablog.com