明日の風で桶屋は儲かる?

tmrowing2015-03-26

英語教育界を賑わす「外部試験」関連のニュースは「一次資料」を見ないと何とも言えません。

「高3の英語力」について3月17日付けのニュースでご覧になった方も多いことでしょう。
新聞発表を詳細にブログにまとめて下さった方がいらっしゃいますので、こちらのブログをご覧ください。

「Here and Now 704 : いま、ここ、から。」
http://hereandnow704.blogspot.jp/2015/03/0074-050317.html

このような報道だけを見て、「いやー、できないにも程が有るんじゃないの?」とか「いや、指導されていない技能は低くて当然」とか、いつもの「そもそも、英語教師が話す・書くがダメなんだから、高校生もダメでしょ?」などといった「市民の反応」が生まれているのではないかと推測します。

ここでは、「速報値」としてニュースになっているのですが、3月17日の時点、さらに翌18日の時点では、文科省のサイトのどこにもこの資料・データがありませんでした。

その一方で、
「外部試験」関連の会議

  • 英語力評価及び入学者選抜における英語の資格・検定試験の活用促進に関する連絡協議会

が3月17日に開催されていることが分かっています。

http://www.mext.go.jp/b_menu/shingi/chousa/shotou/106/kaisai/1355635.htm

そして、そのニュースがこちら。

http://www.nikkei.com/article/DGXLASDG17H8R_X10C15A3CR8000/

3月17日同日に、テストに関して詳しい内容の不明確な「高3の英語力調査」の「速報値」を出す意図とはなんでしょうか?
「ほら、今のままではダメでしょう!」という空気を煽ることでしょうか?

「高3の英語力」に関しては、何も、今年いきなりテストしているわけではありません。
文科省は24年度、25年度と異なる事業で、異なる試験を用いて「高3の英語力」を調査しています。

http://www.mext.go.jp/b_menu/shingi/chousa/shotou/098/shiryo/__icsFiles/afieldfile/2013/10/09/1340062_6.pdf

調査対象となった学校名も全て明らかにされています。
ただ、この2つの事業、テストがあまりにも違うので比較のしようがないのです。

24年度の報告書はこちらから。
http://www.mext.go.jp/a_menu/kokusai/gaikokugo/1332393.htm
25年度の報告書(いきなり量が増えましたけど)はこちらから。
http://www.mext.go.jp/a_menu/kokusai/gaikokugo/1351125.htm

24年度の「外部検定試験を活用した生徒の英語力調査の分析・活用に関する検討委員会」の「委員」の方たち。


25年度の「外部試験を活用した英語によるコミュニケーション能力・論理的思考力の検証に関する調査の分析・活用に関する検討委員会」の「委員」の方たち。

どちらにも、言語テスティングの専門家が入っているのですが、それでいてなぜ、スペックが揃っていないのかが解せません。

この2カ年の事業では、対象生徒の抽出もいい加減で、「統計的な処理」がきちんとなされているわけではありません。さらに、テストのスペックがこの2年でまるで異なっていて、経年変化も読み取れないイロモノいやシロモノです。いや、私だけが言っているのではありませんよ。24年度の報告書にちゃんと「注意書き」が書いてあります。


それでも、問題のサンプルは、上でpdfのリンクを張った「報告書」の中で小問まで詳細に明らかにしているところは良心的です。
24年度の報告書で示されている「ライティング」のサンプルは以下のようなものです。

この時の調査結果をもとにした改善の提言がこちらです。ただ「ダメ出し」をするだけではなく、こういうところに気をつけて指導・学習すれば「次は大丈夫だよ」という暖かい励ましの言葉もあると言えるでしょうか。


25年度の報告書では、こんなアドバイスになっていました。

この過去二年分の親切な助言をもとに、少なくとも、調査対象となった「選ばれた」高校では、ライティングの指導改善に尽力したのだろうと推察します。


では、今回の高3対象のテストはどのようなものだったのでしょうか?英語教育界をリードする「有識者」がきちんと情報を確認しなければならないと思うのですが、この資料がなかなか公開されませんでした。

その資料が、3月25日になって、ようやく公開されました。

予想通り「英語力評価及び入学者選抜における英語の資格・検定試験の活用促進に関する連絡協議会(第2回)」での配付資料として公開されたものでした。

となると、17日のニュースの見出しは意図的なものではないかと思うのですね。「物語」を作るためのニュースという印象を受けました。
テスト自体の「デザイン」はこうなっています。画像ファイルに変換して貼り付けましたので、ご覧ください。

・「出題の難易度はCEFRのA2〜B2までの測定が可能な形で出題。
・CEFRとの関連付けを行う。

調査問題の構成は次の通り。

・読むこと:多肢選択・3パート構成・43問(約45分)
・聞くこと:多肢選択・2パート構成・36問(約25分)
・書くこと:自由記述式・2パート構成・2問(約25分)
・話すこと:音読、即興での質疑応答、ある程度準備した上での意見陳述について評価基準を設け、教員が面接を実施(約10分)

さんざん酷評された「書くこと」のテストに関して詳しく見てみましょう。

2問あるうちの1問、「情報要約」とラベルが貼られた出題は、「英文音声を聞いて、その情報を理解し、指定語数(30語程度)で要約して書く」ものです。このもともとのスペックというか、デザインが、CEFRのB2-B1に相当するものとなっています。
もう一問は、「意見展開問題」。「与えられた話題について、限られた時間の中で自分の意見を説得力を持って展開する力」。これがCEFRのA2〜B2に相当するもの、とされています。

これ、難しいですよ。
今回、4技能と言いつつ、それぞれのスペックがバラバラですから。おおもとの資料はこちらからダウンロードできます。

http://www.mext.go.jp/b_menu/shingi/chousa/shotou/106/shiryo/__icsFiles/afieldfile/2015/03/26/1356067_03_1.pdf

リーディングは単一技能での多肢選択でのテストで、A2〜B1相当が2パート、A2相当が1パート、B2相当が1パートという構成になっています。A1相当のテスト問題は設計されていませんが、その分、A2相当を多く拾うことができる構成です。

リスニングで、「課題解決問題」とラベルが貼られているパートは、「日本語で事前に与えられる状況設定及び視覚情報(イラスト)と音声情報から、その場で決められている課題(タスク)を解決する力」を測定していることになっています。そして、このパートはCEFRのA2相当です。
リスニングのもう一つのパートは、「要点理解問題」。これは「英文音声の中から、事前に与えられる英文の質問に答えるために必要な情報を選択し、求められている解答を導くために適切な判断をする力」を測定しているのだそうです。これがCEFRのA2〜B2相当。どちらのパートでも、A2相当の受験者の能力を拾える構成です。

なぜ、リーディング、ライティングではA2レベルに厚い問題構成になっている一方で、ライティングでは、A2相当を拾える出題が、2パートのうちの一つだけだったのでしょうか?
リーディング、リスニングのように「多肢選択」で問題数を多くすることで、CEFRそれぞれのレベルに対応できる設問を配置することが出来ない、ダイレクトなパフォーマンスの評価だからでしょうか?
では、同じ、ダイレクトなパフォーマンス評価のスピーキング、「話すこと」はどういう問題構成でしょうか?

「話すこと」、「スピーキング」の構成は、

・音読問題
・質疑応答問題
・意見陳述問題

の3パート、3問です。
ただし、そのどれもが、A1〜B2相当、とされています。
例えば、A2相当の「質疑応答」や「意見陳述」ができないレベルの受験者でも、「音読」ができればなんらかの点数になるわけです。ですからA1レベルの受験者でも点数を取ることが可能だと考えられます。

翻って、ライティング。「聞き取り要約」では、そもそも聞けない者には書けないわけですから、無回答・無得点が増えるのも頷けます。
これは、普通に考えれば、「テストデザインの失敗」になるかと思うのですが、今回は所謂「確信犯」ではないかと感じました。つまり、「できないのを承知でやらせている」ということ。
リーディングは単一技能で多肢選択かつ複数小問、リスニングも、「英文の質問を読む」必要はあっても、ハイブリッドの度合いは極めて小さい多肢選択で複数小問であるのに、ライティングだけは、「聴き取り能力に依存した上での、書くことの力」を求めるハイブリッドの技能連関なんですから。

それはハナから無茶苦茶だと思うのです。無謀と言ってもいいですよ。A1レベルの受験者は、自分が入るべき「枠」がそもそも設定されていないわけですから、A2の枠に漏れた人たちの行く先は「枠外」ということになりますよね?だって、A1相当のCan-doの書くテスト項目さえないんですから。それで、CEFRの「参照枠」に対応させるのは無理がありすぎるでしょ?

盛んに推奨される「外部検定試験」では、いったいどのようなことができれば「ライティング力」があると見ているのか、知っていますか?

例えば、ETSの実施している、TOEFLと同じ名前を冠した、「TOEFL Jr コンプリヘンシブ」と呼ばれている日本の高校生でも受けられるという試験では、

という構成となっています。そして、採点評価もきちんとしています。

英検&上智大学で開発されたというTEAPでは、このような Can-do に基づいています。

TEAPが謳っている「学習指導要領」との対応は次の通り。

この二つの試験と同じ問題で今回の調査をしていたら、日本の高3生も、もう少しマシな回答・解答が出来たんじゃないでしょうか?
このような外部試験の内容は、各実施団体が協議会で「わかりやすい」プレゼンをしていますので、文科省のサイトを見れば出ています。ただ、どこかにあることは確かだけれども、見つけにくいのです。(誰かのブログの記事みたいですね。)
詳しくはこちらのリンク先の一番最後を!本当に最後の最後に個々のリンクがありますので、最後までスクロールして下さいね。

英語力評価及び入学者選抜における英語の資格・検定試験の活用促進に関する連絡協議会
第2回会議 (2015年3月17日に開催)
「主な英語の資格・検定試験に関する基礎資料集」
http://www.mext.go.jp/b_menu/shingi/chousa/shotou/106/shiryo/attach/1356121.htm

そして、今回の「出来なさ加減」を踏まえて、上述資料の、平成24年度と25年度の『外部検定試験を活用した…』の報告書を読み直してみて下さい。そこで示されていた、「書くこと」の指導改善の助言は一体なんのためのものだったのでしょうか?助言の通りに「地道に」指導改善に励んでいたら、新たな年度では、事業が変わり、いきなり「ハイブリッド」なテストが課されて、おまけにその結果には「ダメ出し」される始末です。

「現場の英語教師」は本気で怒った方がいいですよ。

新聞記事が恣意的な世論操作に使われかねないような状況だからこそ、面倒でも1週間ずっとこのネタの「一次ソース」とその根拠になっている「文科省の事業」「審議会情報」を追って発言しているのです。
今回の「高3英語力」ネタはものすごく大きな問題を孕んでいますが、現場の反響はそれほど大きくないような印象です。それが不思議。

既に、今回の「問題ありありの問題によって評価された英語力の『実態とやら』」に基づいて、いろいろな「意味づけ」が行われているのですよ。
気にしていないと、土俵はどんどん狭められる。だったら、同じ土俵でゲームに付き合う必要はないでしょう?

http://www.mext.go.jp/b_menu/shingi/chousa/shotou/106/shiryo/__icsFiles/afieldfile/2015/03/25/1356067_02.pdf

今回の資料から写真をもう一つご覧ください。

CEFRに準じた、技能ごとの分布を示していますが統計的な処理はなされているのでしょうか?技能間のクロス集計は?
先ほど述べたように、4技能それぞれのテストのスペックを見る限りでは、(A1) A2,B1.B2が全然揃っていません。 ある技能では、B2ーB1に対応していて、ある技能では、A1に対応したテスト項目があり、またある技能ではA1は全く見ない、というようなデザインでテ ストが作られているようです。
「お題目」では確かに、「A2〜B2を評価できる試験」と謳っていました。でも、実際には、A1を拾っている技能もあるのです。この分布に、どのような「意味付け」をしようというのでしょうか?そして、一体どのような「言語テスティング」の理論、知見に基づいて、今回の「テスト」が設計されているのか?
有識者に教えて欲しいですね。

次の、この写真で読める文言「フィージビリティ」はどう考えればいいのでしょうか?


今年のテストは「フィージビリティ調査」だというわけです。「観測気球」ですよ。で、一番の問題は、「テスト自体が本当に feasibleだったかどうか」に関しては、誰も何も言わないのです。
で、来年のテストが「本丸」。今度は中学生も対象に入るんですよ。A1相当のパフォーマンスも測定できるように、テストのスペック、測定項目を変えるんですか?だったら、今年のテスト結果と比べられないじゃない!

私に分かるくらいなのだから、「委員」の方たちは、とっくに今回のテストの問題点がわかっているのでしょうけれど、「日本的なナンセンスながばなんす」では、どんなスキームも一度動き出したら止まらないかのようです。





この一連の資料が文科省サイトに上がったのは、3月25日。会議の8日後です。
17日に大々的に報道した新聞社、TV局のうち、この資料をニュースで報じた新聞社は?TV局は?

英語力評価及び入学者選抜における英語の資格・検定試験の活用促進に関する連絡協議会(第2回)配付資料
http://t.co/30z92Vosie

この「外部試験・4技能試験」を現場で活用する際に求められる、「妥当性」「信頼性」の検証を、今回の「フィージビリティ」テストに当てはめることをなぜしないのか?





「できないのを承知で」B2ーB1相当のパフォーマンステストをしている背景には、「選別」があるのでしょうかね?あれ?今回は「フィージブル」かどうかを見るためのテストで、「選別」のためではないはずですよね?






で、そもそもCEFRって、「発達段階」とか「能力指標」としての「参照枠の記述」であって、「到達目標」とか「達成目標」ではなかったはずでは?
それがいつの間に…。
有識者会議で、大津先生が仰っていた通りの憂うべき展開ですかね。





そういえば、文科省は拠点校を中心に「指導」までして、Can-do statementsを作らせていましたけれど、「何ができたら、A1レベルなのか?」を測定するテスト項目がない「パフォーマンステスト」なのに、総得点が低いと、A1レベルで判定されているんですよ。それぞれの項目での Can-doか否かで、到達指標としているのではなくて、どう換算するにしろ「総得点」で、レベル判定をしていることになります。これじゃ、Can-do statements のメンツ丸つぶれでしょ?

「高3英語力」の調査結果がニュースになってから、「テスト問題にこそ問題ありあり」だと言っているのが、私のように極少数にとどまっています。
でも、この「調査結果」をもとに、新たな事業・政策が実施されて、高校現場(そして中学校現場)は否応なしに影響を受けるんです。
降れば土砂降りくらいならまだいいです。止むのを待って、濡れたら乾かせばいい。でも、昨今の「英語教育改革」は、波。しかもその波に乗ってやろうという輩の「思惑」で大きく畝っています。「波乗り」を求める人には好都合な波でしょう。いつまでも続いてほしいくらいかもしれません。ただ、そんな「思惑」に乗れる現場ばかりではないんです。波が大きくなればなったで、波に飲まれるだけで危機的状況が生じる現場だってあります。

全国的な商業誌に『英語教育』(大修館書店)ってありますけれど、こういう時に機能しませんよね?御用雑誌ですか?今回の「フィージビリティテスト」を検証する有識者を集めて「徹底討論」くらいの企画をぶつけられなくてどうしますか?

新課程に沿った授業改善とか、改革案に沿った授業改善とか、この春にもいろいろな「学会」で発表や講演が行われているようですが、その前に、その「お題目」そのものを検証しないと。

あと、大学や大学院などの高等教育機関で「英語教育」「英語教員養成」「英語の教育行政」に関わる講座を担当している方たちにも、積極的に発言・行動してもらいたいと思っています。

政策に不都合な談話やコメントをしそうな人のところに、取材をお願いにくる既存の報道メディアがないであろうことは重々承知していますけど。
英語教育の学会も教育に関わる学会なのですから、ご自分の業績リストを長くするためだけのものではないでしょう?

「英語教育の明日」って、ホントにどっちなんですか?

本日のエントリー冒頭の写真のオリジナルサイズはこちら:英語教育_CEFR関連.jpg 直

本日のBGM: 明日はどっちだ(真心ブラザーズ)

2015年5月27日追記
文科省サイトで、詳細な報告書がついに公表されました。(2015年5月26日付け)
平成26年度 英語教育改善のための英語力調査事業報告
http://www.mext.go.jp/a_menu/kokusai/gaikokugo/1358258.htm

2015年11月5日追記
本日のエントリーで取り上げた「高3英語力調査」に関わる後日のエントリーがこちらになります。
併せてお読みください。
http://d.hatena.ne.jp/tmrowing/20150528
http://d.hatena.ne.jp/tmrowing/20150602
http://d.hatena.ne.jp/tmrowing/20150620