1. 選考対象

1. マイニングによる大規模 Web オントロジの実現 (最終サバイバル)
2. Total Environment for Text Data Mining (サバイバル2回目)
3. ソーシャルビジネスの為のプロジェクトマネジメント (ニューチャレンジ)
4. 異種協調型災害情報支援システム実現に向けた基盤技術の構築 (ニューチャレンジ)

2. 選考基準

＜ニューチャレンジの選考基準＞
総合評価が優れている (4.0以上) であることを前提に、

• ゴール達成時の社会的インパクト
• 実用化へ向けた取り組み

＜1〜2回目のサバイバルの選考基準＞
総合評価が優れている(4.0以上)であることを前提に、

• 現時点での社会的インパクト
• ゴール達成時の社会的インパクト
• 実用化へ向けた取り組み

＜4回目のサバイバルの選考基準＞
総合評価が優れている (4.0以上) であることを前提に、

• 現時点での社会的インパクト
• ゴール達成時の社会的インパクト
• 実用化へ向けた取り組み

3. アンケート集計結果 (青塗りつぶしは基準未満を示す)

表1: アンケート結果

図1: アンケート結果グラフ (サバイバル)

図2: アンケート結果グラフ (ニュー)

4. 選考結果

1. マイニングによる大規模 Web オントロジの実現 (最終サバイバル)
   • 総合評価 (3.77)はサバイバル前提基準 (4.0)を上回っていない。
   • いずれか一つの評価項目に優れた点 (3.5以上) がある。
     学術的観点からの評価(3.60点)、 現時点までの社会へのインパクト・貢献(3.26点)、 最終目的達成時の社会へのインパクト・貢献の見込み(3.97点)、 チャレンジ実用化に向けた取り組み(2.97点)
   • サバイバルとするのに問題となる点(3.0未満)がひとつある。
   • 関係者、非関係者を区別した平均のいずれを見ても、条件に基づく結果は変わらない。
   • 関係者 (学術観点からの評価: 3.83点、社会への貢献: 3.67点、 社会へのインパクト: 4.00点、実用化へ向けた取り組み: 3.50点、総合評価: 4.17点)
   • 非関係者 (学術観点からの評価: 3.55点、社会への貢献: 3.17点、 社会へのインパクト: 3.97点、実用化へ向けた取り組み: 2.86点、総合評価: 3.69点)
   
   集計の結果、総合評価がサバイバルの基準を満たしていない。 これはアンケートに寄せられたコメントにも多くあるが、 チャレンジを始めた4年前とは状況が変わり、 現在はWikipediaを使った研究はそれほどチャレンジングなものではなく、 むしろ実用化に着目した研究に他のWikipediaを使った研究もシフトしている傾向となっている。 また、発表件数も5件と決して多くはなく、 課題に対する取り組みは重要ではあるものの研究件数が少なくなっている可能性がある。 (一方で、上記の集計結果において、社会へのインパクトについては点数が低いものの、 5つの項目に対して、3.5点以上を非関係者からの集計結果からも得られている。)
   以上のように、サバイバル基準を満たさないため、残念ながら「サバイバル」失敗とする。

2. Total Environment for Text Data Mining (サバイバル2回目)
   • 総合評価(4.16)はサバイバル前提基準(4.0)を上回っている。
   • いずれか一つの評価項目に優れた点(3.5以上)がある。
     学術的観点からの評価(3.50点)、現時点までの社会へのインパクト・貢献(3.26 3.47点)、最終目的達成時の社会へのインパクト・貢献の見込み(3.47 4.05点)、チャレンジ実用化に向けた取り組み(3.63点) 2012年8月7日誤記を修正しました
   • サバイバルとするのに問題となる点(3.0未満)はない。
   • 関係者、非関係者を区別した平均を見ると、非関係者の総合評価(3.96)がサバイバル前提基準(4.0)をわずかに下回る。
   • 関係者(学術観点からの評価: 4.08点、現時点での社会への貢献: 3.85点、達成時の社会への貢献: 4.31点、実用化へ向けた取り組み: 3.92点、総合評価: 4.54点)
   • 非関係者(学術観点からの評価: 3.20点、現時点での社会への貢献: 3.28点、達成時の社会への貢献: 3.92点、実用化へ向けた取り組み: 3.48点、総合評価: 3.96点)
   
   オーガナイザらは全国大会に先立ち、TETDMアプリケーションのインストールから活用までを紹介するwikiサイト(http://tetdm.jp/pukiwiki/index.php?TETDM)を立ち上げた。このサイトでは一般利用者向けと開発者向けの両面で説明がなされており、利用者の拡大およびアプリケーションの有する機能の拡充など普及にあたって重要な役割を果たすことが期待される。今後は類似プロジェクト(UIMA、gephiなど)に対する優位性を示すことあるいは、差別化を図ることなどが期待されている。
   集計の結果、全項目において基準を満たした。よって「サバイバル」とする。

3. 異種協調型災害情報支援システム実現に向けた基盤技術の構築 (ニューチャレンジ)
   • 総合評価(4.23)はサバイバル前提基準(4.0)を上回っている。
   • 下記のいずれか一つの評価項目に優れた点(3.0以上)がある。
     最終目的達成時の社会へのインパクト・貢献の見込み(4.31点)、チャレンジ実用化に向けた取り組み(3.28点)
   • サバイバルとするのに問題となる点(3.0未満)はない。
   • 今年はインタラクティブセッションにおいてもチャレンジャーは発表を行った。そこで聴衆にアンケートを記入してもらったが、結果をオーラル発表と区別しても、条件に基づく結果は変わらなかった。
   • 関係者、非関係者を区別した平均のいずれを見ても、条件に基づく結果は変わらない。
   • 関係者(学術観点からの評価: 4.0点、達成時の社会への貢献: 4.5点、実用化へ向けた取り組み: 4.0点、総合評価: 4.5点)
   • 非関係者(学術観点からの評価: 3.78点、達成時の社会への貢献: 4.30点、実用化へ向けた取り組み: 3.24点、総合評価: 4.22点)
   
   大災害が起きた場合に、生き残っている設備を活用して短時間に情報支援システムを構築しようという取り組みである。2011年の大震災を受けて企画されたテーマであり、チャレンジが実を結べば、人工知能学会として社会に多大な貢献をできると考えられる。
   集計の結果、全項目において基準を満たした。よってチャレンジテーマとして採択とする。

4. ソーシャルビジネスの為のプロジェクトマネジメント (ニューチャレンジ)
   • 総合評価(3.28)はサバイバル前提基準(4.0)を下回っている。
   • いずれか一つの評価項目に優れた点(3.5以上)がない。
     学術的観点からの評価(2.60点)、最終目的達成時の社会へのインパクト・貢献の見込み(3.28点)、チャレンジ実用化に向けた取り組み(2.93点)
   • サバイバルとするのに問題となる点(3.0未満)がふたつある。
   • 今年はインタラクティブセッションにおいてもチャレンジャーは発表を行った。そこで聴衆にアンケートを記入してもらったが、結果をオーラル発表と区別しても、条件に基づく結果は変わらなかった。
   • 関係者、非関係者を区別した平均を見ると、非関係者のそれで上記基準を満たさない。
   • 関係者(学術観点からの評価: 4.0点、達成時の社会への貢献: 5.0点、実用化へ向けた取り組み: 5.0点、総合評価: 5.0点)
   • 非関係者(学術観点からの評価: 2.57点、達成時の社会への貢献: 3.16点、実用化へ向けた取り組み: 2.81点、総合評価: 3.16点)
   
   グループ内のコミュニケーションから抽出した「指標」を基に、グループでの課題遂行を支援できる枠組みを作ろうという提案である。ニューチャレンジャーは、学生として勉学に励みながら、社会問題への関心を啓発する任意団体を立ち上げ活動を行っている。今回は、その団体で行った予備的な実験結果をもとに発表を行ったが、人工知能との結びつきの弱さを指摘する意見も散見された。
   集計の結果、どの項目においても基準を満たせなかった。よって残念ながらチャレンジテーマとしては採択しない。

付録: 各テーマへのコメント

1. 「Wikipediaマイニングによる大規模Webオントロジの実現 (最終サバイバル)」へのコメント
   • 学術観点からの評価：
     • 論文も出ており、わかりやすくまとめられている
     • 何に使うかによってオンロトジがどうあるべきかは異なるが、そうした側面の分析が足りない。そのためぼんやりとそれっぽく、つなげるにとどまってしまっている。
     • チャレンジするタスクをしぼったほうがいいのでは?バラバラなので、学術的に知見が蓄積されるのか?(個々で見ると問題はない)
     • 学術的には共通の対象に取り組むことで様々な手法が提案され研究コミュニティ内で○○らされる場を提供していると思います。(○○は文字が読めなかった)
     • 土方さんのレイアウトを用いた単語間関連の話はおもしろかった
   • 社会貢献の観点からの評価：
     • LODと組み合わせることで、Dbpediaのように有用な物ができる可能性あり。
     • 成果のオープン化、成果の相互利用
     • 研究成果はLOD公開等で社会に還元していただきたいと思います。
     • 使えそうな成果(データ)の公開もすすめている発表もあるが、実用化にはもう少し越える壁が残っていると感じる。
   • 全体としての評価：
     • 今年で4年目であり、是非最後まで走りきってもらい、これまでの成果をまとめてほしい。
     • Wikipedia以外での応用なども検討していければ良いと思います。
     • Wikipediaに関する研究はまだこれからだと思いますがので、是非サバイバルして欲しいと思います。
     • 今年で卒業ですか?
     • オントロジを用いた○○という形で、実用化を考えた場合にどういう要素が必要かを教える前提でagree。(○○は文字判別不明)
     • Wikipediaのリソースを使った研究はもうチャレンジではない領域のような気がします。実用化に向けた別なセッションでも良い気がします。
     • 発表件数を増やす試みが欲しい。
     • Wikipediaは分野をこえて使われている。人工知能学会で発表してくれる人がどれだけくるかがポイントかも
     • 学術的には一定の目標は達しつつあると思われますが、社会へのインパクトが弱いと思います。頑張っていただきたいです。
     • 質疑の時間に思想レベルでの議論になる場面があったが、どうせ5分10分で解消される問題ではないので別の機会にしたほうが建設的だと思う。
     • GoogleのKnowledge Graphなど本チャレンジの内容に深く関わる技術が社会に出てきはじめており、その流れに日本が遅れないようにする為にも、チャレンジを続けてほしい。
     • Wikipediaに限らず、他にも類似サービスが存在するので、もっと広くやってほしい
     • テーマとして面白かったです、が、研究発表のインパクトは今一つかなという気がしました
     • Wikipediaの有用性やマイニングの重要性が感じられるチャレンジだと思います。ただ、Wikipediaを情報源として活用することは当たり前に行われるようになってきていて、チャレンジの範囲を越えて、研究が広がっているように感じます。チャレンジの目標が達成されつつあるということかもしれませんが、継続される場合にはチャレンジ全体としてのメッセージを改めて見直すのもよいと思います。5回目のサバイバルで卒業ということですと大賛成です。セッション途中から参加してしまい気がつかずコメントしてしまいました。
2. 「Total Environment for Text Data Mining (サバイバル2回目)」へのコメント
   • 学術観点からの評価：
     • 応用が考えられる。
     • ミドルウェアとしての枠組みとしての面白さはあるが、この枠組みをつかった研究のスタイルが確立するには至っていない。
     • 予備知識がないとわかりづらかった点があった。
     • 少し実用的な結果と、ドメインへの協力が必要に思う。
     • 3.の5-7しか見ていないが、あまり手法などに目新しさを感じられなかった。
     • 最後の3-7の発表では信頼性についてはわからなかった。
     • 一件ではわかりませんでした。
     • 基本的な技術はそれほど目新しくない。
     • 使いやすさにこだわるあまり、個々のモジュールの妥当性(の検証)、モジュール間の接続の柔軟性が、犠牲になるのではないかと心配。
   • 社会貢献の観点からの評価：
     • 昨年から大きく進化しているのが印象的であった。関係者の努力を高く評価する。
     • 病院業務での利用に希望が持てる。
     • やはりある一定程度のモジュールがそろわないと、データマイニングをしたユーザとモジュール開発を行う人の間の議論が活性化しない。
     • 最終目的がなんなのかが不透明。
     • ツールの本、スクリプトでの自動実行などを備えているとありがたい。
     • ダウンロードして実際に使えるのはよい。後で試用してみます。
     • 病院における話であったが、全く構造化されていないテキストからある程度の議論が行えるようなデータ抽出ができており、現時点でも貢献があるように思った。
     • 様々なアプリケーションが試されているのが評価できる。多くの人が利用可能な分野である。
     • 一度使用してみたいと思います。
     • TETDMのインタフェースが使いにくい。それは使う人にもよると思うが、ユーザがインタフェースを選択できるようなつくりになっていると解決できると思う。
     • 構文解析やnamed entity、参照解析などの「深い」解析結果を扱えるかどうか。
   • 全体としての評価：
     • 生みの苦しみの部分もあると思うので今後に期待したい。
     • 実用的な結果がほしい。
     • テキストマイニングはやはり重要なテーマであると感じる発表であった。ぜひチャレンジテーマとしてほしい。
     • インタフェース画面をもう少しかっこよくしてほしい。
     • TETDMを利用してみようと思います。
     • 実験レベルのアプリケーションがどのように展開していくかを見てみたい。
     • 今後に期待します。
     • 使える範囲がかなり幅広いのが興味深く感じました。
     • 他の類似プロジェクト(UIMA、gephiなど)と差別化できるとよいと思います。
3. 「異種協調型災害情報支援システム実現に向けた基盤技術の構築 (ニューチャレンジ)」へのコメント
   • 学術観点からの評価：
     • 多くの課題を含んでいる。従来研究の流れに沿い、そのうえで実用性が見えてくる。
     • 研究者間でのデータの共有は有用であると考えられる。
     • 今後あらわれる新しいメディアにも対応する必要があるとすると、毎年新しいテーマが現れそう。
     • 個々の研究として優れているが、統一化するためのモデルの洗練こそが本チャレンジの本質だと思うので、そこについてのアイデアがもう少しほしい。
     • 過去に関連技術の開発実績があり信頼できる。技術開発のインパクトも大きい。
     以上すべてニューチャレンジセッション(オーラル発表)にてのコメント。
   • 社会貢献の観点からの評価：
     • 被災支援への社会からの要望が高まっていることから、必要性が高い。既存のシステム研究が取り込まれている。
     • 有事の際に、実際に役立つことがよくわかった。
     • 実現できれば直接的に社会に貢献できる。
     • 学術的にはレベルの高い技術がチャレンジ内で研究されているが、このテーマでは実用化が大きな意味を持つと思うので、少し厳しめになってしまいました。
     • 実用化に向けた取り組みは今後の課題だが、社会的インパクトは大。
     • 災害時に限らず、平時から使われる動くものを災害時に短時間でサービス変更できるように→公知認知度上昇
     以上すべてニューチャレンジセッション(オーラル発表)にてのコメント。
   • 全体としての評価：
     • 通常の気象災害(たとえば三か月に一度)フィジビリティスタディするプランニングが重要な研究要素では?という質問。解答への所感：ちょっと勘違いされたがまあOK。
     • 重要な研究であり、がんばってほしい。
     以上インタラクティブセッションにてのコメント。
     • よく考えられた提案だと思いました。ぜひ使えるシステムにしてください。
     • 社会貢献インパクトは大きいと考える。AI技術の活用につながると考えられる。
     • 実績や方向性なども納得できるもので、ぜひチャレンジとしてスタートしていただければと思いました。
     • ゴールが明確。社会的重要性も大きい。
     • 技術だけでなく、社会的に認知されるとかデータ公開のルールとか、社会の仕組みづくりも必要になりそう。
     • 非常に優れてはいるけれど、オーソドックスな巨大プロジェクトという感じで、チャレンジという意味ではどうかと思う。人も資金も十分な気がします。
     • 開発者がサービスを作りやすいので、二次利用しやすい形の生データを利用できる環境があればよいと思います。また、その形式についても議論してほしいです。また、デジタル機器が苦手な人向けにも同じ情報を提供することを考慮されているという点がよいと思いました。チャレンジ終了時には本当に災害が起こった時にきちんと動く仕組み、プラットホームとして形になっていることを期待しております。
     • 他分野とも連携する課題・テーマ
     • 大きい台風が来たタイミングで制限時間つきサービス開発コンペティションを開くとか?
     以上ニューチャレンジセッション(オーラル発表)にてのコメント。
4. 「ソーシャルビジネスの為のプロジェクトマネジメント (ニューチャレンジ)」へのコメント
   • 学術観点からの評価：
     • 学術的に有効な十分な量のデータが取れる。
     • メカニズムの考察などがほしい。
     • AI研究との関連性が少し薄い。フィールドワークとして検証は面白いが、ゴールが見えにくい。学術的にふわふわしている気がする。
     • 活動は意欲的で面白いが、学術としての立ち位置とその貢献が不明確。
     • どのように比較して評価するのか。またどのようにフィードバックするのか。対象を除けば一般的なコミュニケーションの問題では?
     • 社会学としては面白いが、汎用性が不明。
     • ありがちな分析、方法論と思われる。真の問題とアプローチがあっていない。
     • ×シュミレーション○シミュレーション
     • 目的の共有がチーム内でなされているかの指標、ファシリテータのモデム化。 何もない状態からチーム参加者が入ってくるプロセス。正統的周辺参加理論とか?あたりに焦点をあててほしい。
     • データの解釈がいい加減。
     • 有用性の高さはわかるが、学術的なターゲットは曖昧であるように思う。
     • 5年間で何をするのかが分かりにくい。
     • 取組期間と成功率の相関グラフが非常に有用な結果。
     • デバイス別にしたメールでのコミュニケーションという限定はかかっているがその定量化とそれによってどのような効果が得られるのかが分かりそうでよいと思った。
     • データ解析が主である印象をうける。結果は学術的に貢献あると判断する。それらを生かす方法論が見えてこない。
     • プロジェクトマネージメントの専門家と共同研究を行うなどの工夫が必要では。
     • 学術的な対象ではない。
     以上すべてニューチャレンジセッション(オーラル発表)にてのコメント。
   • 社会貢献の観点からの評価：
     • 非営利活動は社会的に注目されており、インパクトは大きい。
     • 参加者の自由意思によって、○○○○かれるプロジェクトというところが興味深い
     • フィールドワーク=実用化となるため、実用性は高いがその分研究としてはダメなのではないか?
     • 社会的には明らかに貢献はするだろうが、それがAIという視点から貢献が見えるのかわからない。
     • 単にログを残すだけでなく、システムの変更、ユーザ支援などの技術的ビジョンが不足している。
     • 分析的な方向の研究で、応用型創発型ではない。
     • プロジェクトの目的・範囲が限定されており、達成された場合の社会インパクトは小さい。
     • 学生ボランティア活動のプラットフォームとしてとどまってしまいそうな印象を受ける。社会問題として取り組みにくい課題の壁を破る部分を尖らせればもっとインパクトが強いのではないか。
     • 十分な実績があり、実用化には問題ない。
     • 期間とコミュニケーションが成功にどのような影響を及ぼすかの取り組みが興味深い。
     • 特に社会貢献はないように思う。
     • データ解析するためのデータ収集の方向性は実用化できている。解析結果のフィードバック方法がまだ見えない。
     以上すべてニューチャレンジセッション(オーラル発表)にてのコメント。
   • 全体としての評価：
     • 他の研究者を巻き込んだプロジェクトとして発展させてもらいたい。
     • 面白いと思う。しかし、チャレンジなのか?という疑問が払しょくできなかった。やればできる以上の内容が見えない。特に研究として。
     以上インタラクティブセッションにてのコメント。
     • 発想が面白い。すでに実績を上げている点、発表者の熱意がある点から十分評価できる。
     • 具体的にどのようなツアーが実施されたか写真などを用いて発表されているとわかりやすかったかと思います。細かいですが、(若い方なので仕方ないかもしれませんが)グラフの縦軸横軸のラベルを示すなど基本的な発表資料の作成方法は指導者がちゃんと教えるべきだと思います。内容がわからないこともあり、全体的に判断しかねるのですが、やめなくてもよい。様子をみて来年も継続していただいてよいと思います。
     • 研究としてのチャレンジにはならなさそうだが実用性は高いため、今までのチャレンジとは違うところが見せられるなら、サバイバルもありかもしれない。
     • 目的が不明。
     • このチャレンジが本当にAI学会でやるべきなのかがわからない。また指導者の手伝いを集めているだけのようにも見え、参加者がチャレンジする要素が不明。
     • 個人の研究としては面白いが、ほかのグループを巻き込むように見えない。
     • 絶対NGとは思わないが、ソーシャルビジネスに乗っかっているような印象を受けたため公益性のある学会として適当でない。リディラバという団体の活動実績を調べてみたが、社会問題に真に向き合っているとは思えない。
     • 学会として取り組む意義が不明。目的(ゴール)が明確でない(あいまいすぎる)。研究成果としても期待できないように思う。
     • コミュニケーションの定量化にインセンティブ設計。興味あります。
     • 社会貢献という面で評価できる。新しい研究分野を作り出すつもりで頑張ってほしい。
     • コミュニケーションの分析が目的でソーシャルビジネスは箱であると言っていたが、ソーシャルビジネスの支援システムを目的にした方が新しいチャレンジと感じる。コミュニケーション以外にも、いろいろ指標や課題があるのでは。そっちだったらやる意味があると思う。
     • プレゼンは素晴らしかった。ただ現時点では個人テーマの色彩が強く、5年間かけてどのようなコミュニティ(研究者)とどのようなチャレンジをして何を残したいのかという点は弱いと感じました。熱意に期待したいです。
     • 今回の話としてはチャレンジの目標が不明瞭。社会的貢献面が強く、主にしているような印象を受ける。
     • 提案しようとする指標は何らかの意味でプロジェクトの活性化状態を示すものとなる可能性を持つが、プロジェクトを活性化させるために何をすべきかを教えるものではない。プロジェクトマネージメントに貢献する可能性は少ない。
     以上ニューチャレンジセッション(オーラル発表)にてのコメント。