05月24日(Wed) 17:50〜19:30 O会場(ウインクあいち-10F 1007会議室)
| 演題番号 | 2O4-2 |
|---|---|
| 題目 | 文脈を考慮したアテンションメカニズムによって計算量の削減 |
| 著者 | 朱 中元(東京大学) 中山 英樹(東京大学 情報理工学系研究科) |
| 時間 | 05月24日(Wed) 18:10〜18:30 |
| 概要 | ニューラル機械翻訳モデルにアテンションが重要な役割を果たしている。しかし、アテンションモデルの計算は全ての位置について行われるためで、計算複雑さを大幅に上昇した。本研究では、冗長なアテンション計算を削減できる新しいメカニズムを提案する。提案モデルは、位置に基づくペナルティを計算し、大きくペナルティされた位置に対するスコアの計算はスキップされる。実験で、計算を平均50％以上削減できることを確認した。 |
| 論文 | PDFファイル |