Author
{: height=”50%” width=”50%”}
{: height=”30%” width=”30%”}
- 저자:
- Wangchunshu Zhou, Ke Xu (Beihang University)
- Tao Ge, Furu Wei, Ming Zhou (Microsoft Research Asia)
Abstract
- 이전 연구들은 lexical resources (e.g. WordNet)으로 부터 타겟의 동의어를 찾아서 substitute candidates를 얻어서 context를 보고 랭킹하는 식의 연구였음
- 이런 연구들은 두가지 한계점이 있음
- 타겟 단어의 synonyms 사전에 없는 good substitute candidates를 찾아내지 못함
- substitution이 문장의 global context에 주는 영향을 고려하지 못함
- 이 문제를 해결하기 위해, end-to-end BERT-based lexical substitution approach를 제안함
- annotated data or manually curated resources 없이 만든 substitute candidates 제안하고 검증함
- target word’s embedding 에 dropout 적용해서 target word’s semantics and contexts for proposing substitute candidates를 고려할 수 있게함
- SOTA 찍음 (LS07, LS14 benchmark)
Introduction