A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More

Author

  • 저자:
    • Iddo Drori1,a,b, Sunny Trana, Roman Wangb, Newman Chengb, Kevin Liua, Leonard Tangc, Elizabeth Kea, Nikhil Singha, Taylor L. Pattic, Jayson Lynchd, Avi Shporera, Nakul Vermab, Eugene Wub, and Gilbert Strang(아니 그 유명한 길버트 스트랭..)a
    • aMIT; bColumbia University; cHarvard University; dUniversity of Waterloo

느낀점

  • large scale 모델이 생각보다 할줄아는게 많다는걸 알게됨.. 코드로 파인튜닝하면 수학문제 푸는 코드도 만드는구나 (그런 코드가 깃헙에 있었겠지만..!)

Abstract

  • program synthesis을 통해 PLM & code에 finetune된 모델(Codex Transformer model)이 수학문제를 풀수있음을 논함
  • university-level Mathematics course questions을 생성하는 연구(?)

Introduction

image

  • PLM: text, Finetuning with code (from OpenAI)
  • novel techniques to automatically rephrase problems so neural networks can synthesize correct executable programs
  • Main Contribution:
    • 특별한 파인튜닝없이도 6개의 MIT 수학코스와 1개의 컬럼비아 대학 코스를 푸는 뉴럴넷을 보임 (table 1)
      image
    • 아웃풋은 an executable program임
    • 채점도 가능하고, 새로운 문제를 만들기도함 (깃헙의 날리지를 다 이런식으로 흡수하면 이런 놀라운 일도 하는 뉴럴넷이 되는건가)
  • Adding Context
    • Topic
    • Library (like sympy, streamplot, ….)
    • Definition Context
      image

Conclusion

  • Codex가 대학수준의 문제를 program synthesis통해 풀고, 채점하고, 생성할 수 있음을 보임
  • 단순 PLM은 안된다

A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More

https://eagle705.github.io/A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More/

Author

Joosung Yoon

Posted on

2022-01-10

Updated on

2022-08-30

Licensed under

댓글