GPT-3

• Mixed reality, 메타버스

• 결국 오피스를 없애는 방향이 되어야 개선이 된다. 심리적 장벽이 사라진다

• 4 파트

• 기술적

• 응용

• 윤리

• 뭘 해야하나?

  • GPT3 무엇인가?

• 다음 말 맞추기

• 범용성

• 모델이 엄청 크다

• but 여전히 실망적이다. 애니악인가?

  • Generalization <- test set
  • Why few-shot learning 잘 됨?
  • Prompt engineering?
  • 데이터가 늘어날때마다 loss? 175B parameter 뭐하느냐? 두가지. entangle. disentangle 되어있지 않음. loss 떨어지다가 rule 배우는부분 멈추고 단어를 배우니까 속도가 줄어야하는데 그렇지 않아서 실망이다. 하지만 재밌다.
  • 메모리와 룰. 파라미터는 섞여 있다. 교수님 만족하려면 네트워크가 분리되어야하나? 궁극적으로?

• 분리되면 안되는데 learning 하면 분리될텐데.

• learning 최대한 loss 빨리 떨어지고 멈춰야 underlying component를 배웠다고 하지 않느냐.

• 층이 많은데 어떤 층은 어떤 걸 배우고 다른 걸 배우고 기대할 수 있겠다.

• residual connection <- 다 섞여서 할 것이다. 굳이 GPT3가 따라서 할지 않겠지만 겉으로 보았을 때 분석해볼 수는 있겠다. 분리가 잘 되어있어보이지는 않는다.

  • learning objective, pretraining task 너무 쉬워서가 아닌가?

• 175B은 사람의 1/10인데도 실망스럽다면, 배우는 objective가 쉬워서 knowledge가 못 뽑아내지 않는가?

• 쉬운 것 같기는 데도 shannon, next character generation 연구되어있는데 쉽지 않다. 쉽다기보다는 next word prediction. 각 word, log space average. 여러 솔루션이 있는 것이다. 어떤 모델은 initialization이 특이하니까 corpus의 절반만 minimize, ambiguity. 어떤 방향의 솔루션을 prefer, bias 줄 수 있는지.

  • MT? translational objective?

• next word prediction. language model

• machine translation. task. 닮은 꼴이 있다.

• SMT

  • Data size, Model size?

• 현재 쓰는 뉴럴넷은 무조건 작다

• 뉴럴넷은 non-parametric

• data memory 하고 regularize <- SGD <- implicit하게 norm minimize

• 데이터가 사이즈가 어떻게 되든 NN budget 안에서 가장 큰걸 만드는게 맞다

• 무조건 모델은 커야한다. 데이터와 상관없이.

  • 모델이 커야하는 이유?

• lottery ticket : capacity 큰 모델을 학습하면 sub model 하나가 잘 된다.

• 굉장히 큰 hypothesis 공간 안에 액기스가 있다. 어떻게 찾을지는 모르겠지만.이라는 관점

• 스케일이 크면 lottery ticket이 여러개인가? pruning해도 성능? GPT3도 pruning 하고 있지 않을까? Open AI가 상용화하면서 줄이는 노력을 할 것이다.

  • 응용 관점에서 보면 윤킴.

• Generative model이기 때문에 고민이 된다. 비즈니스적으로 의미하는 바가 크다. 서비스에 응용하는 것이 맞나? 이러한 massive model로 할 수 있는 일이 따로 있지 않을까? 연구에서는 극한을 보는 게 맞다. 서비스에 응용하려면 성능, scalability, throughput, 등. GPT4가 나온다고 하면 구글에서 나온 10배 큰 모델도 나올 수 있겠지만 좀 더 효율적인, 아니면 같은 파라미터라고 versatile, 혹은 maintain. 어떻게 업데이트할 것인가? 어떻게 learn 해야하지? 등등 서비스 관점에서 필요하다. 빙산의 일각이다. 빙산이 웬만한 빙산같지는 않다.

  • AGI? GPT3이 AGI 연결되지 않을까?

• 전문가들은 AGI의 10%로 보더라.

• Language model -> AGI ok but ROI

• AGI? 정의 명확하게. 하지만 거꾸로 2020년에서는 xx 이정도 intelligent

• general intelligence? 완전히 안드로메다 혹은 현실적인 것이지만 나름의 의미가 있다.

  • system의 지능은 어떻게 measure?
  • loss 수렴하지 않음. 끝까지 안 떨어짐. 거대한 모델이 underfitting 가능성?

• loss pattern상 underfitting?

• 룰셋이 finite하다는 것은 language가 아니라 모든 문제에서 데이터가 늘어날 대마다 풀 수 없다? 코어로 데이터셋 invariant한 regularity를 배우고, 데이터셋이 늘어날때마다 노이즈 빼고 핵심만 capture해야함. 두가지가 나눠진다면 learning loss가 phase가 2개. 빨리 많이 떨어질 떄는 두개 동시에 배움. 데이터 size invariant한 경우 learning 끝나니까 남은 부분 learning 하니까 천천히 내려감. 지금은 log log scale에서 linear하기 때문에 그렇게 되지 않지 않을까. 하지만 loss로 알 수 없다. GPT 정도 스케일이라면 optimization, minimum? overfit하니까 그런걸 떠나서 맞는 방향은 ::online learning::이 맞을 것이다. 데이터셋 많아서 stream이다. distribution 정해지지 않는다고 하면 overfitting, underfitting 자체가 어렵다.

  • GPT 단점?

• 세상을 이해했느냐? 빨강색을 이해했느냐?

  • 모델에서 서비스로 갈때까지 갈 일이 많다.

• 실시간으로 고객들에게 serving 보다는 지금까지 여러 가지 정보들을 배치?

• 175B을 어떻게 실시간으로 서비스할 것인가?

• 3-4월 컨퍼런스.

• 작년 여름 가을에서 우리의 미래가 될 것인가 최고

  • SKT : open innovation
  • 카카오 : 대중성.
  • specific & business model이 명확할 때.
  • 데이터 상 문제도 있지만 알고리즘

• University of washington

• average loss

  • OpenAI는 사용처에게 모든 책임.
  • 생태계를 키워야하지만 무리가 되지 않는 선에서 윤리를 따져야한다.
  • 이루다 : 의미있는 실패
  • 기술이 자랄 수 있는 room을 주지 않고 규제가 나오면 안된다. 하지만 완전히 자유도가 있는 상태에서 규제를 두지 않는다면 큰 문제가 나올 것이다. 둘다 balance 상황에서 파이를 키워야한다. 더 많은 공론화가 되어야한다. 기술적인 문제도 있지만 기술적이지 않은 문제도 있고 함께 풀어나가야 한다.
  • Dall-e : multimodal generative model

• multimodal로의 확장은 당연하지만 언어가 더 쉽다. 이미지는 어떻게 할지의 문제.

• 사이즈 비교해도 문제가 생김

• adversarial attack when GPT2 하면 학습 데이터가 나오더라.

• memorization이 문제다. 학습할 때 memorization 막을 것인가에 대한 연구

  • 수집된 데이터에서 개인정보를 지우는 노력
  • 챗봇
  • 모델이 유저에게 주는 영향에 대해 아주 큰 노력을 해야 한다.

• 말이라는 것은 디지털 정보가 온다. 받아들이는 것도 언어의 정보다.

• 말의 파워가 상당하다.

  • fairness evaluation metrics?
  • 무엇을 할 것인가?

• 파급력이 크기 때문에 사회적 책임이 깊어진다. 대기업, 스케일 큰 일. 여러가지 서비스를 할 수 있지만 이러한 클럽하우스 플랫폼에서 기술자, 전문직도 있지만 그렇지 않은 경우에도 이런 내용을 GPT-3, 응용분야, 가능성, 명과 암을 어떻게 더 많이 전파하고 공유하고 서로 배우고 교육하고 깨닫고 함께 공유할 수 있는 장이 있을까? 어떻게 하면 GPT-3 뿐 아니라 기계학습과 같은 기술이 우리 사회에 미치는 영향을 기술자 말이 아니라 전도할 수 있을까?

• NLP, AI ethics. Responsible use and development of AI. 국제적 organization. 한국이 리더십이 있다.

• 피터틸 : 크립토는 liber**, AI는 communist. decentralize vs centralize. 많은 데이터, 많은 자원을 필요로 하는 시대로 가는 것이 아닌가. 업스테이지, 학교 같이 작은 규모는 GPT-3에 무얼 해야하는가?라는 고민. GPT-3로 우리 같은 스타트업이 단기간에 비즈니스는 어렵고 많이 efficiency 연구. 효율적인 연구. external knowledge와 같이 intensive, retrieval 혼용 등 여러 방법 살펴보는 중. 꼭 대기업 뿐 아니라 다양한 곳에서 어떻게 할 것인가?

  • 채용!

• 업스테이지 : AI-centered business vs business-centered AI

• 카카오 브레인 : bold project

• SKT : scale 큰 걸 보는 편. 스타트업 출신. 스마트. street smart, book smart. AI하는 smart는 AI가 사회에 미칠 영향을 이해해야하고 항상 고민해야 한다. end-to-end & QA까지 의식이 투철한 사람을 찾고 있다. ‘룬샷’ TF : GPT-3를 포함한 ::generalized pretraining, general-purpose LM::

  • Follow-up & DM

• 네이버 : global, SME (중소), 기술 / 기술 중심에는 AI가 있고 중소에게 도움이 되어 글로벌 경쟁력을 가져서 동반 성장하는 목표. 데이터 주권, AI 주권. 강력한 도구를 주는 것이 필요하다. 글로벌 기업에게 맡기면 기술 종식. 글로벌 성장 역량 성장력이 작아짐. 기술 플랫폼 기업으로서 함께 동반 성장을 위해서 연구 투자, 도구화해서 함께 성장하는 노력을 하고 있다. AI 주권! 인프라, 데이터, 세계 수준 연구자 AI 주권.

  • 언어는 AI의 꽃이다
  • 테크 에반젤리스트