In수

Music GIF

Foundation Model - 2024년11월17일


Foundation Model

정의

  • 대규모 데이터세트를 기반으로 훈련된 파운데이션 모델(FM)은 데이터 사이언티스트가 기계 학습(ML)에 접근하는 방식을 변화시킨 대규모 딥 러닝 신경망.

  • 데이터 사이언티스트는 처음부터 인공 지능(AI)을 개발하지 않고 파운데이션 모델을 출발점으로 삼아 새로운 애플리케이션을 더 빠르고 비용 효율적으로 지원하는 ML 모델을 개발합니다.

  • FM이라는 용어는 연구자들이 광범위한 일반화된 데이터와 레이블이 지정되지 않은 데이터에 대해 훈련되고 언어 이해, 텍스트 및 이미지 생성, 자연어 대화와 같은 다양한 일반 작업을 수행할 수 있는 ML 모델을 설명하기 위해 만들어졌습니다.

독특한 점

적응성
일반적으로 감정을 포착하기 위한 텍스트 분석, 이미지 분류, 트렌드 예측과 같은 특정 작업을 수행하는 기존의 ML 모델과는 다른
블로그 게시물 작성, 이미지 생성, 수학 문제 해결, 대화 참여, 문서 기반 질문 등 여러 영역에 걸쳐 다양한 작업을 수행할 수 있다.

중요한 이유

현재 FM을 처음부터 개발하는 데 수백만 달러의 비용이 들지만 장기적으로는 유용하다.
데이터 사이언티스트는 고유한 ML모델을 처음부터 훈련시키는 것보다 사전 훈련된 FM을 사용하여 새로운 ML 애플리케이션을 개발하는 것이 더 빠르고 저렴하다.

어떻게 작용하는가?

GAN, 트랜스포머, 변량 인코더 등 복잡한 신경망을 기반으로 한다.
FM모델은 자체 지도 학습을 사용하여 입력 데이터에서 레이블을 생성한다.
즉, 레이블이 지정된 훈련 데이터 세트로 모델을 가르치거나 훈련시킨 사람은 아무도 없다.

무엇을 할 수 있는가?

  1. 자연어 처리
  2. 시각적 이해
  3. 코드 생성
  4. 인간 중심의 참여
  5. 음성을 텍스트로 변환

EX

  • BERT
  • GPT
  • Amazon Titan
  • AI21 Jurassic
  • Claude
  • Cohere
  • Stable Diffusion
  • BLOOM
  • Hugging Face

도전과제

  • 도전 과제
    1. 인프라 요구 사항
    2. 이해력 부족 : 프롬프트의 문맥을 이해하는 데 어려움을 겪는다.
    3. 신뢰할 수 없는 답변 : 특정 주제에 대한 질문에 대한 답변은 신뢰할 수 없으며 때로는 부적절하거나 유해하거나 틀릴 수 있다.

참고 사이트