생성형 AI
개념과 중요성
생성형 AI(Generative AI)는 기존 데이터를 소비하고 이를 통해 학습한 다음 그와 유사한 속성을 가진 데이터를 생성합니다. 예를 들면, 텍스트, 이미지, 비디오, 오디오 및 컴퓨터 코드를 생성할 수 있습니다.
세상을 바꾸고 있는 생성형 AI
전통적인 AI 및 머신 러닝 시스템은 데이터 속에서 패턴을 인식하여 예측을 수행합니다. 하지만 생성형 인공지능은 예측에 그치지 않고 새로운 데이터를 주된 출력으로서 생성합니다. 챗봇이나 ChatGPT 등의 툴은 사용자의 아이디어를 설명하는 몇 마디만 제시하면 단 몇 초 만에 장문의 연설문을 생성해줄 수 있을 정도입니다. 텍스트 기반 설명만으로 음악, 미술 또는 이미지를 생성하기도 합니다. 또는 생성형 AI 툴과 대화를 주고 받는 방식의 프롬프팅을 통해 비즈니스 전략을 개발하는 것도 가능합니다. Bloomberg Intelligence에 따르면, 생성형 AI는 2032년경에는 1조 3,000억 달러 규모의 시장이 될 것으로 예상됩니다.
생성형 AI의 실제 적용 사례
생성형 AI는 우리의 미래를 때로는 상상을 뛰어넘는 방식으로 바꾸어놓을 것으로 기대됩니다. 이 동영상에서는 대규모 언어 모델(LLM), 합성 데이터 생성 및 디지털 트윈 등과 관련하여 여러 산업 분야와 비즈니스 사례에서 생성형 AI가 활용되는 실제 사례들을 접하실 수 있습니다. 또한 편향, 환각, 데이터 프라이버시 및 보안을 포함하여 생성형 AI 기술의 채택 시 고려해야 하는 중요한 사항과 위험성에 대해서도 알아봅니다.
생성형 AI의 진화
최근 폭발적인 관심을 받고는 있지만 생성형 AI가 새로운 기술은 아니며, AI, 머신 러닝 및 통계 방법론 등 이미 수십 년 동안 사용되어 온 기술을 기반으로 구축된 기능입니다. 생성형 AI의 기원은 더 거슬러 올라갈 수도 있지만, 여기서는 1966년의 ELIZA라는 이름의 챗봇으로 이야기를 시작하겠습니다.
ELIZA의 설계자 조셉 바이젠바움(Joseph Weizenbaum)은 환자가 말하는 내용을 미러링하는 로저리안(Rogerian) 심리치료 방식을 모방하여 ELIZA를 설계했습니다. ELIZA는 이러한 기능을 구현하기 위해 패턴 매칭을 사용했습니다. ELIZA는 기계가 사람처럼 지적인 행동이 가능한지를 테스트하는 모방 게임인 튜링 테스트(Turing Test)를 시도한 최초의 프로그램 중 하나였습니다.
비정형 텍스트 데이터를 분석하는 방법이 발전함에 따라 1970년대부터 1990년대까지는 시맨틱 네트워크, 온톨로지, 순환 신경망 등이 성장세를 보였습니다. 2000년부터 2015년까지는 언어 모델링과 단어 임베더가 개선되고 구글 번역이 등장했습니다.
2014년에는 이안 굿펠로우(Ian Goodfellow)와 동료들이 생성형 적대적 네트워크(GAN)를 개발하여 두 신경망이 서로 경쟁하도록 설정했습니다. 한 네트워크는 데이터를 생성했고 다른 네트워크는 생성된 데이터가 진짜인지 가짜인지 확인을 시도했습니다. 2017년에는 트랜스포머 모델이 소개되었습니다. 트랜스포머 모델은 예측 시 입력의 여러 부분에서 중요성을 따져볼 수 있는 셀프 어텐션 메커니즘을 포함했습니다. BERT와 ELMo와 같은 아키텍처도 인기를 끌었습니다.
그 다음에는 사전 훈련된 생성형 트랜스포머(GPT) 모델이 등장했으며, 2018년에는 첫 번째 GPT 모델이 출시되었습니다. 이 생성형 모델은 인터넷의 대량 텍스트 데이터로 훈련되었으며, 1억 1,700만 개 수준의 파라미터에서 트레이닝 데이터와 유사한 문체와 내용의 텍스트를 생성해낼 수 있게 되었습니다. 2023년의 대규모 언어 GPT 모델은 사법 고시와 같이 어려운 시험도 능숙하게 풀어낼 수 있는 수준으로까지 발전했습니다.
생성형 AI의 세계적 동향
누가 생성형 AI를 사용할까요?
생성형 AI는 전 세계적으로 광범위한 산업과 비즈니스 부문에 걸쳐 사용되고 있습니다. 이 기술이 점차 일반화되면서 다양한 형태의 전문화된 AI 비서가 속속 개발되자, 개인과 기업과 정부 기관 사이에서는 기술의 발전에 대해 큰 기대감과 두려움을 동시에 느끼게 되었습니다. 오늘날 산업 분야에서 생성형 AI를 어떻게 활용하고 있는지 알아보세요.
생성형 AI의 결과는 핵심적으로 우리 인간을 반영합니다. ... 소비자는 대화형 AI와 상호작용할 때마다 끊임없이 비판적 사고를 적용하고 자동화 편향(기술적 시스템이 사람보다 더 정확하고 사실일 가능성이 높다는 믿음)을 지양해야 합니다.Reggie Townsend VP of the SAS Data Ethics Practice
생성형 AI를 비즈니스에 사용할 경우 윤리적 고려사항
파괴적 혁신 기술인 생성형 AI가 가져온 영향은 전기나 인쇄기의 발명과 같은 사건에 비견되고는 합니다. 대화형 AI 모델은 생산성을 획기적으로 높일 수 있는 잠재력 덕분에 인기가 급상승하기는 했지만, AI 윤리, 데이터 프라이버시, 정확성, 환각 및 편향에 대한 우려도 함께 커지고 있습니다. 생성형 AI가 인간의 지적 능력을 갈수록 정교하게 모방함에 따라 AI에 대한 불안감이 촉발되었으며, 이는 AI를 어떻게 사용하고 통제해야 하는지에 대한 논쟁을 불러일으켰습니다.
사람 중심, 포괄성, 그리고 책임성을 제공하는 신뢰할 수 있는 AI 시스템의 도입이 왜 중요한지 알아보세요.
생성형 AI 작동 원리
일각에 널리 알려진 생성형 AI 기술의 예로는 텍스트 입력을 통해 이미지를 만드는 이미지 생성 시스템인 DALL-E, ChatGPT(텍스트 생성 시스템), 구글 바드 챗봇, 마이크로소프트의 AI 기반 Bing 검색 엔진 등이 있습니다. 또 다른 예로는 생성형 AI를 사용하여 시스템이나 비즈니스 프로세스를 디지털로 재현하거나 심지어 개인의 현재 및 미래 건강 상태를 동적으로 반영하는 것이 있습니다.
생성 기술에는 크게 세 가지 유형인 디지털 트윈, 대형 언어 모델, 합성 데이터 생성이 있습니다.
생성형 AI를 가능하게 하고 지원하기 위해 다음과 같이 다른 많은 기술이 사용되고 있습니다.
알고리즘은 특정 작업을 수행하거나 문제를 해결하기 위해 설계된 단계별 명령 목록입니다. 대개의 컴퓨터 프로그램은 컴퓨터가 이해할 수 있는 방식으로 작성된 일련의 알고리즘입니다. 알고리즘이 인간이 내리는 의사결정을 보완하거나 대체하기 시작하는 시점에서 우리는 알고리즘의 공정성을 살펴보고 알고리즘 개발 방식의 투명성을 요구해야 합니다.
인공 지능을 통해 기계는 경험으로부터 학습하고 새로운 정보에 적응하며 사람이 하는 작업을 수행할 수 있습니다. AI는 종종 딥 러닝과 NLP에 크게 의존합니다. 이러한 기술을 통해 컴퓨터는 대량의 데이터를 처리하고 패턴을 인식하여 특정 작업을 수행하도록 훈련될 수 있습니다.
데이터 관리는 신뢰할 수 있고 윤리적이며 편향이 없는 결과를 보장하는 데 있어 필수적입니다. 방대한 데이터 세트로 훈련을 진행한 후 콘텐츠를 파악하고 생성하는 용도로 활용되는 AI, 머신 러닝 작업 및 LLM에게는 이 부분이 특히 중요합니다.
딥 러닝은 머신 러닝의 하위 분류로서, 음성 인식, 이미지 식별, 예측과 같은 작업을 사람처럼 수행할 수 있도록 컴퓨터를 훈련시키는 것을 말합니다. 딥 러닝은 데이터를 사용하여 분류, 인식, 감지 및 설명하는 기능을 향상시킵니다. 생성적 적대 신경망(GAN) 및 변이형 오토인코더(VAE)와 같은 딥 러닝 모델은 대규모 데이터셋을 기반으로 훈련되어 고품질 데이터를 생성할 수 있습니다. StyleGAN 및 트랜스포머 모델과 같은 새로운 기술은 사실적인 비디오, 이미지, 텍스트 및 음성을 생성하는 능력이 뛰어납니다.
머신 러닝은 분석 모델을 자동으로 구축하는 데이터 분석 방법입니다. 기계에게 학습 방법을 훈련시키는 인공 지능의 한 분야입니다. 머신 러닝은 사람의 개입을 최소화한 상태에서 시스템이 데이터로부터 학습하고 패턴을 식별하며 의사결정을 내릴 수 있다는 아이디어를 기반으로 합니다.
자연어 처리(NLP) 는 컴퓨터가 사람의 언어를 이해하고 해석하고 조작할 수 있도록 돕는 인공 지능의 한 분야입니다. NLP는 사람의 의사소통과 컴퓨터의 이해력 사이에 존재하는 괴리를 해소하기 위해 컴퓨터 과학과 전산 언어학을 비롯한 많은 분야에 뿌리를 두고 있습니다.
신경망은 상호 연결된 노드를 갖춘 컴퓨팅 시스템으로서 사람 뇌의 뉴런과 매우 유사하게 작동합니다. 신경망은 알고리즘을 사용하여 원 데이터에 숨겨진 패턴과 상관성을 인식하고, 이를 군집화하고 분류하며, 시간이 지남에 따라 계속해서 학습을 통해 개선됩니다.
강화 학습이란 알고리즘이 시행착오를 통해 어떤 행동이 가장 큰 보상을 산출하는지 찾아내는 방법입니다. 머신 러닝 모델의 하나인 강화 학습은 점진적으로 최고의(또는 가장 효과 있는) 정책이나 목표를 학습해 나가며 피드백 메커니즘에 따른 보상 신호에 의존합니다. 이 방법은 로봇 공학, 게임, 내비게이션에 종종 사용됩니다.
생성형 AI 모델의 구현
모델을 실행하려면 엄청난 양의 컴퓨팅 능력과 데이터가 필요하므로 큰 비용이 듭니다. 따라서 생성형 AI 모델을 구현하기에 앞서 ROI를 신중하게 평가하고, 기반 모델과 도메인 모델 등 다양한 유형의 모델들 간에 어떤 차이점이 있는지도 고려해봐야 합니다. 또한 다음과 같은 윤리적 고려사항도 빼놓을 수 없습니다. 데이터는 어디에서 왔고, 데이터의 소유자는 누구인가? 신뢰할 만한가? 해당 모델이 어떻게 만들어졌는지 정확하게 이해하고 있는가?
모델 미세 조정 5단계
생성형 AI는 다른 수많은 AI 알고리즘과 기술에 의존하여 작동하며, 학습 당시 투입되었던 데이터와 유사한 확률적 분포 및 특성을 가지는 데이터를 만들어 냅니다. 처음부터 새로 구축하지 않고도, 다음 5단계를 따라 기반이 되는 사전 훈련된 대규모 언어 모델을 미세 조정하는 것이 가능합니다.
1. 작업 정의
적합하게 사전 훈련된 대규모 언어 모델을 선택한 다음, 어떤 작업을 위한 미세 조정을 할 것인지 명확히 정의합니다. 텍스트 분류(즉, 엔티티 인식), 텍스트 생성 등이 이러한 작업 목적에 해당합니다.
2. 데이터 준비
라벨링, 포맷팅 및 토큰화와 같은 작업을 위해 작업별 데이터를 수집하고 사전 처리합니다. 분석, 검증 및 가능한 경우 테스트용 데이터셋을 만듭니다.
3. 미세 조정
훈련용 데이터세트를 사용하여 모델의 가중치를 업데이트하면서 조정된 모델을 해당 작업에 맞는 데이터로 훈련시킵니다. 과적합을 방지하기 위해 검증 데이터세트로 모델의 성능을 모니터링합니다.
4. 평가 및 테스트
훈련 후에는 미세 조정된 모델을 검증 데이터세트를 통해 평가하고, 결과에 따라 필요한 조정을 수행합니다. 조정이 마무리되면 테스트 세트에서 모델을 테스트하여 편향되지 않은 성능 추정치를 얻습니다.
5. 배포
모델의 성능에 확신이 들면, 해당 작업 목적에 맞게 배포합니다. 이러한 배포에는 모델을 AI 애플리케이션, 웹사이트 또는 타 플랫폼으로 통합하는 과정이 포함될 수 있습니다.
