생성형 AI
개념과 중요성
생성형 AI는 기존 데이터를 소비하고 이를 통해 학습한 다음 유사한 속성을 가진 데이터를 생성합니다. 예를 들면, 텍스트, 이미지, 오디오, 비디오 및 컴퓨터 코드를 생성할 수 있습니다.
생성형 AI의 진화
전통적인 AI 및 머신 러닝 시스템은 데이터 패턴을 인식하여 예측을 수행합니다. 하지만 생성형 AI는 예측을 넘어 1차적 결과물로서 새로운 데이터를 생성합니다. 챗봇(예: ChatGPT)에 아이디어를 설명하는 몇 마디만 제시하면 단 몇 초 만에 연설문 전체를 받게 되는 것을 떠올릴 수 있습니다. 텍스트 기반 설명만으로 음악, 미술 또는 이미지를 생성하기도 합니다. 또는 생성형 AI 도구로 대화를 주고 받는 "프롬프팅"을 사용하여 비즈니스 전략을 개발하는 것도 가능합니다.
이 모든 것은 어디서부터 시작되었을까요?
일반적인 견해와 달리 생성형 AI는 새로운 것이 아니며, AI, 머신 러닝 및 통계 방법 등 수십 년 동안 사용해 온 기술을 기반으로 구축되었습니다. 3가지 핵심 생성형 AI 기술로는 디지털 트윈, 대형 언어 모델, 합성 데이터 생성이 있습니다.
생성형 AI의 기원은 더 거슬러 올라갈 수도 있지만, 여기서는 1966년의 ELIZA라는 이름의 챗봇으로 이야기를 시작하겠습니다.
ELIZA의 설계자 조셉 바이젠바움(Joseph Weizenbaum)은 환자가 말하는 내용을 미러링하는 로저리안 심리치료 방식을 모방하여 ELIZA를 설계했습니다. ELIZA는 이러한 위업을 이루기 위해 패턴 매칭을 사용했습니다. ELIZA는 기계가 사람처럼 지적인 행동이 가능한지를 테스트 하는 모방 게임인 튜링 테스트를 시도한 최초의 프로그램 중 하나였습니다.
비정형 텍스트 데이터를 분석하는 방법이 발전함에 따라 1970년대부터 1990년대까지는 시맨틱 네트워크, 온톨로지, 순환 신경망 등이 성장세를 보였습니다. 2000년부터 2015년까지는 언어 모델링과 단어 임베더가 개선되고 구글 번역이 등장했습니다.
2014년에는 이안 굿펠로우(Ian Goodfellow)와 동료들이 생성형 적대적 네트워크(GAN)를 개발하여 두 신경망이 서로 경쟁하도록 설정했습니다. 한 네트워크는 데이터를 생성했고 다른 네트워크는 생성된 데이터가 진짜인지 가짜인지 확인을 시도했습니다. 2017년에는 트랜스포머 모델이 소개되었습니다. 트랜스포머 모델은 예측 시 입력의 여러 부분에서 중요성을 따져볼 수 있는 셀프 어텐션 메커니즘을 포함했습니다. BERT와 ELMo와 같은 아키텍처도 인기를 끌었습니다.
다음으로 사전 훈련된 생성형 트랜스포머(GPT) 모델이 등장했으며 2018년에는 첫 번째 GPT 모델이 출시되었습니다. GPT 모델은 인터넷의 대량 텍스트 데이터로 훈련되었습니다. 1억 1,700만 개의 파라미터로 트레이닝 데이터와 유사한 스타일과 콘텐츠의 텍스트를 생성할 수 있게 되었습니다. 2023년의 대형 언어 GPT 모델은 사법 고시와 같이 어려운 시험도 능숙하게 수행할 수 있는 수준으로까지 발전했습니다.
생성형 AI 기술의 급부상
획기적 혁신 기술인 생성형 AI의 영향은 전기 및 인쇄기와 같은 발명에 비교되곤 했습니다. ChatGPT와 같은 대화형 AI 모델은 생산성을 크게 높일 수 있는 잠재력으로 비즈니스 및 일반 사용자 사이에서 엄청난 인기를 얻었습니다. 동시에 데이터 프라이버시, AI 편향, 윤리 및 정확성에 대한 우려 또한 제기되었습니다. 전세계 생성형 AI 시장은 2030년까지 1,108억 달러 규모로 성장할 전망입니다.
생성형 AI의 세계적 동향
신뢰할 수 있는 AI 도입
소비자는 윤리적으로 책임감 있게 AI를 사용하는 조직을 더 신뢰합니다. 사람 중심, 포괄성, 그리고 책임성을 제공하는 신뢰할 수 있는 AI 시스템의 도입이 왜 중요한지 알아보세요.
생성형 AI의 이점과 리스크
생성형 AI의 작동 방식과 사용 전에 고려해야 할 사항에 대해 알아보고 싶으신가요? 기술 소개 내용과 함께 생성형 AI 도구를 채택하기 위한 프레임워크에 대해 알아보고 기술 채택 여부 및 방법을 고려해보세요.
교육 분야 AI 용도에 대해 알아보기
학생들은 콘텐츠 및 그래픽 생성, 코드 작성, 모바일 앱 구축과 문제 해결에 생성형 AI를 사용해 왔습니다. 생성형 AI는 흥미롭고 유용할 수 있지만, 오답이나 "착각"한 부분을 발견하고 수정하려면 사람의 개입이 필요합니다.
비현실적인 현실: 생성형 AI의 상태
생성된 이미지의 폭발적인 증가로 인해 곤경에 처하게 되는 비현실성이 발생할 수 있을까요? "딥페이크"라는 용어의 정확한 의미를 알아보고 딥페이크가 선한 용도로 사용될 수 있는 방법을 살펴보세요. 또한 새로운 기술이 생성된 미디어를 감지하고 식별하는 데 어떻게 도움이 될 수 있는지 알아보세요.
유명 AI 도구 및 사용 방법
뉴스를 보면 인기 있는 AI 도구가 많이 언급됩니다. 하지만 시장에는 생성형 AI 도구를 포함하여 1,500개 이상의 AI 도구가 있다는 사실을 알고 계셨나요?
오늘날 가장 널리 사용되는 도구와 그러한 도구가 산업 전반에 걸쳐 어떻게 적용되는지 확인해 보세요.
누가 생성형 AI를 사용할까요?
생성형 AI는 전 세계적으로 광범위한 산업과 비즈니스 부문에 걸쳐 사용되고 있습니다. 이 기술은 점차 일반화되면서 개인, 기업, 정부 기관 가운데서 큰 기대감과 두려움을 동시에 불러일으켰습니다. 현재 일부 산업에서 생성형 AI를 어떻게 사용하고 있는지 살펴보겠습니다.
생성형 AI의 결과는 핵심적으로 우리 인간을 반영합니다. ... 소비자는 대화형 AI와 상호작용할 때마다 끊임없이 비판적 사고를 적용하고 자동화 편향(기술적 시스템이 사람보다 더 정확하고 사실일 가능성이 높다는 믿음)을 지양해야 합니다. Reggie Townsend VP of the SAS Data Ethics Practice
생성형 AI 모델에 대한 고려사항
모델을 실행하려면 엄청난 양의 컴퓨팅 능력과 데이터가 필요하므로 큰 비용이 듭니다. 생성형 AI 모델을 구현하기 전에 ROI를 신중하게 평가해야 합니다. 또한 다음과 같은 윤리적 고려 사항도 빼놓을 수 없습니다. 데이터는 어디에서 왔고, 데이터의 소유자는 누구인가? 신뢰할 만한가? 모델이 어떻게 만들어졌는지 정확하게 이해하고 있는가?
생성형 AI 작동 원리
일각에 널리 알려진 생성형 AI 기술의 예로는 텍스트 입력을 통해 이미지를 만드는 이미지 생성 시스템인 DALL-E, ChatGPT(텍스트 생성 시스템), 구글 바드 챗봇, 마이크로소프트의 AI 기반 Bing 검색 엔진 등이 있습니다. 또 다른 예로는 생성형 AI를 사용하여 시스템이나 비즈니스 프로세스를 디지털로 재현하거나 심지어 개인의 현재 및 미래 건강 상태를 동적으로 반영하는 것이 있습니다.
생성 기술에는 크게 세 가지 유형인 디지털 트윈, 대형 언어 모델, 합성 데이터 생성이 있습니다.
디지털 트윈
디지털 트윈은 과거, 현실 세계, 합성 데이터 또는 시스템 피드백 루프로부터 구축된 실제 객체 또는 시스템의 가상 모델입니다. 디지털 트윈은 소프트웨어, 데이터, 그리고 생성형 및 비생성형 모델의 집합을 통해 구축되며, 이러한 모델은 엔터티, 프로세스, 시스템 또는 제품과 같은 물리적 시스템과 미러링 및 동기화됩니다. 디지털 트윈은 테스트, 최적화, 모니터링 또는 예측에 사용됩니다. 예를 들어, 공급망의 디지털 트윈은 기업이 부족 현상의 발생 시기를 예측하는 데 도움이 됩니다.
대형 언어 모델
대형 언어 모델(LLM)은 자연어의 복잡한 관계를 처리하고 식별하여 텍스트를 생성하고 사용자와 대화할 수 있는 강력한 기능의 머신 러닝 모델입니다. 이러한 모델은 딥 러닝 및 신경망과 같은 기술에 의존합니다. 자연어 처리 AI 모델로 정의되는 LLM은 대량의 텍스트 데이터에 기반하여 훈련됩니다. 결과 모델에는 최대 수십억 개의 파라미터가 있습니다. OpenAI의 ChatGPT가 널리 알려진 대형 언어 모델의 예입니다.
합성 데이터 생성
합성 데이터는 실제 세계에서 수집되는 것이 아니라 알고리즘이나 규칙에 의해 생성되는 것으로서, 온 디맨드, 셀프 서비스 또는 자동화된 데이터를 말합니다. 합성 데이터는 실제 데이터의 부족한 조건을 충족하기 위해 생성되는 경우가 많습니다. 훈련된 실제 세계 데이터와 동일한 통계적 속성, 확률, 패턴 및 특성을 나타냅니다. 많은 조직에서 합성 데이터를 사용하여 개인 정보를 보존하거나, 비용 및 시간 집약적인 데이터 준비 프로세스 또는 편향 문제 등 실제 데이터의 수집과 사용에 관련된 기타 문제를 극복합니다.
생성형 AI를 가능하게 하고 지원하기 위해 다음과 같이 다른 많은 기술이 사용되고 있습니다.
알고리즘은 특정 작업을 수행하거나 문제를 해결하기 위해 설계된 단계별 명령 목록입니다. 대개의 컴퓨터 프로그램은 컴퓨터가 이해할 수 있는 방식으로 작성된 일련의 알고리즘입니다. 알고리즘이 인간이 내리는 의사결정을 보완하거나 대체하기 시작하는 시점에서 우리는 알고리즘의 공정성을 살펴보고 알고리즘 개발 방식의 투명성을 요구해야 합니다.
인공 지능을 통해 기계는 경험으로부터 학습하고 새로운 정보에 적응하며 사람이 하는 작업을 수행할 수 있습니다. AI는 종종 딥 러닝과 NLP에 크게 의존합니다. 이러한 기술을 통해 컴퓨터는 대량의 데이터를 처리하고 패턴을 인식하여 특정 작업을 수행하도록 훈련될 수 있습니다.
딥 러닝은 음성 인식, 이미지 식별 및 예측과 같은 작업을 인간처럼 수행하도록 컴퓨터를 훈련시키는 머신 러닝의 일부분입니다. 딥 러닝은 데이터를 사용하여 분류, 인식, 감지 및 설명하는 기능을 향상시킵니다. GAN 및 변이형 오토인코더(VAE)와 같은 딥 러닝 모델은 대규모 데이터셋을 기반으로 훈련되어 고품질 데이터를 생성할 수 있습니다. StyleGAN 및 트랜스포머 모델과 같은 새로운 기술은 사실적인 비디오, 이미지, 텍스트 및 음성을 생성할 수 있습니다.
머신 러닝은 분석 모델을 자동으로 구축하는 데이터 분석 방법입니다. 기계에게 학습 방법을 훈련시키는 인공 지능의 한 분야입니다. 머신 러닝은 사람의 개입을 최소화한 상태에서 시스템이 데이터로부터 학습하고 패턴을 식별하며 의사결정을 내릴 수 있다는 아이디어를 기반으로 합니다.
자연어 처리(NLP) 는 컴퓨터가 사람의 언어를 이해하고 해석하고 조작할 수 있도록 돕는 인공 지능의 한 분야입니다. NLP는 사람의 의사소통과 컴퓨터의 이해력 사이에 존재하는 괴리를 해소하기 위해 컴퓨터 과학과 전산 언어학을 비롯한 많은 분야에 뿌리를 두고 있습니다.
신경망은 상호 연결된 노드를 갖춘 컴퓨팅 시스템으로서 사람 뇌의 뉴런과 매우 유사하게 작동합니다. 신경망은 알고리즘을 사용하여 원 데이터에 숨겨진 패턴과 상관성을 인식하고, 이를 군집화하고 분류하며, 시간이 지남에 따라 계속해서 학습을 통해 개선됩니다.
강화 학습이란 알고리즘이 시행착오를 통해 어떤 행동이 가장 큰 보상을 산출하는지 찾아내는 방법입니다. 머신 러닝 모델의 하나인 강화 학습은 점진적으로 최고의(또는 가장 효과 있는) 정책이나 목표를 학습해 나가며 피드백 메커니즘에 따른 보상 신호에 의존합니다. 이 방법은 로봇 공학, 게임, 내비게이션에 종종 사용됩니다.
모델 미세 조정 5단계
생성형 AI는 다른 수많은 AI 알고리즘과 기술에 의존하여, 스스로 학습하는 데이터와 유사한 확률적 분포 및 특성을 보유한 데이터를 만들어 냅니다. 처음부터 새로 구축하지 않고도, 다음 5단계를 따라 사전 훈련된 기초 대형 언어 모델을 미세 조정할 수 있습니다.
1. 작업 정의
적합하게 사전 훈련된 대형 언어 모델을 선택하여 미세 조정되는 작업을 명확히 정의합니다. 텍스트 분류(즉, 엔터티 인식), 텍스트 생성 등을 예로 들 수 있습니다.
2. 데이터 준비
라벨링, 포맷팅 및 토큰화와 같은 작업을 위해 작업별 데이터를 수집하고 사전 처리합니다. 분석, 검증 및 가능한 경우 테스트용 데이터셋을 만듭니다.
3. 미세 조정
분석용 데이터셋을 사용하여 모델의 가중치를 업데이트하면서 작업별 데이터에 대한 수정 모델을 훈련합니다. 평가용 집합에서 모델의 성능을 모니터링하여 과적합을 방지합니다.
4. 평가 및 테스트
훈련 후에는 평가용 집합에서 미세 조정된 모델을 평가하고 결과에 따라 필요한 조정을 수행합니다. 조정이 마무리되면 테스트 세트에서 모델을 테스트하여 비편향 성능 추정치를 얻을 수 있습니다.
5. 배포
모델의 성능에 확신이 들면 해당 용도에 따라 배포합니다. 배포에는 모델을 응용 프로그램, 웹 사이트 또는 다른 플랫폼으로 통합하는 방법이 포함될 수 있습니다.
합성 데이터란 무엇인가요?
데이터는 모델 구축에 필수적 요소이지만 고품질 데이터는 찾기가 어렵고, 편향적이거나 큰 비용이 들 수 있습니다. 이러한 문제를 해결하는 한 가지 방법은 (종종 알고리즘을 사용하여) 인공적으로 생성한 합성 데이터를 사용하는 것입니다. 실제 데이터셋을 사용하여 우수한 머신 러닝 모델을 구축하는 데 적합한 부가적 합성 데이터를 생성하면 희귀 질병 연구를 비롯한 거의 모든 목적에 부합하는 모델을 훈련할 수 있습니다.
AI 및 분석 플랫폼
SAS® Viya®만 있다면 정보가 아무리 많더라도 문제가 되지 않습니다. 10억 개의 데이터 포인트에서 핵심을 도출하는 가장 빠른 방법을 알아보세요.
권장 문서
-
기사
What are chatbots?Chatbots are a form of conversational AI designed to simplify human interaction with computers. Learn how chatbots are used in business and how they can be incorporated into analytics applications.
2024년 1월 8일 (월) -
기사
How to drill a better hole with analyticsFrom drilling holes to preventing health care fraud, learn about some of the new technologies SAS has patented with IoT and machine learning technologies.
2019년 1월 18일 (금) -
기사
GDPR and AI: Friends, foes or something in between?The GDPR may not be best buddies with artificial intelligence – but GDPR and AI aren't enemies, either. Kalliopi Spyridaki explains the tricky relationship between the two.
2018년 6월 12일 (화) -
기사
Machine learning, data science and AI meet IoTIn this video, Kirk Borne and Michele Null discuss the intersection of machine learning, AI and data science with IoT data and analytics.
2018년 2월 1일 (목)
