2022년 전 세계 인공지능(AI) 시장 규모가 1,365억 5,000만 달러, 도입률이 35%에 달할 때 OpenAI가 ChatGPT를 처음 출시한 지 2년이 채 되지 않았다. 그 이후로 전 세계는 AI의 전례 없는 발전을 목격했으며, 산업 전반에 걸쳐 AI 도입이 계속 확대되면서 운영 패러다임을 변화시키고 혁신을 촉진하고 있다.
PwC 보고서에 따르면 2030년까지 전 세계 AI 시장 규모는 15.7조 달러에 이를 것으로 예상된다. 또한 가트너에 따르면 2026년까지 전 세계 AI 구현은 80%의 놀라운 증가율을 기록할 것이며, 이는 아시아 기업의 30% 이상이 운영 프레임워크에 AI를 통합할 것이며, 이는 디지털 전환에 대한 아시아 기업의 의지를 강조하는 수치이다.
그러나 다른 한편으로는 기술이 남용되거나 오용될 수 있는 잠재력으로 인해 AI가 세계 최고의 위험 중 하나로 두드러지게 등장하는 세계경제포럼 2024 글로벌 리스크 보고서가 나왔다. 이러한 AI 채택의 급증은 빠르고 유망하지만, 2024년 디지털 트러스트 전문가들이 집중해야 할 최우선 과제 중 하나로 최근 공유한 바와 같이, IT 리더들이 신중한 감독과 전략적 계획으로 능숙하게 헤쳐나가야 할 위험의 스펙트럼을 제시한다.
규제 준수 및 거버넌스
가트너는 2026년까지 전 세계 정부의 50%가 AI 규제와 정책을 도입할 것으로 전망하고 있다. 지배구조 측면에서 볼 때, AI 시스템에 대한 의존도가 증가함에 따라 인공지능에 대한 과도한 의존도가 발생할 위험이 있으며, 이는 중요한 인간의 감독 부재로 이어질 수 있다. 금융, 의료 등의 분야에서 인공지능의 통합이 광범위한 한국의 경우, 운영상의 취약성을 초래하는 과의존 사례가 있었다. 아시아에서 AI에 대한 규제 환경은 복잡하고 다양하며, 중국과 같은 국가들은 엄격한 인공지능 거버넌스 프레임워크를 도입하고 있다. 또한 유럽의회는 EU AI법을 통과시켰으며, IT 리더들은 이와 관련된 진전 사항을 모니터링하고 각 국가 및 조직에 미칠 수 있는 영향을 평가하기 시작해야 할 것이다. 예를 들어, 집행 방식과 어느 당국에 의해 집행되어야 하는지 아직 확인되지 않았지만, 조직은 보유한 위험 분류 및 각 요구 사항을 준수할 수 있는 잠재적 기한을 기준으로 AI 시스템의 범주에 대한 내부 평가를 시작해야 한다. 이러한 규정을 탐색하려면 준수에 대한 미묘한 이해와 접근 방식이 필요한데, 이는 부적합으로 인해 상당한 처벌과 평판 손상이 발생할 수 있기 때문이다.
ISACA의 생성형 AI 2023 펄스 설문조사 결과에 따르면 조사에 참여한 조직 4곳 중 1곳 이상은 AI 정책을 마련하지 않았지만 40% 이상이 직원들이 여전히 AI를 사용하고 있다고 답했는데, 이는 AI 시스템을 배포하는 조직뿐만 아니라 내부적으로도 적절한 거버넌스를 마련하는 데 있어 격차가 있음을 나타낸다. IT 리더는 책임감 있는 AI 관행이 조직 내에서 상황에 맞게 적용될 수 있도록 강력한 거버넌스 구조를 구축해야 한다.
또한 조직은 AI 배포가 현지 및 국제 법률을 준수하는지 확인해야 하지만, AI 규제 관점에서 보면 각기 다른 정부가 자체적인 정책을 수립할 가능성이 있으며, 그 결과 경쟁적인 규제의 그물망이 형성될 수 있다. 규제의 그물망이 어떻게 보일지는 여전히 다소 모호할 수 있지만, 일반적으로 조직, 커뮤니티 및 기관은 OECD의 원칙과 같은 전반적인 책임과 윤리에 기반한 가이드라인과 원칙을 바탕으로 대다수가 동의하는 자체적인 가이드라인과 원칙을 만들 수 있다. 따라서 조직은 신뢰할 수 있는 AI 시스템을 유지하는 데 필요한 잠재적인 격차와 개선 사항을 파악하기 위해 내부 AI 로드맵과 전략을 지속적으로 모니터링하고 통합하여 진출한 시장 전반의 규정 및 AI 프레임워크를 개발하는 데 자원을 투입해야 한다.
사이버 보안, 딥페이크 및 잘못된 정보
기술 발전과 함께, 기회와 위협이라는 동전의 양면이 항상 존재한다. 기회는 인공지능이 윤리적으로 그리고 책임감 있게 사용될 때 발생하는 반면, 그러한 시스템들이 오용되고 남용될 때 손실과 손상이 발생한다. 예를 들어, 의료 감지 기술의 돌파구와 더 나은 인간의 삶을 돕는 새로운 요소의 빠른 발견과 같은 인공지능으로부터의 좋은 결과가 성취될 수 있다. 그러나 악의적인 행위자들은 사이버 전쟁, 살인 로봇, 그리고 대량 허위 정보와 같은 해로운 목적을 위해 인공지능 기계를 이용할 수 있다.
딥페이크로부터 증가하는 위협인 Bad GPT와 FraudGPT는 AI 기반 솔루션을 통한 신원 확인에서 표현 공격 탐지(PAD)와 같은 단일 제어가 더 이상 충분하지 않은 기존의 기술 AI 가드레일을 재검토할 필요가 있다. 특히 의료 및 금융 서비스와 같은 중요하거나 민감한 산업에서 CISO와 기술 선도자들은 워터마킹, 주입 공격 탐지(IAD) 및 행동 분석과 같은 다른 매개변수로 여러 가드레일을 보완하는 것을 고려할 필요가 있다.
한편, 올해 50개 이상의 국가에서 투표를 실시함에 따라 소셜 네트워크가 주요 정보 출처인 곳에서 잘못된 정보와 가짜 뉴스가 확산될 위험이 높아졌다. 예를 들어, 고인이 된 인도네시아 대통령의 딥페이크 동영상을 통해 '부활'이라는 가짜 뉴스가 퍼졌지만 애니메이션으로 식별하기는 다소 쉬웠다. 또는 투자 사기를 홍보하는 싱가포르 지도자의 딥페이크 동영상도 마찬가지다. 그러나 OpenAI의 SORA 베타 버전이 출시되면 일반인이 딥페이크를 식별하기 어렵게 만드는 고품질의 AI 생성 콘텐츠(AIGC)가 등장할 가능성이 있다. AI가 유권자를 조작하기 위해 딥페이크를 생성하는 데 악용될 가능성이 있다. 소셜 네트워크에서 전파되는 딥페이크에 대한 인식과 교육을 강화해야 한다. 또한 플랫폼 제공업체는 피해가 발생한 후에야 커뮤니티 가이드라인이나 사후적인 개입에 의존하기보다는 잠재적인 AIGC를 사전에 제거하거나 검증할 수 있는 더 나은 보호 장치를 마련해야 한다.
데이터 개인 정보 보호 및 지적 보호
데이터는 AIGC를 생성하는 AI 모델에 공급하기 위해 이러한 데이터에 의존하는 고객 챗봇, 로보 어드바이저 및 의료 진단과 같은 AI 기반 시스템에서 매우 중요하다. 특히 개인 데이터가 AI 모델을 구축하는 데 있어 훈련 데이터로 어떻게 수집되고 사용될 수 있는지에 관한 한, AI 채택이 빠르게 진행되고 있는 아시아에서 데이터 개인 정보 보호는 가장 중요한 관심사로 부상하고 있다. 오늘날 대부분의 국가에서 데이터 보호 규정이 있지만, 기술력으로 유명한 싱가포르 및 한국과 같은 국가에서는 취약성으로 인해 AI 시스템이 악용되어 데이터 침해가 발생한 사례가 보고되었다.
IT 리더는 신뢰할 수 있는 AI를 구축하기 위해 OECD의 엄격한 데이터 보호 규정에 따른 개인정보 보호 원칙과 싱가포르의 개인정보 보호법(PDPA) 등 윤리적 AI 원칙을 준수하여 이러한 위험을 완화해야 한다. 기업들이 AI 전략을 수립할 때 고려해야 할 사항으로는 다음과 같은 것들이 있다:
- 데이터의 무결성과 정보 주체의 신원을 보호하기 위해 데이터를 익명화하고 암호화할 수 있을까?
- 데이터 유출 및 이상 징후에 대해 데이터 흐름 및 트랜잭션을 어떻게 모니터링하는가?
- 잘못된 표현, 실수 또는 생성된 AI 출력의 부정확성에 관한 정보 주체의 요청에 대한 프로세스는 무엇인가?
인재 부족 및 기술 격차
위에서 설명한 모든 위험은 AI 시스템 또는 AIGC가 사회, 개인 또는 조직에 미칠 수 있는 잠재적 혼란과 피해를 설명하는 것이므로, AI 시스템을 해당 시스템에 매우 익숙한 직원이 관리하는 것이 적절하다. ISACA의 생성형 AI 2023 펄스 여론조사에 따르면 응답자의 절반 이상(54%)이 AI 교육이 제공되지 않았다고 답했다. AI의 빠른 도입에도 불구하고 많은 아시아 국가에서는 숙련된 AI 전문가가 부족하여 효과적인 AI 솔루션의 개발과 배포를 방해할 수 있다. 예를 들어, 일본은 AI 인재 개발을 목표로 하는 정부 이니셔티브를 통해 이 문제를 적극적으로 해결해 왔다. 말레이시아에서는 자국민의 AI 기술에 대한 지식과 이해를 높이기 위해 무료로 제공되는 AI 교육 프로그램을 출시하여 목표를 설정했다. 조직은 AWS, 마이크로소프트 및 구글과 같은 서비스 제공자로부터 무료로 이용 가능한 AI 관련 훈련 과정과 함께 노동력 내에서 필수 기술을 배양하기 위한 훈련 및 개발 프로그램에 투자해야 한다.
IT 리더를 위한 주요 시사점
인공지능이 아시아의 비즈니스 환경을 계속 재정의함에 따라, IT 리더들은 성공적이고 안전한 인공지능 채택을 향해 그들의 조직을 운영하는 데 중요한 역할을 한다. 그 여정은 데이터 개인 정보 보호 문제부터 윤리적인 문제 그리고 규제 장애물을 탐색하는 것에 이르기까지, 도전들로 가득 차 있다. 그러나, 이러한 위험을 인정하고 해결함으로써, IT 리더들은 혁신과 경쟁력을 이끌어 내기 위해 인공지능의 잠재력을 최대한 활용할 수 있다. 다음은 IT 리더들이 취해야 할 세 가지 주요 고려 사항이다:
△ 신뢰할 수 있는 AI 시스템 구축을 위해 윤리적 AI 관행 우선: AI 규제 및 프레임워크 정책의 더 나은 조화와 표준화로 지역이 진전되기를 기다리는 동안 AI 시스템은 NIST 및 OECD의 모범 사례와 같이 윤리적이고 투명하며 편견이 없는 방식으로 개발되고 사용되어 이해 관계자 간의 신뢰를 증진해야 한다.
△ 교육 및 인재 양성에 투자: AIGC가 정교해지면서 실제 인물과 AIGC 프로그램을 구별하기 어려워지고 있으며, 이는 결국 사이버 범죄의 증가로 이어질 수 있다. 정교한 피싱 사기 및 사회 공학의 희생자가 되지 않도록 딥페이크 및 오보와 같은 잠재적 AIGC를 식별하는 방법을 대중에게 교육하는 교육 프로그램 및 자료를 구현할 필요성이 증가하고 있다. 기술 개발에 집중하고, 학술 기관과의 파트너십을 활용하고, 조직 내에서 지속적인 학습 문화를 조성하여 인재 격차를 해소한다.
△ 인공지능 배치에 대한 균형 잡힌 접근 방식을 채택: 인공지능이 제공하는 기회를 수용하는 동시에 잠재적인 과의존과 운영 위험으로부터 보호하면서 기술 의존과 인간의 판단 사이에 균형이 있는지 확인하기 위해 리더는 비판적인 관점을 유지할 필요가 있다. 인간 행동에 대한 의사소통과 이해는 인공지능 수수께끼를 푸는 데 중요한 요소이다. 강력한 통치 구조에 의해 뒷받침되는 민첩한 사고방식을 가지면서 아시아 국가 내의 다양한 문화와 다민족을 고려한다.
복잡한 AI 배치 환경을 탐색하는 데 있어 아시아의 IT 리더들은 AI 시스템이 가져올 변화가 방해가 될 수 있으므로 경계하고 적극적으로 대처해야 한다. 조직의 직원들은 AI 개발이 진화하고 격동하는 AI 규제 환경을 준수하도록 보장하면서 회사의 AI 로드맵에 부합해야 한다.
