AI 업계 안에서 꽤 큰 논쟁이 시작됐습니다.
그동안 경쟁의 중심은 주로
“누가 더 똑똑한 AI를 먼저 만들 것인가?”
였습니다.
그런데 이제 질문이 달라지고 있습니다.
“AI가 너무 빨리 발전하고 있는 것 아닌가?”
“일부러 개발 속도를 늦춰야 할까?”
Anthropic의 다리오 아모데이 CEO는 최근 첨단 AI 개발 속도를 늦출 필요가 있다고 공개적으로 주장했습니다. 반면 Meta의 마크 저커버그 CEO는 각 AI 기업이 경쟁과 법적 책임 때문에 스스로 안전을 챙길 충분한 이유가 있다며, 업계 전체가 함께 속도를 늦추는 방안에는 다른 입장을 보였습니다.
단순히 두 CEO의 의견 차이라고 보기에는 파장이 작지 않습니다.
OpenAI와 xAI 등 다른 AI 기업들도 안전 문제에 대한 우려를 나타내면서, 지금 AI 산업에서는 ‘속도와 안전을 어디에서 맞출 것인가’가 중요한 질문으로 떠올랐습니다.
먼저 정확히 말하면 ‘AI 개발을 멈추자’는 이야기는 아니다
‘AI 감속론’이라고 하면
“AI 연구를 전부 중단하자는 건가?”
라고 생각하기 쉽습니다.
그 정도의 이야기는 아닙니다.
현재 논쟁의 중심은 최첨단 AI 모델의 능력이 너무 빠르게 커질 경우, 안전성을 확인할 시간을 확보하기 위해 개발 속도나 차세대 모델 출시 경쟁을 어느 정도 조정할 필요가 있느냐입니다.
Anthropic의 아모데이는 AI 기업들이 함께 속도를 늦출 수 있도록 경쟁법 문제를 풀어주는 방안까지 거론했습니다. 미국 연방거래위원회(FTC)는 이런 요구가 기존 대형 AI 기업의 경쟁을 보호하는 장벽으로 악용될 가능성이 없는지도 따져봐야 한다며 신중한 입장을 나타냈습니다.
즉 논쟁은 단순히
안전한 사람 vs 위험을 무시하는 사람
으로 나눌 수 있는 문제가 아닙니다.
안전 문제는 모두 인정하면서도 어떤 방식으로 대응할 것인가에서 의견이 갈리고 있습니다.
Anthropic은 왜 “속도를 늦추자”고 할까
가장 큰 이유는 AI 능력이 개발자의 예상보다 빠르게 발전하고 있다는 우려입니다.
과거의 AI는 사람이 질문하면 답을 주는 챗봇에 가까웠습니다.
하지만 최근 AI는
코드를 작성하고,
여러 단계의 업무를 스스로 처리하고,
웹사이트나 프로그램을 조작하고,
과학 연구를 지원하는
AI 에이전트 방향으로 빠르게 발전하고 있습니다.
Anthropic이 발표한 자체 사용 통계에서도 Claude의 사용 방식이 단순한 대화에서 벗어나 장시간 여러 단계를 수행하는 에이전트형 작업으로 빠르게 이동하고 있습니다.
AI가 일을 더 많이 할 수 있게 되는 것은 분명 장점입니다.
문제는 AI에게 맡길 수 있는 행동의 범위가 넓어질수록 잘못된 행동의 범위도 함께 넓어질 수 있다는 점입니다.
가장 걱정하는 것은 ‘스스로 더 강한 AI를 만드는 AI’
현재 논쟁에서 특히 많이 등장하는 개념이 있습니다.
재귀적 자기개선(Recursive Self-Improvement·RSI)입니다.
쉽게 말하면 AI가
자신의 프로그램을 분석하고,
더 좋은 코드를 만들고,
새로운 AI 연구를 돕고,
다음 세대 AI 개발을 다시 가속하는
순환구조입니다.
현재 완전히 스스로 자신을 업그레이드하는 AI가 실제로 존재한다고 확인된 것은 아닙니다.
그러나 AI가 이미 상당한 수준의 코드를 작성하고 AI 연구를 지원하고 있기 때문에 일부 연구자들은 어느 시점부터 개발 속도가 인간의 예상보다 훨씬 빨라질 가능성을 우려합니다. Reuters는 최근 AI 업계의 가장 큰 안전 논쟁 가운데 하나로 이 문제를 다뤘습니다.
“AI가 인류를 멸망시킬 수도 있다”는 말은 사실일까
여기서는 상당히 조심해야 합니다.
최근 일부 AI 연구자와 기업인은 고도화된 AI가 인간의 통제를 벗어날 경우 극단적으로는 인류에게 심각한 위험을 일으킬 가능성을 이야기하고 있습니다. OpenAI의 샘 올트먼도 이런 종류의 위험을 무시할 수 없다는 입장을 밝혔습니다.
그러나 이것은 확정된 미래 예측이 아닙니다.
“AI가 몇 년 안에 반드시 인간을 공격한다”는 과학적으로 확정된 결론이 나온 것도 아닙니다.
현재 논쟁은
위험이 발생할 확률이 매우 낮더라도 피해가 극단적으로 크다면 미리 대비해야 하는가
라는 위험관리 문제에 가깝습니다.
전문가들 사이에서도 위험의 크기와 발생 가능성에 대한 평가에는 상당한 차이가 있습니다.
그런데 저커버그는 왜 “계속 가자”는 쪽일까
Meta의 마크 저커버그는 조금 다른 논리를 폅니다.
그는 AI 기업이 위험한 시스템을 출시해 사고를 일으키면
고객을 잃고,
법적 책임을 지고,
기업 평판이 무너지고,
경쟁에서 밀릴 수 있기 때문에
기업 자체에도 안전한 AI를 만들 충분한 경제적 동기가 있다고 주장합니다.
따라서 모든 AI 기업이 약속을 맺고 동시에 개발 속도를 늦추기보다는 각 기업이 안전성 평가를 강화하면서 기술개발을 계속해야 한다는 쪽입니다.
Meta는 자사 AI 전략에서도 미국 AI 산업의 경쟁력을 떨어뜨릴 수 있는 방식의 과도한 감속에는 신중해야 한다고 강조하고 있습니다.
그렇다고 Meta가 ‘안전은 필요 없다’고 말하는 것은 아니다
여기서도 오해하면 안 됩니다.
저커버그가 AI 위험 자체를 부정하는 것은 아닙니다.
Meta 역시 모델을 출시하기 전에 안전성 평가를 실시하고 필요하다면 출시를 미룰 수 있다는 입장입니다. 저커버그는 실제로 Meta가 안전 문제 때문에 일부 AI 시스템 배포를 늦춘 사례를 언급했습니다.
따라서 현재 양쪽의 차이를 가장 단순하게 정리하면 이렇습니다.
Anthropic 쪽:
기술 발전 속도가 너무 빨라지고 있으므로 업계 전체가 일정한 안전장치를 두고 속도를 조절할 필요가 있다.
Meta 쪽:
위험은 관리해야 하지만 산업 전체의 개발 속도를 공동으로 늦추기보다는 각 기업이 책임을 지고 안전하게 경쟁하는 편이 낫다.
둘 다 ‘안전이 중요하다’고 말하지만 안전을 확보하는 방법이 다릅니다.
OpenAI는 어느 쪽일까
OpenAI도 최근에는 안전 문제에 훨씬 강한 목소리를 내고 있습니다.
Reuters에 따르면 OpenAI의 샘 올트먼은 첨단 AI의 극단적 위험을 심각하게 다룰 필요가 있다는 입장을 밝혔고, Anthropic 등 다른 AI 기업과 안전 문제를 공동으로 논의하고 있습니다.
흥미로운 점은 기업들이 제품과 고객을 놓고는 치열하게 경쟁하지만 AI 안전에서는 서로 협력하는 움직임도 나타나고 있다는 것입니다.
OpenAI, Anthropic, Google DeepMind 등이 AI 안전 문제를 두고 협의하고 있다는 보도도 나왔습니다. 다만 Reuters는 해당 협력의 일부 세부내용을 독자적으로 확인하지 못했다고 밝혔습니다.
왜 갑자기 이런 논쟁이 커졌을까
AI 위험 이야기는 오래전부터 있었습니다.
그런데 최근 분위기가 달라진 이유는 AI가 단순히 말을 잘하는 챗봇에서 실제 행동을 수행하는 에이전트로 바뀌고 있기 때문입니다.
예전에는 AI가 잘못된 답을 하면 사람이 읽고 무시할 수 있었습니다.
하지만 AI가 직접
코드를 실행하고,
파일을 수정하고,
온라인 서비스를 이용하고,
다른 AI를 호출하고,
여러 시간 동안 일을 수행한다면
실수 하나가 실제 행동으로 이어질 수 있습니다.
따라서 AI 안전의 질문도 달라집니다.
과거에는
“AI가 틀린 답을 할까?”
가 중요했다면,
앞으로는
“AI가 틀린 판단으로 실제 행동을 하면 어떻게 막을까?”
가 더 중요해지는 것입니다.
이미 AI 악용 사례도 나오고 있다
위험 논쟁이 단순한 상상에서만 나온 것도 아닙니다.
최근 Anthropic은 Claude를 생물학 연구나 사이버 공격 등에 악용하려 한 사례를 발견해 계정을 차단하고 안전장치를 강화했다고 밝혔습니다.
이것은 AI가 스스로 범죄를 저질렀다는 뜻은 아닙니다.
사람이 AI를 위험한 목적으로 이용하려 했다는 것입니다.
하지만 AI 능력이 강해질수록 악의적인 사람이 활용할 수 있는 범위 역시 커질 수 있다는 사실은 보여줍니다.
그래서 AI 기업들이
사용자가 AI를 악용하는 위험과 함께
AI 자체가 예상하지 못한 행동을 하는 위험
두 가지를 동시에 연구하고 있습니다.
그런데 모두가 속도를 늦추면 해결될까
여기서 현실적인 문제가 등장합니다.
AI는 미국 기업 몇 곳만 개발하는 기술이 아닙니다.
미국, 중국, 유럽을 비롯해 수많은 국가와 기업이 경쟁하고 있습니다.
한 국가의 기업들만 개발을 늦췄는데 다른 국가가 계속 개발한다면 기술 주도권을 잃을 수 있다는 우려가 나옵니다.
Meta가 AI 감속론에 신중한 가장 큰 이유 가운데 하나도 글로벌 경쟁입니다.
이 때문에 AI 안전 논쟁은 기술 문제에서 끝나지 않습니다.
경제, 국가 경쟁력, 반도체, 데이터센터, 전력, 투자 문제까지 연결됩니다.
엔비디아에게도 중요한 문제다
AI 개발 속도가 줄어들면 가장 먼저 영향을 받는 산업 가운데 하나가 AI 반도체와 데이터센터입니다.
지금 전 세계 빅테크 기업들은 수많은 GPU와 데이터센터를 구축하기 위해 막대한 돈을 투자하고 있습니다.
새로운 AI 모델이 계속 커질 것이라는 예상이 이런 투자의 중요한 배경입니다.
따라서 첨단 AI 개발 속도가 실제로 느려진다면
GPU,
데이터센터,
전력설비,
AI 서버
수요 전망에도 영향을 줄 수 있습니다.
실제로 AI 감속 논쟁이 커지자 기술주 투자자들도 이를 새로운 위험요인으로 보기 시작했습니다.
기업들이 정말 스스로 멈출 수 있을까
저는 이 질문이 이번 논쟁에서 가장 흥미롭습니다.
기업 하나가
“우리 AI가 너무 강력해질 수 있으니 6개월 쉬겠습니다.”
라고 결정했다고 가정해보겠습니다.
그 사이 경쟁회사가 더 강한 AI를 출시하면 고객과 개발자를 빼앗길 수 있습니다.
그래서 모든 기업이 위험을 알고 있어도 누구도 먼저 멈추기 어려운 상황이 만들어질 수 있습니다.
경제학에서 흔히 볼 수 있는 경쟁의 딜레마와 비슷합니다.
이 때문에 감속론자들은 한 회사의 자율적인 결정만으로는 부족하고 기업 간 공통 기준이나 정부의 안전규칙이 필요하다고 주장합니다.
반대로 반대쪽에서는 이런 공동규칙이 오히려 기존 대기업의 시장지배력을 강화할 수 있다고 지적합니다. FTC가 Anthropic의 경쟁법 예외 제안에 신중한 이유도 여기에 있습니다.
결국 ‘빠르게 개발할까, 안전하게 개발할까’의 문제가 아니다
두 가지를 반대말처럼 보는 것도 정확하지 않습니다.
현실적으로 AI 기업들이 원하는 것은
빠르게 발전하면서도 사고가 나지 않는 것
입니다.
문제는 아직 누구도
“여기까지는 안전하고 여기부터는 위험하다”
는 정확한 선을 모른다는 점입니다.
자동차에는 충돌시험이 있습니다.
의약품에는 임상시험이 있습니다.
비행기에는 수많은 안전 인증 절차가 있습니다.
하지만 최첨단 AI에는 아직 전 세계적으로 통일된 안전시험 기준이 없습니다.
모델마다 평가방법도 다르고, 새로운 능력이 언제 나타날지도 완벽하게 예측하기 어렵습니다.
그래서 앞으로 AI 산업에서 매우 중요한 분야 가운데 하나가 ‘AI 안전성 평가’ 자체가 될 가능성이 큽니다.
우리에게는 무슨 의미가 있을까
멀리 떨어진 미국 빅테크 CEO들의 논쟁처럼 보이지만 실제로는 우리 생활과도 연결됩니다.
AI가 더 강력해지면
업무 자동화,
프로그래밍,
의료,
교육,
콘텐츠 제작,
검색
등 우리가 사용하는 서비스가 빠르게 달라질 수 있습니다.
반대로 안전규제가 크게 강화되면 새로운 AI 기능이 출시되는 속도가 느려질 수도 있습니다.
기업들이 어떤 방향을 선택하느냐에 따라 우리가 사용하는 ChatGPT, Claude, Gemini, Meta AI 같은 서비스의 기능과 사용범위도 달라질 수 있습니다.
지금 AI 업계가 마주한 진짜 질문
몇 년 전만 해도 AI 업계의 질문은 비교적 간단했습니다.
“AI를 얼마나 더 똑똑하게 만들 수 있을까?”
이제 질문이 하나 더 생겼습니다.
“더 똑똑하게 만들 수 있다고 해서 계속 빠르게 만들어도 되는가?”
Anthropic은 조금 천천히 가면서 안전성을 확인하자고 말합니다.
Meta는 안전을 지키되 경쟁 자체를 늦춰서는 안 된다는 입장입니다.
OpenAI를 비롯한 다른 회사들도 안전 문제를 공동으로 논의하기 시작했습니다.
누가 맞는지는 아직 결정되지 않았습니다.
오히려 지금 가장 중요한 사실은 AI를 만드는 사람들 내부에서도 기술 발전 속도가 새로운 논쟁거리가 됐다는 것입니다.
AI가 아직 멀리 있는 미래기술이라면 이런 논쟁이 벌어지지 않았을 것입니다.
이제는 AI의 성능 경쟁만큼이나
누가 더 강한 AI를 만드는가
뿐 아니라
누가 그 AI를 안전하게 통제할 수 있는가
가 중요한 경쟁이 되고 있습니다.
그리고 앞으로 몇 년 동안 AI 산업의 방향을 결정하는 핵심 질문도 아마 이것이 될 것 같습니다.
참고자료
Reuters — Meta’s Zuckerberg says AI labs have enough incentive to build safely
저커버그가 AI 업계 전체의 공동 감속보다 각 기업의 안전책과 경쟁을 유지하는 방식을 강조한 기사입니다.
Reuters 기사 보기
Reuters — Tech stocks slide on AI slowdown talks
Anthropic 다리오 아모데이의 AI 개발 감속 주장과 그에 따른 시장 반응을 다룹니다.
Reuters 기사 보기
Meta — The Future is for Everyone
Meta가 공식적으로 밝힌 AI·슈퍼인텔리전스 개발 방향과 안전에 대한 입장입니다.
Meta 공식 자료 보기
답글 남기기