미국 대기업이 클라우드 AI에만 기대지 않고 자체 AI 서버를 갖추기 시작했습니다. 조선일보는 10월 12일 기사에서 이런 흐름을 전했습니다. 이유는 고객 기밀을 지키는 것과 늘어나는 AI 사용 비용을 따져 보는 것이라고 합니다.

이 글의 내용은 모두 조선일보 보도에 따른 것입니다. 딜로이트와 삼성SDS 조사 수치도 기사가 인용한 내용이며 원 보고서는 확인되지 않았습니다.

어떤 기업이 자체 AI 서버를 들였나

조선일보 기사에 따르면 미국 2위 로펌인 래섬앤드왓킨스가 대표 사례입니다. 이 로펌은 엔비디아 H200 등 GPU가 들어간 AI 서버를 샀습니다. 서버를 둘 보안 데이터센터 공간도 빌렸습니다.

기사는 미국 대형 로펌이 자체 AI 하드웨어까지 확보한 것은 처음이라고 전했습니다. 이 서버에서는 엔비디아의 오픈웨이트 모델 네모트론 3를 업무에 맞게 조정해 쓸 계획입니다. 고객 문서를 분석하는 용도입니다.

방산과 제약 쪽 사례도 소개됐습니다.

  • 록히드마틴: 자체 DGX 슈퍼팟에서 매주 10억 토큰 이상을 처리합니다.
  • 일라이릴리: 올해 2월 블랙웰 울트라 GPU 1016개를 단 AI 슈퍼컴퓨터 릴리팟을 가동했습니다.
  • 로슈: 자체 시설과 클라우드를 합쳐 GPU를 3500개 이상 운용합니다.

록히드마틴은 군사와 위성 같은 민감 데이터를 내부 시설에서 다룹니다. 일시적으로 연산이 몰리거나 기밀이 아닌 데이터는 클라우드를 씁니다. 릴리는 자사 신약 연구 데이터로 유전체를 분석하고 수십억 개 화합물 후보를 탐색합니다.

왜 클라우드 AI만으로는 부족한가

첫째 이유는 기밀입니다. 래섬앤드왓킨스는 챗GPT와 클로드 같은 외부 AI도 함께 씁니다. 다만 외부 클라우드에 맡기기 어려운 고객 기밀은 자체 서버에서 처리합니다.

기사는 이 로펌의 르네 멘도사 최고정보책임자(CIO)의 취지를 이렇게 전했습니다. 외부에 맡길 수 없는 민감 데이터가 있다는 것입니다. 앞으로 AI 비용이 크게 늘 수 있어 선택의 폭을 넓히고 싶었다고도 했습니다.

둘째 이유는 비용입니다. 기사는 AI가 일부 직원의 시험용 도구에서 전사 상시 업무 인프라로 바뀌었다고 설명합니다. 사용량이 일정 선을 넘으면 토큰 종량 과금보다 자체 운영이 유리한지 따지게 된다는 논리입니다.

토큰과 AI 에이전트는 비용에 어떤 영향을 주나

토큰은 AI가 글을 읽고 쓸 때 쓰는 처리 단위입니다. 외부 AI 서비스는 보통 이 토큰 사용량에 따라 요금을 매깁니다.

기사에 따르면 챗봇에 질문하는 것과 AI 에이전트를 돌리는 것은 다릅니다. 에이전트는 업무 하나를 처리하려고 모델을 반복해서 호출합니다. 그래서 토큰 사용이 급증합니다.

기사가 인용한 딜로이트 조사는 연매출 5억달러 이상 미국 기업 515곳을 대상으로 했습니다.

  • 64%가 자체 AI 팩토리를 제한적으로 또는 본격적으로 구축 중입니다.
  • 2028년에는 이 비율이 88%가 될 것으로 예상됐습니다.
  • 67%는 이미 월 10억 토큰 이상을 씁니다.
  • 2028년에는 61%가 월 100억 토큰 이상을 쓸 것으로 내다봤습니다.

여기서 AI 팩토리는 기업이 직접 갖춘 AI용 서버와 모델 환경을 가리킨다고 이 글은 풀어 썼습니다. 기사의 정의가 아닙니다.

오픈웨이트 모델이 무엇이고 왜 흐름을 바꿨나

오픈웨이트는 모델의 가중치를 공개한 방식입니다. 기업이 모델을 내려받아 자기 데이터로 조정해 쓸 수 있습니다.

기사는 이런 모델의 성능이 올라 자체 구축이 쉬워졌다고 설명합니다. 과거에는 챗GPT나 클로드의 핵심 모델을 기업 데이터센터로 가져와 운영할 수 없었습니다. 선택지가 외부 서비스뿐이었던 셈입니다.

모든 기업이 자체 서버를 갖출 수 있나

그렇지 않습니다.

기사는 GPU 말고도 데이터센터와 전력, 네트워크, 인력이 필요하다고 짚었습니다. 그래서 대기업부터 퍼질 가능성이 크다고 전망했습니다. 사용량이 많고 민감 데이터가 있어 초기 투자를 감당할 수 있기 때문입니다.

국내 조사 결과도 같은 방향입니다. 기사가 인용한 삼성SDS 조사는 생성 AI를 도입했거나 검토 중인 기업 관계자 670명이 대상이었습니다.

기업 규모 자체 AI 솔루션 구축 선호
대기업 43%
중견기업 27%
중소기업·스타트업 절반이 구축 대신 직원 외부 AI 구독료 지원 선호

자체 구축이 실제로 더 싼지는 사용량 기준선에 달렸습니다. 기사에는 구체적인 손익분기 수치가 없습니다. 그래서 어느 정도 쓰면 유리한지는 이 보도만으로 알 수 없습니다.

반도체와 클라우드 시장에는 어떤 변화가 예상되나

기사는 시장 전망도 함께 실었습니다. 지금까지 최신 GPU와 HBM의 큰손은 마이크로소프트와 아마존 같은 초대형 클라우드 업체였습니다. 기업 자체 서버가 늘면 서버용 D램과 기업용 SSD 수요처가 넓어질 수 있다는 내용입니다.

반대로 클라우드 업체는 일부 AI 연산을 고객 서버에 내줄 가능성이 있습니다. 익명의 테크 업계 관계자는 앞으로 AI 경쟁력이 모델 선택에서만 갈리지 않는다고 말했습니다. GPU와 인력을 갖추고 AI를 얼마나 많이, 싸고 안전하게 돌리느냐가 중요해진다는 취지입니다.

우리 회사는 무엇을 따져 봐야 하나

기사에는 일반 독자를 위한 행동 안내가 따로 없습니다. 다만 보도에 나온 판단 기준은 정리해 볼 수 있습니다.

  • 외부 클라우드에 맡기기 어려운 기밀 데이터가 있는가.
  • 한 달 토큰 사용량이 종량 과금을 계속 감당할 수준인가.
  • 서버와 전력, 인력에 드는 초기 비용을 감당할 수 있는가.

해당하지 않는다면 외부 AI 구독을 지원하는 쪽이 현실적일 수 있습니다. 이 판단은 기사가 소개한 조사 흐름에 근거한 해석이며 개별 기업의 결론은 아닙니다.