EvoChip은 AltiCore 소프트웨어 정의 플랫폼을 통해 저비용, GPU 없는 AI 추론을 목표로 합니다.
EvoChip는 미국 캘리포니아주 디나포인트에 위치한 스타트업으로, AI 추론의 전력 요구사항과 비용을 획기적으로 감소시키도록 설계된 소프트웨어 생태계인 AltiCore를 출시하고 있습니다. 이 기술은 기존의 신경망 접근 방식과는 근본적으로 다르며, 대신 표준 프로세서의 논리 게이트를 사용하여 AI 계산을 처리합니다. 회사의 최고 기술 책임자이자 공동 창립자인 Patrick O'Neill에 따르면, AltiCore는 AI를 위해 특별히 설계되었으며 범용 컴퓨팅 인프라를 AI에 적응시키는 것이 아닙니다.
핵심 혁신은 복잡한 산술 연산을 논리 중심의 연산자 체인으로 대체합니다. O'Neill은 "우리는 그 스택을 처음부터 다시 발명하고 싶었습니다"라고 말했습니다. "우리는 AI를 위해 특별히 설계된 것을 원했으며, 범용 컴퓨터를 AI에 적용하는 것이 아니라, 그 과정에서 전력, 컴퓨팅, 메모리, 처리 시간 등 모든 요구사항을 줄이는 효율적인 방법을 개발했습니다."
O'Neill은 이 기술이 마이크로컨트롤러 유닛(MCU)에서 대규모 서버 설치까지 확장된다고 설명합니다. 복잡한 가중치 행렬, 계수 및 상호 연결에 의존하며 디지털 컴퓨팅에 적합하지 않은 기존 신경망과 달리, AltiCore는 디지털 논리의 기본 구성 요소를 사용합니다. "우리는 기초로 돌아갔습니다"라고 그는 말했습니다. "우리는 디지털 논리의 기본 구성 요소(논리 게이트, AND와 OR, NAND와 NOR, 비트 시프트 및 디지털 실리콘 트랜지스터 기판에서 매우 빠르고 가벼운 기본 요소)를 사용했습니다."
효율성 향상은 상당합니다. 기존의 수학적 접근 방식에는 수만 개의 논리 게이트가 필요하지만, AltiCore는 단 6개만 사용합니다. 일반적으로 고성능 서버가 필요한 AI 모델이 이제 STMicroelectronics MPU와 같은 소형 칩에서 수정 없이 실행될 수 있습니다.
EvoChip과 캘리포니아주 라구나힐스에 위치한 Dell Technologies Titanium 파트너인 Sidepath는 신용 채무 불이행 예측을 위해 UC Irvine 데이터셋을 사용하여 Dell 서버 및 노트북 하드웨어에서 이 기술을 테스트했습니다. 신경망 비교에는 추론당 8,323개의 산술 연산이 필요했지만, AltiCore는 116개만 필요했습니다. 두 번째 테스트에서는 21,000개의 연산 대 110개였습니다. Dell 노트북에서 테스트했을 때, AltiCore는 신경망이 $60,000 서버 랙에서 달성한 것보다 더 높은 초당 추론을 달성했습니다. 결과가 제3자 감사를 거치지는 않았지만, O'Neill은 재현 가능하며 독립적인 검증을 위해 상세한 테스트 보고서를 사용할 수 있다고 지적했습니다.
Sidepath 파트너인 Patrick Mulvee는 이 기술을 게임 체인저라고 불렀습니다. 새로운 Dell Pro Max 노트북 및 구형 모델, 그리고 가상 머신이 있는/없는 최신 Dell R670 서버에서의 테스트에서, "EvoChip 기술을 사용하여 실행했을 때 성능이 기하급수적으로 향상되고, 더 빠르고, 더 신속하며, 전력을 덜 소비합니다. 서버가 스테로이드를 맞은 것처럼 작동합니다"라고 입증했습니다. 중요하게도, 하드웨어 변경이 필요하지 않았으며 EvoChip 소프트웨어만 추가되었습니다.
이 기술은 광범위한 상업적 응용이 가능합니다. Sidepath의 솔루션 아키텍트인 Matt Musial은 AltiCore가 AI 채택의 진입 장벽을 크게 낮춘다고 강조했습니다. "이 기술은 $100,000 또는 백만 달러의 시작점이 필요하지 않기 때문에 이제 모든 종류의 것에 적용할 수 있습니다"라고 Musial은 말했습니다. 그는 기존의 접근 방식이 일반적으로 95% 프로젝트 실패율을 초래하는 반면, 이 기술은 표준 하드웨어에서 빠른 AI 평가를 가능하게 하며, 고객이 "노트북에서 시작할 수 있습니다. 훨씬 더 작은 초기 투자로 시작할 수 있으며, 그 후 어떤 모델이 작동하고 어떤 것이 필요한지 파악할 수 있습니다"라고 지적했습니다.
O'Neill은 이 기술이 아직 대규모 모델에 적용되지 않았음을 인정했습니다. 직접적인 시장 초점은 신경망이 전혀 맞지 않는 마이크로컨트롤러입니다. "궁극적으로 우리는 Nvidia GPU를 대체하고 싶습니다"라고 그는 말했습니다. "우리가 이것을 데스크톱의 $3,000 GPU보다 성능이 더 좋게 만들 수 있다면, 그것은 시장에서 실질적인 가치입니다." 잠재적 이점은 상당합니다. 만약 AltiCore를 실행하는 단일 서버가 레거시 알고리즘을 사용하는 27개 서버의 처리량과 일치할 수 있다면, 절감액은 전력, 냉각 및 인프라 비용에 걸쳐 복리로 나타납니다.
EvoChip은 문서화를 구축하고, 사용자 환경을 개선하며, 플랫폼 지원을 확장하면서 AltiCore를 일반 가용성 단계로 이동하고 있습니다. 시스템 공급업체와 협력하는 채널 파트너는 특히 서버 수 또는 전력 소비 감소가 고객 예산 및 운영 제약에 직접적으로 영향을 미치는 경우, 다양한 부가가치 기회를 찾을 것입니다.