Как един аналогов процесор може да революционизира Edge AI

Няколко компании, от IBM до RAIN Neuromorphic, виждат потенциала, но Mythic е първата на пазара.

Алберто Ромеро, анализатор на Cambrian-AI, допринесе за тази статия.

Mythic е компания за аналогови AI процесори, замислена да преодолее нарастващите ограничения на цифровите процесори. Основан от Майк Хенри и Дейв Фик и базиран в Тексас, Остин и Редууд Сити, Калифорния, Mythic има за цел да разреши техническите и физически затруднения, които ограничават настоящите процесори чрез използването на аналогови изчисления в свят, доминиран от цифрови технологии. Mythic иска да докаже, че противно на общоприетото схващане, аналогът не е реликва от миналото, а обещание за бъдещето.

Два основни проблема възпрепятстват темпото на развитие на цифровия хардуер: Краят на закона на Мур и архитектурата на Фон Нойман. В продължение на 60 години ние се радваме на непрекъснато нарастващ мощен хардуер, както е предсказано от Гордън Мур през 1965 г., но докато се доближаваме до минималния теоретичен размер на транзисторите, неговият добре използван закон изглежда е към своя край. Друг добре известен проблем е необходимостта в архитектурата на Von Neumann да се преместват данни от паметта към процесора и обратно, за да се направят изчисленията. Този подход все повече се заменя от подходи compute-in-memory (CIM) или compute-near-memory, които значително намаляват честотната лента на паметта и латентността, като същевременно увеличават производителността.

Завръщането на аналоговите изчисления?

Mythic твърди, че е изградил уникално, променящо парадигмата решение, което обещава да се справи с ограниченията на цифровите технологии, като същевременно предоставя подобрени спецификации в сравнение с най-добрите в класа цифрови решения: аналогова изчислителна машина (ACE). В исторически план аналоговите компютри бяха заменени от цифрови поради намалената цена и размер на последните и техния характер с общо предназначение. Настоящият пейзаж на AI обаче е доминиран от дълбоки невронни мрежи (DNN), които не изискват изключителна прецизност и, което е по-важно, по-голямата част от изчислителната маса преминава в една единствена операция: умножение на матрици. Перфектната възможност за аналогови изчисления.

Освен това Mythic използва предимствата на CIM и архитектурата на потока от данни, за да получи впечатляващи ранни резултати. Те са довели CIM до крайност, като изчислят директно в клетките на флаш паметта. Техните аналогови матрични процесори приемат входовете като напрежение, теглата се съхраняват като съпротивление, а изходът е резултантният ток. В допълнение, дизайнът на потока от данни поддържа тези процеси да работят паралелно, което позволява изключително бързи и ефективни изчисления, като същевременно поддържа висока производителност. Умна комбинация от аналогово изчисление, CIM и архитектура на потока от данни определя Mythic ACE, основната отличителна технология на компанията.

ACE на Mythic отговаря на изискванията за крайни изводи с изкуствен интелект

Технологията на Mythic обещава висока производителност при много ниска мощност, ултра ниска латентност, ниска цена и малък форм фактор. Основният елемент е техният аналогов матричен процесор (AMP), който включва масив от плочки, всяка от които съдържа ACE, допълнен от цифрови елементи: SRAM, векторна SIMD единица, NoC рутер и 32-битов RISC-V нано процесор. Иновативният дизайн на ACE елиминира необходимостта от DDR DRAM, намалявайки латентността, разходите и консумацията на енергия. AMP чиповете могат да бъдат мащабирани, осигурявайки поддръжка за големи или множество модели. Техният първи продукт, едночиповият M1076 AMP (76 AMP плочки) може да обработва много приложения за крайни точки и може да бъде мащабиран до 4-AMP или дори 16-AMP на една PCI Express карта, подходяща за висока производителност на ниво периферен сървър използване.

Хардуерът е допълнен със софтуерен стек, който осигурява безпроблемен конвейер, преминаващ от графиката (ONNX и PyTorch) до готов за AMP пакет чрез процес на оптимизация (включително квантуване към аналогов INT8) и компилация. Платформата на Mythic също така поддържа библиотека от готови за работа DNN, включително откриване/класификация на обекти (YOLO, ResNet и т.н.) и модели за оценка на поза (OpenPose).

Пълното стеково решение на компанията използва потенциала на аналоговите процесори, като същевременно поддържа съответните характеристики на дигиталния свят. Това прави M1076 AMP страхотна опция за справяне с работни натоварвания на AI за изводи на ръба по-бързо и по-ефективно – компанията твърди, че осигурява „най-доброто в класа си TOPS/W“ – от своите напълно цифрови колеги. Това, както и широкото предлагане на продукти и AI модели на компанията, я правят добре позиционирана да се насочи към бързо развиващи се пазари, фокусирани върху AI, като видеонаблюдение, интелигентни домашни устройства, AR/VR, дронове и роботика.

Досега изглежда, че Mythic е трансформирал новаторска идея в обещаваща технология, за да се конкурира за AI за крайни изводи. Сега да видим числата. Компанията твърди, че M1076 AMP работи при до 25 TOPS, работещи при около 3W. В сравнение с подобен цифров хардуер, това е намаление на консумацията на енергия до 10 пъти. И може да съхранява до 80 милиона тегла в чип. MP10304 Quad-AMP PCIe картата може да достави до 100 TOPS при 25 W и да съхранява 320M тежести. Когато сравним тези твърдения с тези на много други, няма как да не останем впечатлени.

Изводи

Успехът на аналоговия AI ще зависи от постигането на висока плътност, висока производителност, ниска латентност и висока енергийна ефективност, като същевременно предоставя точни прогнози. В сравнение с чисто цифровите реализации, аналоговите вериги по своята същност са шумни, но въпреки това предизвикателство, предимствата на аналоговите изчисления стават очевидни, тъй като процесори като M1076 могат да управляват по-големи DNN модели, които се отличават с по-висока точност, по-висока резолюция или по-ниска латентност.

Докато Mythic продължава да усъвършенства своя хардуер и софтуер, ще очакваме с нетърпение да видим бенчмаркове, които могат да демонстрират възможностите на платформата и енергийната ефективност. Но вече видяхме достатъчно, за да бъдем развълнувани от потенциала на този уникален подход.

.

Leave a Comment