A mobiltelefonok, a biztonsági megfigyelés, az autók és a kibővített valóság / virtuális valóság (AR / VR) területén minden fejlesztés alatt álló vagy tervezett beágyazott alkalmazás ideghálózatot érint, és a neurális hálózati alkalmazások robbannak. A neurális hálózati innováció területe rendkívüli, saját architektúráját folyamatosan frissítik, és új hálózatok, új alkalmazások és piacok is végtelenül megjelennek. A neurális hálózati alkalmazások elmélyülésével és összetettségével a számítási teljesítményre vonatkozó követelmények napról napra nőnek. Kevesebb, mint 4 év alatt a MAC / frame számítási követelmények körülbelül 16-szorosára nőttek (lásd 1. ábra).
1. ábra A MAC / frame számítási igények növekedése
A neurális hálózatok fejlődésével a processzorok beágyazása iránti igény (a processzorok és a GPU-k helyett) az eszközökbe folyamatosan növekszik. A hálózat feldolgozási teljesítménye és működési sebessége azonban nem tartotta be a neurális hálózati alkalmazások fejlesztési követelményeit. Ez a konfliktus különösen nyilvánvaló a látásalkalmazások területén. A neurális hálózati alkalmazások igényeinek kielégítése eddig csak a hagyományos adatközpontok erőforrásaira támaszkodhat. Mivel azonban a biztonság és a késés fontos szempontokká válnak, egyre gyakoribbá válik a neurális hálózatok beágyazott rendszerek útján történő megvalósítása a valós idejű adatfeldolgozás érdekében. Bár a legtöbb neurális hálózati tréning offline is elvégezhető, a neurális hálózatokat használó alkalmazásoknak be kell ágyazniuk a rendszerbe.
Minden beágyazott alkalmazásban az AR / VR vagy a vegyes valóság egyedülálló kihívásokkal néz szembe. A fenti mezők legtöbb eszköze hordható eszköz, például intelligens sisak, fülhallgató vagy intelligens szemüveg. Az akkumulátor energiájára támaszkodnak, és az egyik legfontosabb szempont, amikor energiafogyasztásra választanak egy neurális hálózati megoldást. Az AR / VR alkalmazások másik fontos követelménye a késés csökkentése, ezért a neurális hálózatoknak meg kell valósítaniuk az eszköz beágyazását. Mindezek az eszközök valamilyen képfelismerést, gesztusfelismerést, sztereó kamera szegmentálást, 3D érzékelést, fejkövetést, szemfelismerést és szemkövetési képességeket igényelnek. Számos különféle képalkotó technológia létezik, de az idő múlásával e funkciók némelyike, például a szemantikus környezet megértése, a gesztusfelismerés vagy a képfelismerés, mind neurális hálózatokon keresztül valósul meg. A képalkotó / vizuális neurális hálózatok mellett ezek az eszközök követelményeket is előírnak a hang / audio neurális hálózatok számára a hangparancsok fogadásához.
A mai gyorsan változó technológiai környezetben az AR / VR berendezésgyártóknak azonnal ki kell választaniuk a 2019, 2020 és még később piacra kerülő termékek platformjait. Az új neurális hálózat bevezetése után az architektúra folyamatos változásai miatt nem tudjuk biztosítani a jelenlegi hatékony munkaplatform hatékonyságát a jövőbeni rendszerben. Ezenkívül ezek az alkalmazások alacsony késleltetést és alacsony energiafogyasztást is igényelnek, ami szintén különösen fontos; de tekintettel a neurális hálózati igények folyamatos növekedésére és e tendencia folyamatos előrehaladására, továbbra is biztosítanunk kell bizonyos fokú rugalmasságot és előremutató kilátásokat.
Jelenleg két fő lehetőség van a neurális hálózatok megvalósítására: CPU / GPU vagy hardveres gyorsítók használata és a képalkotó DSP illesztése. Ez a két lehetőség megoldhatja a tervezők néhány kihívását; de mindkettőnek vannak nem kielégítő kompromisszumai a könnyű fejlesztés, az energiahatékonyság, a késés, a jövőbeni frissítési hely vagy a teljesítmény tekintetében. A hardvergyorsító és a megfelelő képalkotás A DSP a beágyazott eszközök egyik választási lehetősége, de ez a kombináció nem hatékony, és felesleges energiafogyasztást eredményez. A fejlesztési nehézségek mellett a szoftvert is fel kell osztani a DSP és a gyorsító között. Csak a konvolúciós réteg kirakása jelentősen megnöveli az adatátvitel terheit és befolyásolja a hatékonyságot. Ezenkívül a hardver rögzítésre kerül a szalagos rögzítéskor, így ezeknek a gyorsítóknak nem lesz helyük a jövőbeni frissítésekre.
A beágyazott alkalmazások igényeinek megfelelő neurális hálózati DSP megoldásoknak meg kell felelniük a következő követelményeknek: könnyen fejleszthető, képes kezelni hatalmas mennyiségű adatot, van hely a jövőbeli frissítésekre, hatékonyan használják fel az energiát és minimalizálják a késedelmet.
Cadence megoldás: Tensilica Vision C5 digitális jelfeldolgozó (DSP)
A Cadence Tensilica Vision C5 DSP a látás és a fúziós érzékelők alkalmazásának optimalizált megoldásaként az iparág első olyan neurális hálózati feldolgozásra szánt DSP-je, amely alkalmas többprocesszoros architektúrára. Ez a megoldás soha nem látott sebességet és alacsony energiafogyasztást ér el, és megfelel a csúcskategóriás neurális hálózati technológia minden követelményének.
A megoldás az Xtensa többprocesszoros közel 20 éves tapasztalatán alapul, olyan funkciókkal, mint a memóriastruktúra megosztása, megszakítások engedélyezése, szinkronizált sorok és szinkronizált többprocesszoros hibakeresés. A Vision C5 DSP képes megvalósítani az összes neurális hálózati réteg (konvolúciós réteg, teljesen összekapcsolt réteg, pooling réteg és normalizáló réteg) számítási gyorsulását, nemcsak a konvolúciós réteg funkcióját. Ezért felszabadul a fő látásfeldolgozó DSP képessége a képjavító alkalmazások független futtatására; míg a Vision C5 DSP következtetési feladatokat futtat. A hardveres gyorsító redundáns adatátvitelének eltávolításával a Vision C5 DSP energiafogyasztása jóval alacsonyabb, mint a meglévő neurális hálózati gyorsítóé.
A Vision C5 DSP számítási teljesítménye 1TMAC / sec, amely megfelel az ideghálózatok egyre növekvő számítási igényeinek; pontos számításokkal is rendelkezik, többmagos tervezési architektúrával rendelkezik, és támogatja a több TMAC beágyazott megoldásokat. A Vision C5 DSP olyan alkalmazásokat céloz, amelyek gyakran több neurális hálózatot működtetnek. Programozható tulajdonságai miatt a megoldásnak lehetősége van a jövőbeni frissítésekre, és a tervezés változásával új rétegeket támogathat.
A látásfeldolgozó rendszert átfogóan kell megtervezni, minden platformra alkalmazható, és egyidejűleg fejleszteni kell a hardvert és a szoftvert. Ennek a technológiának a fejlesztése érdekében a tervezőknek olyan eszközöket és IP-t kell használniuk, amelyek támogatják a hatékony algoritmusokat, és az alkalmazott hardverplatformnak meg kell felelnie az egyes alkalmazások cél- és energiafogyasztási követelményeinek is. Rendszeri szempontból a Cadence támogatni tudja a beágyazott látóeszközök tervezőit a transzformatív termékek lehető leggyorsabb és hatékonyabb fejlesztésében.
Másik termék:
