Audio és video fejlesztés és tanulás

Először feltételezzük, hogy valakinek nulla alapja van a hangban és a videóban, és soha nem tanult meg digitális jelfeldolgozással kapcsolatos ismereteket. A matematikai alap alapvetően középiskolai szintű, de ismeri a C / C ++ fejlesztést, legalább ismeri az IDE összeállítását és hibakeresését egy bizonyos platform alatt.

Összpontosítson a két nyílt forráskódú ffmpeg és webRTC projektre, főleg az ffmpeg videó és a webRTC audio részeit vizsgálva.

Először is, kezdje a videó dekódolásával. Ez a legegyszerűbb. Az ffmpeg videó dekódolás hívásának alapkódja csak körülbelül 100 sor. A videó dekódolásnak csak a h.264 megértéséhez kell értenie, a 80% + jelenetek ebben a kódolási formátumban vannak, meg kell érteni az alapvető H.264 sps pps NAL és más fájlformátum-fogalmakat, meg kell érteni a YUV képformátum elvét és meg kell érteni a YUV átalakítását RGB -vé , Tehát képmegjelenítést végezhet, egyszerű videolejátszót érhet el. (Alapvetően az első szakaszban)

Ezután a videokódolás megismerése érdekében ajánlott az x264-gyel kezdeni, az x264-es kódolási kód egyszerű meghívása kevesebb, mint 100 sor. A kódolás bonyolultabb, mint a dekódolás, mivel a dekódoláshoz nincs szükség paraméterek konfigurálására, és a kódolásnak sok paramétere van, amelyeket konfigurálni kell. Eleinte értsen meg néhány alapfogalmat, például a képkockasebességet, az általános áramlásszabályozási módszereket: ABR CRF, GOP, I / B Mit jelent a / P Frame. (Ismert az X264 kódolással)

Az audio rész kodekje hasonló a videóéhoz. A kezdeti szakaszban csak a két EAAC + és a Silk kódolót kell megértenie, meg kell értenie a hangcsatorna, a mintavételi frekvencia stb. Fogalmát, valamint a Wave fájlformátumot. Lehet egyszerű audio lejátszó. (Készítsen audio lejátszót)

Az audio összetett része nem a kodek, hanem a hanghatás. Vessen egy pillantást a WebRTC Audio Processing moduljára, és értse meg a következő fogalmakat: az NS kikapcsolása, az echo törlés AEC, a némításfelismerés VAD, az automatikus erősítésszabályozó AGC és a beépített webRTC. Bár az algoritmus nem a legjobb, a problémák 90% -át + meg tudja oldani, és érdemes megtanulni. (Ismerje meg a webrtc hangfeldolgozását)

Miután ezt megtanulta, el kell gondolkodnom egy kérdésen, hogy mérnöki vagy algoritmikus utat akarok-e választani. Ha ez egy algoritmikus út, akkor matematikát kell megtanulnom. A digitális jelfeldolgozás mögött számos alapvető matematikai elmélet áll. Ha ez egy mérnöki útvonal, akkor meg kell tanulnia a platformok közötti fejlesztést, meg kell tanulnia az audio és video gyűjtését, lejátszását és feldolgozását több platformon, és meg kell tanulnia az összeállítási nyelv optimalizálását több platformon. (Platformhoz kapcsolódó)

Az audio és a videó nagyon mély terület, és soha nem fejezed be a tanulást egy életen át, de ennek a területnek az az előnye, hogy a tudásfrissítés sebessége viszonylag lassú, a megtanult dolgokat nem könnyű megszüntetni, és a tapasztalatok felhalmozódása nagyon fontos.v