南京師范大學(xué)多媒體原理與技術(shù)教學(xué)課件,南京師范大學(xué),多媒體,原理,技術(shù),教學(xué),課件 OutlinenThe Contents：多媒體技術(shù)是以計(jì)算機(jī)為中心，把聲音、圖像和視頻等多媒體信息集成在一起的技術(shù)，主要研究計(jì)算機(jī)以數(shù)字形式對(duì)多媒體信息進(jìn)行處理（采集、轉(zhuǎn)換、編碼、壓縮）、存儲(chǔ)（理論方法與材料）和傳輸?shù)囊恍┚唧w問題nThe Significance：隨著多媒體技術(shù)的發(fā)展，聲情并茂的多媒體計(jì)算機(jī)已應(yīng)用于日常生活的各個(gè)方面，作為一個(gè)教育技術(shù)專業(yè)的大學(xué)生，不但要會(huì)用，還要了解它的工作原理，并進(jìn)一步進(jìn)行深入的研究，有所建樹nThe Objective：（1）掌握有關(guān)基本原理（2）熟練地使用多媒體計(jì)算機(jī)和網(wǎng)絡(luò)來獲取知識(shí)，利用這個(gè)新型工具開展科學(xué)研究和學(xué)術(shù)交流.Textbook and ReferencesnTextbook:q多媒體應(yīng)用技術(shù) 王蔚 電子工業(yè)出版社nReferences：q多媒體技術(shù)基礎(chǔ) 清華大學(xué)出版社 林福宗qPC多媒體技術(shù) 南開大學(xué)出版社 王士元q多媒體技術(shù)簡(jiǎn)明教程 電子工業(yè)出版社 洪小達(dá)nClass Teaching：（1）theory explanation；（2）discussion；（3）requirements：no absence and be quiet（安排做專題講座）Multimedia Application Technology Teaching（1）n隨著多媒體技術(shù)的日趨成熟，并在工作生活中廣泛應(yīng)用，熟悉多媒體技術(shù)的有關(guān)知識(shí)、掌握多媒體軟件開發(fā)技術(shù)已成為計(jì)算機(jī)技術(shù)人員不可缺少的能力之一。因此，在近幾年來，很多高校理工科專業(yè)都開設(shè)了多媒體技術(shù)這門課程，其它專業(yè)也開設(shè)了面向操作的多媒體技術(shù)應(yīng)用課程。但是多媒體技術(shù)包涵的內(nèi)容多而雜，如何編排教學(xué)內(nèi)容，選擇教學(xué)方法成為課程的突出問題。n當(dāng)前多媒體技術(shù)教材主要包括兩大類，一類是偏重多媒體工具軟件操作和多媒體配置介紹的基礎(chǔ)類教材，這類教材隨著近年計(jì)算機(jī)知識(shí)的普及和大學(xué)生水平的提高，難以成為一門獨(dú)立課程教材使用。另一類是偏重多媒體核心技術(shù)的理論教材，這類教材包括了多媒體技術(shù)的主要知識(shí)和關(guān)鍵技術(shù)，但一般編寫過于理論化，與實(shí)踐脫節(jié)，難以被學(xué)生掌握接受。Multimedia Application Technology Teaching（2）n本書以行動(dòng)體系建構(gòu)知識(shí)為指導(dǎo)，將多媒體技術(shù)的主要內(nèi)容根據(jù)實(shí)踐應(yīng)用進(jìn)行重構(gòu)，編寫上把多媒體技術(shù)的主要理論知識(shí)與應(yīng)用實(shí)踐相結(jié)合，在介紹基本理論知識(shí)的基礎(chǔ)之上，更側(cè)重于多媒體的高級(jí)應(yīng)用開發(fā)技術(shù)，深入淺出地向讀者介紹了多媒體技術(shù)的一些前沿技術(shù)包括語音合成、圖像處理、語音識(shí)別、圖像識(shí)別、多媒體網(wǎng)絡(luò)等，并且每章都配備了相應(yīng)的開發(fā)實(shí)例，將源程序刻錄成了光盤，便于讀者進(jìn)行更深一步的學(xué)習(xí)。Contents of Course（1）n第一章介紹多媒體技術(shù)的概要，多媒體的定義、多媒體技術(shù)的發(fā)展歷程、關(guān)鍵技術(shù)及其應(yīng)用；n第二章介紹語音合成技術(shù)，主要講述了語音合成的基本原理與關(guān)鍵技術(shù)；n第三章聲音編碼技術(shù)，聲音信號(hào)的數(shù)字化、聲卡的知識(shí)以及常用音頻工具軟件的介紹；n第四章語音識(shí)別技術(shù)，語音識(shí)別基本原理以及主要算法；n第五章是圖像的表示技術(shù)，圖像處理的基本知識(shí)；n第六章圖像編碼技術(shù)，圖像編碼基本知識(shí)和基本的方法；n第七章是圖像識(shí)別技術(shù)，圖像識(shí)別技術(shù)的基本原理及圖像識(shí)別的一個(gè)重要應(yīng)用手寫體數(shù)字識(shí)別；n第八章是數(shù)字視頻壓縮技術(shù)，數(shù)字視頻壓縮技術(shù)的基本知識(shí)及其原理；n最后一章是網(wǎng)絡(luò)視頻通信技術(shù)，多媒體通信系統(tǒng)、網(wǎng)絡(luò)流媒體技術(shù)以及視頻會(huì)議系統(tǒng)。Contents of Course（2）n從第二章到第九章，在每章的最后一個(gè)章節(jié)，都有該章的一個(gè)具體應(yīng)用實(shí)例。源碼程序打包后刻錄成光盤。為方便學(xué)生學(xué)習(xí)，在每章的開頭都有一個(gè)本章的學(xué)習(xí)目標(biāo)，以便學(xué)生從整體上把握該章的內(nèi)容，在每章的最后都有思考題，方便學(xué)生對(duì)該章的進(jìn)行深一步的思考和探索Chapter One Introduction of Multimedian1.1Multimediatechnologyoverviewq多媒體是融合兩種或者兩種以上媒體的一種人-機(jī)交互式信息交流和傳播媒體，使用的媒體包括文字、圖形、圖像、聲音、動(dòng)畫和電視圖像(video)等。q多媒體技術(shù)是以計(jì)算機(jī)為中心，把聲音、圖像和視頻等多媒體信息集成在一起的技術(shù)。Category of MultimediaqThesenseofsight：看/顯示qThesenseofhearing：說/聽qThesenseoftouch：感覺（溫度、硬度等）/被感覺qThesenseofsmell：辨別氣味/發(fā)出氣味qThesenseoftaste：辨別口味/產(chǎn)生口味The Sense of Sightq看：攝像、照相等。數(shù)字圖像/視頻。q看懂：圖像識(shí)別：指紋識(shí)別、人臉識(shí)別、文字識(shí)別Image and Graphics我想來張彩色的 z z z zVideo and AnimationnVideoAnimationImage showprojectormonitorprinterHeliodisplayM2和M2i能夠?qū)⒎侨D像投射在空氣中，這很像3D顯示器，但它又使用了部分投影機(jī)原理，所以目前還不清楚它應(yīng)該屬于是投影機(jī)還是顯示器。HeliodisplayM2和M2i采用USB接口，重35磅，能夠提供標(biāo)準(zhǔn)SVGA(800 x600)、最高1280 x1024分辨率的顯示能力。IO2公司聲稱這種顯示器對(duì)比度可高達(dá)2000:1。不過這種技術(shù)是將圖像投射在熱空氣中，直接的日光照射或在周圍。The Sense of HearnSpeaking播放:音箱說話：語音合成（TTS)nHearing聽見：錄音聽懂：語音識(shí)別Audio（聲音）nAudiodigitizationMusicsynthesisMIDInVoicedigitizationVoicesynthesisTTSTTSLondon celebrated the start of the Chinese Year of the Monkey on Sunday 25 January 2004,with a programme of events spanning Leicester Square,Chinatown,and the newly renovated Trafalgar Square.The square was packed with around 41,230 Londoners throughout the day.The Mayor was given the honour of dotting the eyes of the dragon-symbolising the waking of the mystical beast to mark the new Year of the Monkey.nLe retour du public dans les salles,malgr lexplosion du cinma en chambre,via le DVD,profitera-t-il seulement aux mastodontes,multiplexes et multisalles ou bien les Rex,Arlequin et autres Palace,ces anciens cinmas de quartier,aujourdhui largement subventionns par les villes,auront-ils leur part de gteau?On estime quen Ile-de-France environ 60%des tablissements de cinma relvent,au moins partiellement,de linitiative publique.Mais les chiffres sont trompeurs.Les cinmas de quartier,sauvs,dans les annes 1970-1980,par les municipalits,ne comportent trs souvent quune seule salle.Do leur faible part de march.En Seine-Saint-Denis,par exemple,sans doute le dpartement dIle-de-France o le rseau ancien de cinmas publics est le plus dynamique,ces derniers nont reprsent,en 2003,que 20%des entres.北京是著名的游覽勝地，主要景點(diǎn)有：長(zhǎng)城，故宮，頤和園，世界公園等。nEltiemposemostrarnotablementemscalmadoduranteelmircoles,puestoqueelfrentesealejarhaciaelsur.DescargarlluviastodavaenExtremadura,enAndalucayenCastillaLaMancha.Lastemperaturasbajarndeformamuynotable,especialmenteenlamitadeste.Elviento,todavasoplardetramontanamuyintensoalnortedelMediterrneo.The Sense of Smell：n2005美國(guó)：狗鼻子的嗅覺特別靈敏，能夠區(qū)分二百萬種不同濃度 的氣味。“魔爪”排彈機(jī)器人有一項(xiàng)功能可謂獨(dú)特，就是它的嗅覺比狗還靈。美軍曾在阿富汗曾經(jīng)使用“魔爪”機(jī)器人嗅出過致命的化學(xué)與放射性物質(zhì)，在實(shí)戰(zhàn)中大顯神通，深得美軍青睞。n2006日本：RI-MAN機(jī)器人能辨別八種不同氣味，分辨聲音來源方面，通過視覺能力跟隨人的面孔移動(dòng)。向井敏春表示：未來機(jī)器人還能通過呼吸來判斷護(hù)理對(duì)象的健康狀況。n2007年英國(guó)：通過簡(jiǎn)單的化學(xué)反應(yīng)，機(jī)械鼻現(xiàn)在已經(jīng)能判斷行李中是否有炸彈還能用于檢查空氣是否受到了污染。The Sense of Touch：可感覺、可以被感覺n2006日本：日本東京大學(xué)研究小組近日開發(fā)出表面密布傳感器的人造電子皮膚，能感知外在物體的壓力。這一成果可以使將來機(jī)器人的皮膚像人的皮膚一樣有感覺。如果將壓力傳感器換成溫度傳感器，機(jī)器人就能感知溫度變化。由橡膠、導(dǎo)電石墨和新型晶體管組成的電子皮膚，它使機(jī)器人的觸覺變得更為靈敏。日本科學(xué)家開發(fā)出了一種幾乎跟真人皮膚一樣敏感的電子“皮膚”，使機(jī)器人的觸覺變得越來越成熟。發(fā)明者表示這種對(duì)壓力非常敏感的電子皮膚還可被應(yīng)用到體育、安全等領(lǐng)域。n2008，英國(guó)的Shadow機(jī)器人公司發(fā)布了一款用聚亞安酯制成的機(jī)器人觸覺手指。有拇指和普通手指兩種形狀，每個(gè)手指表面分布有34或22個(gè)獨(dú)立的觸覺感應(yīng)器，采用了QTC（Quantum Tunnelling Composite，量子通道合成）技術(shù)，最大限度的增強(qiáng)了感應(yīng)器的壓力感知范圍，每個(gè)感應(yīng)器能夠承受并感應(yīng)0.125牛的力量。有了它，機(jī)器人就能夠獲得近似于人類的觸覺能力，從而促進(jìn)人工智能系統(tǒng)的開發(fā)。The Sense of Touch觸摸視覺觸摸視覺 盲人專用電腦盲人專用電腦The Sense of Tasten辨別葡萄酒品質(zhì)優(yōu)劣、由一滴酒判斷出葡萄酒品牌歷來是品酒師的工作。但是，日本最新研發(fā)的一種味覺機(jī)器人卻具有相同能力。與人類品酒師不同，這些具有味覺的機(jī)器人可以在不開啟瓶蓋的情況下，辨別出葡萄酒的口感及種類。這種機(jī)器人由日本電氣公司和三重大學(xué)合作研制。據(jù)美聯(lián)社日?qǐng)?bào)道，兩家機(jī)構(gòu)于近日聯(lián)合展出了歷時(shí)兩年完成的科研成果味覺機(jī)器人。這種味覺機(jī)器人可以辨別出幾十種葡萄酒、奶酪和開胃食品。Features of Multimedia Computer（1）n融合兩種以上的媒體：q文字、聲音、圖象、電視、動(dòng)畫。q自然媒體和電腦生成的媒體。q示例：電子圖書n人-機(jī)交互式信息傳播媒體。q示例：動(dòng)物園n以數(shù)字形式進(jìn)行處理、存儲(chǔ)和傳輸。Features of Multimedia Computer（2）nExamples：q讀心術(shù)q左轉(zhuǎn)右轉(zhuǎn)q心理測(cè)試The Expression of MultimediaMultimediaApplicationSoftware多媒體字典互動(dòng)教學(xué)多彩顏色MultimediaInformationRetrievalThe Technology of Multimedia Communication（1）q多媒體通信是一種綜合性技術(shù)，涉及多媒體、計(jì)算多媒體通信是一種綜合性技術(shù)，涉及多媒體、計(jì)算機(jī)和通信等領(lǐng)域，長(zhǎng)期以來一直是多媒體應(yīng)用的一機(jī)和通信等領(lǐng)域，長(zhǎng)期以來一直是多媒體應(yīng)用的一個(gè)重要方面。個(gè)重要方面。q由于多媒體的傳輸涉及到圖像、聲音和數(shù)據(jù)等多個(gè)由于多媒體的傳輸涉及到圖像、聲音和數(shù)據(jù)等多個(gè)方面，需要完成大數(shù)據(jù)量的連續(xù)媒體信息的實(shí)時(shí)傳方面，需要完成大數(shù)據(jù)量的連續(xù)媒體信息的實(shí)時(shí)傳輸、時(shí)空同步和數(shù)據(jù)壓縮，如語音和視頻有較強(qiáng)的輸、時(shí)空同步和數(shù)據(jù)壓縮，如語音和視頻有較強(qiáng)的實(shí)時(shí)性要求，它容許出現(xiàn)某些字節(jié)的錯(cuò)誤，但不能實(shí)時(shí)性要求，它容許出現(xiàn)某些字節(jié)的錯(cuò)誤，但不能容忍任何延遲；容忍任何延遲；The Technology of Multimedia Communication（2）n隨著多媒體技術(shù)的發(fā)展成熟，再加上數(shù)據(jù)網(wǎng)絡(luò)、隨著多媒體技術(shù)的發(fā)展成熟，再加上數(shù)據(jù)網(wǎng)絡(luò)、通信網(wǎng)絡(luò)和有線電視網(wǎng)三網(wǎng)合一的趨勢(shì)愈發(fā)明通信網(wǎng)絡(luò)和有線電視網(wǎng)三網(wǎng)合一的趨勢(shì)愈發(fā)明顯，多媒體網(wǎng)絡(luò)應(yīng)用愈發(fā)多樣化。顯，多媒體網(wǎng)絡(luò)應(yīng)用愈發(fā)多樣化。n多目標(biāo)廣播技術(shù)，影視點(diǎn)播，電視會(huì)議，遠(yuǎn)程多目標(biāo)廣播技術(shù)，影視點(diǎn)播，電視會(huì)議，遠(yuǎn)程教育系統(tǒng)教育系統(tǒng)Intelligent Multimedia TechnologynComputerGamesq教育游戲nRobertMatchq中國(guó)青少年機(jī)器人比賽q中國(guó)大學(xué)生機(jī)器人比賽q國(guó)際機(jī)器人比賽nWROnFLLnVEXn機(jī)器人足球世界杯nMpeg-1;Mpeg-2均采用圖像塊單元，進(jìn)行變換、量化、移動(dòng)補(bǔ)償?shù)忍幚韓電視圖像的數(shù)據(jù)率（電視圖像的數(shù)據(jù)率（P154）nITU-R BT.601標(biāo)準(zhǔn)數(shù)據(jù)率nVCD電視圖象數(shù)據(jù)率的估算 nDVD電視圖象數(shù)據(jù)率的估算 Chapter Ten MPEG TV nData Compression Algorithmn電視圖象壓縮利用的各種冗余信息（電視圖象壓縮利用的各種冗余信息（P156表）表）nMPEG專家組定義的三種圖象：幀內(nèi)圖象專家組定義的三種圖象：幀內(nèi)圖象I(intra)，預(yù)預(yù)測(cè)圖象測(cè)圖象P(predicted)和雙向預(yù)測(cè)圖象和雙向預(yù)測(cè)圖象B(bidirectionally interpolated)，典型的排列如圖典型的排列如圖10-01所示（所示（P156）Chapter Ten MPEG TV n圖10-02Chapter Ten MPEG TV nPrediction of P image compression algorithm 預(yù)測(cè)圖象的編碼也是以圖象宏塊(macroblock)為基本編碼單元，一個(gè)宏塊定義為IJ象素的圖象塊，一般取1616。預(yù)測(cè)圖象P使用兩種類型的參數(shù)來表示：一種參數(shù)是當(dāng)前要編碼的圖象宏塊與參考圖象的宏塊之間的差值差值，另一種參數(shù)是宏塊的移動(dòng)矢量Chapter Ten MPEG TV 要使預(yù)測(cè)圖象更精度，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測(cè)圖象編碼宏塊MPI。所謂最佳匹配是指這兩個(gè)宏塊之間的差值最小。Chapter Ten MPEG TV n假設(shè)編碼圖象宏塊MPI是參考圖象宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)象素值之差。對(duì)所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照J(rèn)PEG壓縮算法對(duì)差值進(jìn)行編碼，計(jì)算出的移動(dòng)矢量也要進(jìn)行霍夫曼編碼。Chapter Ten MPEG TV n10-04Chapter Ten MPEG TV n雙向預(yù)測(cè)圖象雙向預(yù)測(cè)圖象B的壓縮編碼算法的壓縮編碼算法Chapter Ten MPEG TV 10.2.5 The Structure of TV Imagen一個(gè)典型的I、P、B圖象安排如圖所示。編碼參數(shù)為：幀內(nèi)圖象I的距離為N=15，預(yù)測(cè)圖象(P)的距離為M=3。10.3 MPEG-2 Dispose and Gradesn在MPEG-2標(biāo)準(zhǔn)化階段，考慮到要適應(yīng)不同數(shù)據(jù)速率設(shè)備的應(yīng)用，MPEG專家組定義了三種質(zhì)量不同的編碼方式：信噪比可變性(SNR/Signal-to-Noise Scalability)，空間分辨率可變性(Spatial Scalability)和時(shí)間分辨率可變性(Temporal Scalability)。10.4 MPEG-4 TV Image Encoding nMPEG Video專家組建立了一個(gè)用來開發(fā)圖象和電視圖象編碼技術(shù)的模型，叫做“試驗(yàn)?zāi)Ｐ?Test Model)”或者叫做“驗(yàn)證模型(VMVerification Model)”。這個(gè)模型描述了一個(gè)核心的編碼算法平臺(tái)，包括編碼器、解碼器以及位流(bitstream)的語法和語義.10.4.1 Concepts of television image and object zonenMPEG-4 Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對(duì)各種輸入格式下的標(biāo)準(zhǔn)矩形圖象、幀速率、位速率和隔行掃描圖象源的支持。MPEG-4 Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對(duì)場(chǎng)景中使用分割算法抽取的單獨(dú)的物理對(duì)象進(jìn)行編碼和解碼。MPEG-4 Video還提供管理這些電視內(nèi)容的最基本方法。10.4.2 TV Image Encoding ProjectnMPEG-4 Video驗(yàn)證模型對(duì)每個(gè)電視圖象對(duì)象(VO)的形狀、移動(dòng)和紋理信息進(jìn)行編碼形成單獨(dú)的VOL層，以便能夠單獨(dú)對(duì)電視圖象對(duì)象(VO)進(jìn)行解碼。n如果輸入圖象序列只包含標(biāo)準(zhǔn)的矩形圖象，就不需要形狀編碼，在這種情況下，MPEG-4 Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。TV Image Encoding ProjectnMPEG-4 Video驗(yàn)證模型對(duì)每個(gè)電視圖象對(duì)象區(qū)(VOP)進(jìn)行編碼使用的壓縮算法是在MPEG-1和MPEG-2 Video標(biāo)準(zhǔn)的基礎(chǔ)上開發(fā)的，它也是以圖象塊為基礎(chǔ)的混合DPCM和變換編碼技術(shù)(hybrid DPCM/Transform coding)。MPEG-4編碼算法也定義了幀內(nèi)電視圖象對(duì)象區(qū)I-VOP(Intra-Frame VOP)編碼方式和幀間電視圖象對(duì)象區(qū)預(yù)測(cè)P-VOP(Inter-frame VOP prediction)編碼方式，它也支持雙向預(yù)測(cè)電視圖象對(duì)象區(qū)B-VOP(B-directionally predicted VOP)方式。在對(duì)電視圖象對(duì)象區(qū)(VOP)的形狀編碼之后，顏色圖象序列分割成宏塊進(jìn)行編碼.TV Image Encoding ProjectTV Image Encoding Projectn圖描繪了MPEG-4 Video的編碼算法，用來對(duì)矩形和任意形狀的輸入圖象序列進(jìn)行編碼。這個(gè)基本編碼算法結(jié)構(gòu)圖包含了移動(dòng)矢量(motion vector)的編碼，以及以離散余弦變換為基礎(chǔ)的紋理編碼。10.4.3 Variable Coding of TV Image resolutionn“電視圖象分辨率”是指電視圖象空間分辨率(spatial resolution)和時(shí)間分辨率(temporal resolution)。空間分辨率是指一幀圖象包含的行數(shù)與每行顯示的象素?cái)?shù)之乘積，而時(shí)間分辨率是指每秒種顯示或者傳輸?shù)膱D象幀數(shù)。Variable Coding of TV Image resolutionnMPEG-2也有電視圖象分辨率可變編碼功能，但它是以圖象的幀為基礎(chǔ)進(jìn)行編碼。而MPEG-4電視圖象分辨率可變編碼是以任意形狀的電視圖象對(duì)象區(qū)(VOP)為基礎(chǔ)進(jìn)行編碼。對(duì)那些沒有能力或者不愿意接收高分辨率圖象的接收器，它可以接收分辨率比較低的電視圖象，降低空間分辨率或者時(shí)間分辨率意味降低圖象的質(zhì)量。Variable Coding of TV Image resolutionnSpatial Scalability and Temporal Scalability的實(shí)現(xiàn)方法類似。圖描述了多種分辨率電視圖象編碼(multiscale video coding)方案。該方案提供三個(gè)層次的編碼/解碼，每一層都支持在不同空間分辨率下進(jìn)行編碼/解碼。從圖中可以看到，多種空間分辨率的實(shí)現(xiàn)是通過降低輸入電視信號(hào)的采樣率來獲得的。10.5 HDTV Format n現(xiàn)在我們使用的電視格式再加上新制定的電視格式歸納在圖10-16中。美國(guó)把1280720格式稱為高級(jí)電視ATV(advanced television)，把19201035稱為高清晰度電視HDTV(high definition television)。HDTV FormatHDTV Formatn1995年11月28日美國(guó)高級(jí)電視委員會(huì)ATSC(Advanced Television Systems Committee)向FCC咨詢委員會(huì)(FCC Advisory Committee)提交了數(shù)字電視標(biāo)準(zhǔn)(Digital Television Standard)，并推薦作為高級(jí)電視廣播標(biāo)準(zhǔn)。HDTV FormatHDTV Formatn電視圖象壓縮以MPEG-2 Video標(biāo)準(zhǔn)為基礎(chǔ)，采樣基本型配置(Main Profile)，等級(jí)從基本級(jí)（Main Level)到高級(jí)(High Level)。聲音壓縮以AC-3系統(tǒng)為基礎(chǔ)，采樣頻率為48kHz，支持5個(gè)環(huán)繞聲和1個(gè)超低頻聲道。該規(guī)格是1996年介紹的，由于近年來MPEG電視和聲音標(biāo)準(zhǔn)的研究已有新的進(jìn)展，因此該規(guī)格有可能在實(shí)行過程中會(huì)作修改。HDTV Formatn電視圖象數(shù)據(jù)壓縮的依據(jù)是什么？nMPEG-1編碼器輸出的電視圖象的數(shù)據(jù)率大約是多少？nMPEG專家組在制定MPEG-1/-2 Video標(biāo)準(zhǔn)時(shí)定義了哪幾種圖象？哪種圖象的壓縮率最高？哪種圖象的壓縮率最低？n有人認(rèn)為“圖象壓縮比越高越好”。你對(duì)這種說法有何看法？n有人說“MPEG-1編碼器的壓縮比大約是200:1”。這種說法對(duì)不對(duì)？為什么？n說明電視規(guī)格MPML和HPHL各自的含義。n電視圖象的空間分辨率和時(shí)間分辨率是什么意思？Multimedia Network Application and Exchange TechnologyThe applications on the internet can be roughly divided into two kinds,one kind is text data communication,including the file transfer,Email,Telnet,Network News and Web,etc.Another kind is the voice and television image communications.Usually voice communications and image communication network applications are called multimedia networking application.14.1 Multimedia Network Application(1)現(xiàn)場(chǎng)聲音和電視廣播或者預(yù)錄制內(nèi)容的廣播：(2)聲音點(diǎn)播(audio on demand)(3)影視點(diǎn)播(video on demand)，也稱交互電視(Interactive Television)(4)因特網(wǎng)電話(Internet telephony)(5)分組實(shí)時(shí)電視會(huì)議(group real-time video conferencing)14.1.2 Application Classification1.現(xiàn)場(chǎng)交互應(yīng)用(live interactive applications)2.交互應(yīng)用(interactive applications)3.非實(shí)時(shí)交互應(yīng)用(non-interactive applications)14.1.3 Problems in Application DevelopmentTwo problems to solve in Multimedia Network Application：提高網(wǎng)絡(luò)帶寬(BW)，減少時(shí)延(delay)，減少抖動(dòng)(jitter)。Methods of Audio and Video Storage on InternetWEB Server和流式服務(wù)器the way of reading voice and video files on client computer 通過WEB瀏覽器把聲音/電視從WEB服務(wù)器傳給媒體播放器直接把聲音/電視從WEB服務(wù)器送給媒體播放器直接把聲音/電視從多媒體流放服務(wù)器傳送給媒體播放器14.2 Methods of Audio and Video storage and getting in the Internet經(jīng)過壓縮的聲音或者電視文件可以放在Web服務(wù)器上，或者放在聲音/電視流放服務(wù)器(streaming server)上。對(duì)于前一種情況，由Web服務(wù)器通過HTTP協(xié)議把文件傳送給客戶。對(duì)于后一種情況，由流放服務(wù)器通過非HTTP協(xié)議把文件傳送給客戶。Sending Audio and Video From Web Server to Media Player Through Web BrowserSending Audio and Video Directly to Media Player Form Web Server.Sending the Voice/Video from exile server to multimedia media player directly14.3 Information Exchange Technology on the Internet遠(yuǎn)程通信網(wǎng)絡(luò)可分成兩類網(wǎng)絡(luò)：線路交換網(wǎng)絡(luò)(circuit-switched networks)和信息包交換網(wǎng)絡(luò)(packet-switched networks)。信息包交換網(wǎng)絡(luò)也稱數(shù)據(jù)網(wǎng)絡(luò)(data networks)。在線路交換網(wǎng)絡(luò)中，雙方交換消息期間通道上的全部資源(如鏈路帶寬等)都被租用，而在信息包交換網(wǎng)絡(luò)中雙方交換消息期間不租用通道上的資源，也就是不保留資源，而是根據(jù)需要來使用資源，交換的信息包往往需要等待可用資源。14.3.2 Circuit-SwitchingCircuit-Switching characteristics:at the beginning of communication,physical connection has been by established by line exchange center of,and the maintain time depends on the needs of message exchange.14.3.3 Packet Switching通常人們把任何一個(gè)應(yīng)用數(shù)據(jù)塊稱為消息(message)。在現(xiàn)代的信息包交換(packet switching)網(wǎng)絡(luò)中，發(fā)送端把整個(gè)消息分割成許多小的數(shù)據(jù)塊，經(jīng)過包裝并“貼上”標(biāo)簽之后再發(fā)送到網(wǎng)絡(luò)上。發(fā)送到網(wǎng)絡(luò)上的這種數(shù)據(jù)包裹稱為信息包(packet)。A Simple Packet Switching Network14.3.5 Connection-Oriented Service and Connectionless Service因特網(wǎng)通常叫做TCP/IP網(wǎng)絡(luò)，提供兩種類型的服務(wù)：無連接服務(wù)(connectionless service)和面向連接服務(wù)(connection-oriented service)。任何一種因特網(wǎng)服務(wù)都必須使用這兩種服務(wù)之一。對(duì)這兩種服務(wù)，每個(gè)信息包都帶有目的地址，而交換機(jī)就按照信息包的目的地址來發(fā)送信息包的。14.3.6 Network ClassificationPractice and thinkingWhats the difference of multimedia communication applications and data communications applications On the network?Illustrate multimedia network application characteristics.Using dictionaries or technical reference books to help understand the meaning of packets.Summarize the characteristics of circuit-switching,packet switching and message exchanges.what is the difference of connection-oriented services and connectionless service?Digital Image Technology1.Image encoding 2.Image processing 3.Image RecognationSevral Algorithm l假設(shè)有一個(gè)圖片，4*4，共16個(gè)像素，分別用AL來代表。我們先觀察這個(gè)圖片，只有中間的F,G,J,K這四個(gè)像素的“鄰居”是全的。以下以FGJK為被處理像素。1、Color chart to gray imagelYUV的顏色表示方法，知道在這種表示方法中，Y分量的物理含義就是亮度，它含了灰度圖的所有信息，只用Y分量就完全能夠表示出一幅灰度圖來。2、銳化、柔化和擴(kuò)散、銳化、柔化和擴(kuò)散l銳化：用當(dāng)前點(diǎn)與左上角點(diǎn)的絕對(duì)值除以2，然后加上當(dāng)前點(diǎn)的值。F=F+abs(F-A)/2l柔化的算法和銳化相近似，不過作用正好相反，就是把當(dāng)前點(diǎn)用周圍幾個(gè)點(diǎn)的平均值來代替。F=(A+B+C+E+F+G+I+J+K)/9l擴(kuò)散：隨機(jī)取F點(diǎn)周圍的某個(gè)顏色，將該點(diǎn)的顏色賦值給F。3、Anaglyph“浮雕”圖象效果是指圖像的前景前向凸出背景。所謂的“浮雕”概念是指標(biāo)繪圖像上的一個(gè)像素和它左上方的那個(gè)像素之間差值的一種處理過程，為了使圖像保持一定的亮度并呈現(xiàn)灰色，在處理過程中為這個(gè)差值加了一個(gè)數(shù)值為128的常量。F=abs(F-K+128).Key programming steps-open image files函數(shù)LoadBmpFile，其功能是從一個(gè).bmp文件中讀取數(shù)據(jù)（包括BITMAPINFOHEADER，調(diào)色板和實(shí)際圖象數(shù)據(jù)）將其存儲(chǔ)在一個(gè)全局內(nèi)存句柄hImgData中，這個(gè)hImgData將在以后的圖象處理程序中用到。同時(shí)填寫一個(gè)類型為HBITMAP的全局變量hBitmap和一個(gè)類型為HPALETTE的全局變量hPalette。這兩個(gè)變量將在處理WM_PAINT消息時(shí)用到，用來顯示出位圖。Key programming steps-color component extractionlpixel&=frmMain.Picture1.Point(j,i)lred=pixel&Mod 256lgreen=(pixel&And&HFF00)/256&)Mod 256&lblue=(pixel&And&HFF0000)/65536l“&H”表示十六進(jìn)制數(shù)，而And表示按位與。&HFF是二進(jìn)制的“1111 1111”，正好覆蓋了低8位，這時(shí)用And進(jìn)行按位與，只會(huì)得到低8位，與RGB分量需要的8位正好符合。每個(gè)像素點(diǎn)的顏色分量存儲(chǔ)順序是“BGR”。所以最先得到后八位為紅色分量。除以256將二進(jìn)制右移八位，按位于運(yùn)算后得到綠色分量。Original picture emboss diffuse soften sharpen 三、三、Image RecognitionlImage Recognition Structure被識(shí)圖像圖像數(shù)據(jù)獲取圖像的預(yù)處理圖像的特征提取分類判決輸出結(jié)果Image Feature ExtractionSelected characteristics can be divided into the following categories：l灰度、顏色、分光光譜特征；l紋理等空間特征；l面積、周長(zhǎng)等幾何方面的特征。l(1)Amplitude characteristics可以在圖像的某一圖像點(diǎn)或者其鄰域做出幅度的測(cè)量。例如在（2N+1）*（2N+1）區(qū)域內(nèi)的平均幅度。l(2)Histogram characteristics一副數(shù)字圖像看作是一個(gè)二維隨機(jī)過程的樣本，可以用聯(lián)合概率分布來描述。l(3)Line and angular featuresl(4)Gray image edge character 圖像的灰度、紋理的改變或不連續(xù)是圖像的重要特征，它可以指示圖像內(nèi)各種物體的實(shí)際含量。l5、Texture element 一種或者是幾種圖像基元的組合。l6、permutation and combination of texture element。圖像基元排列的疏密、周期性、方向性的不同，也能夠使圖像的外觀產(chǎn)生極大的變化。Classification Judgmentl分類，就是基于被測(cè)量的特征來估計(jì)其分類單位應(yīng)該屬于哪一個(gè)類。機(jī)器學(xué)習(xí)主要研究各種分類方法。目前經(jīng)常采用的是統(tǒng)計(jì)識(shí)別法（Statistical classifier）和其它更多的方法。如基于松弛法的分類方法和使用神經(jīng)網(wǎng)絡(luò)的分類方法。The handwritten numeral recognitionl我們用人眼一下子就能認(rèn)出這是數(shù)字2，但是如果讓計(jì)算機(jī)來識(shí)別的話就未必那么容易了。我們就要看它的一些特征了。它們的共同特則就是書寫的時(shí)候先向右，又向下，又向左。顯然，書寫順序就是一個(gè)很重要的特征。Writing orderl3也是有共同的書寫順序。l當(dāng)然，書寫順序僅僅是一個(gè)基本的特征，我們還要提取出其他的特征來。Feature extraction of handwritten numberl對(duì)于手寫體數(shù)字根據(jù)抽取特征的方法一般將其分為兩類：統(tǒng)計(jì)特征(局部特征和全局特征)和結(jié)構(gòu)特征。統(tǒng)計(jì)特征是利用一些統(tǒng)計(jì)方法計(jì)算得到的，一般包括點(diǎn)密度的估計(jì)。矩，特征區(qū)域等等。結(jié)構(gòu)特征則是對(duì)字符的筆畫進(jìn)行分析得到的，能更好地區(qū)分局部細(xì)節(jié)，一般包括圓，端點(diǎn)，交叉點(diǎn)，筆畫，輪廓等等。Color Digital Television Basisn8.1.1 Introductionn目前世界上現(xiàn)行的彩色電視制式有三種：NTSC制、PAL制和SECAM制。這里不包括高清晰度彩色電視HDTV(High-Definition television)。數(shù)字彩色電視是從模擬彩色電視基礎(chǔ)上發(fā)展而來的，因此在多媒體技術(shù)中經(jīng)常會(huì)碰到這些術(shù)語。8.1.2 Television Scanning and synchronization n掃描有隔行掃描(interlaced scanning)和非隔行掃描（non-interlaced scanning)之分。非隔行掃描也稱逐行掃描。黑白電視和彩色電視都用隔行掃描，而計(jì)算機(jī)顯示圖像時(shí)一般都采用非隔行掃描。Television Scanning and synchronizationnInterlaced scanning and non-interlaced scanningn隔行掃描：總行數(shù)為奇數(shù)q行頻fH,場(chǎng)頻ff，幀頻fFTelevision Scanning and synchronizationn1.PAL制電視的掃描特性q625行/幀，25幀/秒（40ms/幀）q寬高比：4：3q隔行掃描，2場(chǎng)/幀，312.5行/場(chǎng)q顏色模型：YUV2.NTSC Scanning FeturenNTSC彩色電視制的主要特性是：彩色電視制的主要特性是：n(1)525行行/幀幀,30幀幀/秒秒(29.97 fps,33.37 ms/frame)n(2)高寬比：電視畫面的長(zhǎng)寬比高寬比：電視畫面的長(zhǎng)寬比(電視為電視為4:3；電影為；電影為3:2；高清晰度；高清晰度電視為電視為16:9)n(3)隔行掃描，一幀分成隔行掃描，一幀分成2場(chǎng)場(chǎng)(field)，262.5線線/場(chǎng)場(chǎng) n(4)在每場(chǎng)的開始部分保留在每場(chǎng)的開始部分保留20掃描線作為控制信息，因此只有掃描線作為控制信息，因此只有485條線的可視數(shù)據(jù)。條線的可視數(shù)據(jù)。Laser disc約約420線，線，S-VHS約約320線線 n(5)每行每行63.5微秒，水平回掃時(shí)間微秒，水平回掃時(shí)間10微秒微秒(包含包含5微秒的水平同步脈微秒的水平同步脈沖沖)，所以顯示時(shí)間是，所以顯示時(shí)間是53.5微秒。微秒。n(6)顏色模型：顏色模型：YIQ3.SECAMnSECAM(法文：Sequential Coleur Avec Memoire)制式是法國(guó)開發(fā)的一種彩色電視廣播標(biāo)準(zhǔn)，稱為順序傳送彩色與存儲(chǔ)制。這種制式與PAL制類似，其差別是SECAM中的色度信號(hào)是頻率調(diào)制(FM)，而且它的兩個(gè)色差信號(hào)：紅色差(R-Y)和藍(lán)色差(B-Y)信號(hào)是按行的順序傳輸?shù)?。法?guó)、俄羅斯、東歐和中東等約有65個(gè)地區(qū)和國(guó)家使用這種制式，圖像格式為4:3，625線，50 Hz，6 MHz電視信號(hào)帶寬，總帶寬8MHz。SECAMn SECAM制q與PAL類似n三種制式的比較7.1.3 Color TelevisionnColor television is developed on the basis of black and white television.Color television has many characteristics,such as scanning and synchronization.Color Television8.2 Color TV Signal Categoriesn8.2.1 Composite television signalsq包含亮度信號(hào)色差信號(hào)和所有定時(shí)信號(hào)的單一信號(hào)q黑白全電視信號(hào)q彩色全電視信號(hào)n8.2.2 Component television signalsq每個(gè)基色分量作為獨(dú)立的電視信號(hào)。n8.2.3 S-Video signalq亮度和色差分離的一種電視信號(hào)q減少亮度信號(hào)和色差信號(hào)之間的交叉干擾q不需要適用濾波器來分離亮度和色差信號(hào)，提高亮度信號(hào)的帶寬。qY/C兩條信號(hào)線，4針連接器8.3 TV Image Digitizationn8.3.1 Digitization Methodsq從復(fù)合彩色電視圖象中分離彩色分量然后數(shù)字化。q數(shù)字化復(fù)合彩色電視圖象然后分離。8.3.2 Digitization Standardsn早在20世紀(jì)80年代初，國(guó)際無線電咨詢委員會(huì)CCIR(International Radio Consultative Committee)就制定了彩色電視圖像數(shù)字化標(biāo)準(zhǔn)，稱為CCIR 601標(biāo)準(zhǔn)，現(xiàn)改為ITU-R BT.601標(biāo)準(zhǔn)。n該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時(shí)使用的采樣頻率，RGB和YCbCr(或者寫成YCBCR)兩個(gè)彩色空間之間的轉(zhuǎn)換關(guān)系等。Digitization Standardn1、顏色空間之間的轉(zhuǎn)換n在數(shù)字域而不是模擬域中RGB和YCbCr兩個(gè)彩色空間之間的轉(zhuǎn)換關(guān)系用下式表示nY=0.299R+0.587G+0.114B nCr=(0.500R-0.4187G-0.0813B)+128 nCb=(-0.1687R-0.3313G+0.500B)+128Digitization Standardn2、采樣頻率：qCCIR為NTSC制、PAL制和SECAM制規(guī)定了共同的電視圖像采樣頻率。這個(gè)采樣頻率也用于遠(yuǎn)程圖像通信網(wǎng)絡(luò)中的電視圖像信號(hào)采樣，如ISDN、電視會(huì)議、CCITT-H.261及光纖通信等。q對(duì)PAL制、SECAM制，采樣頻率fs為 fs=62525N=15625N=13.5MHz,N=864 其中，N為每一掃描行上的采樣數(shù)目。q對(duì)NTSC制，采樣頻率fs為 fs=52529.97N=15734N=13.5 MHz,N=858 其中，N為每一掃描行上的采樣數(shù)目。Digitization Standardn3、有效顯示分辨率：有效分辨率720個(gè)n對(duì)PAL制和SECAM制的亮度信號(hào)，每一條掃描行采樣864個(gè)樣本；對(duì)NTSC制的亮度信號(hào)，每一條掃描行采樣858個(gè)樣本。對(duì)所有的制式，每一掃描行的顯示樣本數(shù)均為720個(gè)。n4、ITU-R BT.601q用于對(duì)隔行掃描電視圖象進(jìn)行數(shù)據(jù)化時(shí)，對(duì)NTSCPAL制式彩色電視的采樣頻率和有效顯示分辨率的規(guī)定。Subsamplingn8.4.1 Subsampling Introductionn對(duì)彩色電視圖像進(jìn)行采樣時(shí)，可以采用兩種采樣方法。一種是使用相同的采樣頻率對(duì)圖像的亮度信號(hào)和色差信號(hào)進(jìn)行采樣，另一種是對(duì)亮度信號(hào)和色差信號(hào)分別采用不同的采樣頻率進(jìn)行采樣。如果對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱為圖像子采樣(subsampling)。8.4 Subsampling q對(duì)亮度和色差使用不同的采樣頻率q幾種格式：n4：4：4，n4：2：2，n4：1：1，n4：2：0n8.4.2 4:4:4 YCbCr格式n8.4.3 4:2:2 YCbCr格式n8.4.4 4:1:1 YCbCr格式n8.4.5 4:2:0 YCbCr格式qH.261,H.263,MPEG-1qMPEG-2