來源:科技日報
2020-04-17 17:19:04
衛(wèi)星雖被形象地稱為“天眼”,事實上衛(wèi)星數(shù)據(jù)的應(yīng)用,卻難以做到“盡收盡用”。
中國工程院院士楊小牛就曾經(jīng)表示,衛(wèi)星在天上飛來飛去,效能其實并不高,每天只有幾十分鐘時段內(nèi)采集到的數(shù)據(jù)是地面需要的。
那些大量的被認為是無效數(shù)據(jù)的“廢片”,有沒有可能被利用起來?
“我們利用高性能的云計算和建模的方法,構(gòu)建了全中國范圍內(nèi)2000年1月1日到2018年12月31日逐日的無縫數(shù)據(jù)立方體,基本上填補了同時實現(xiàn)高空間分辨率和高時間頻率遙感觀測的空白。”4月15日,清華大學理學院院長、地球系統(tǒng)科學系主任宮鵬在線介紹,清華大學地球系統(tǒng)科學系通過公共數(shù)據(jù)資源和時空遙感技術(shù),制作完成首套中國30米逐日無縫遙感觀測數(shù)據(jù)集,以及逐季節(jié)土地覆蓋和逐年土地利用的數(shù)據(jù)集。
首套中國30米分辨率逐季節(jié)土地覆蓋圖
人工智能深度“補片”
“傳統(tǒng)的對地衛(wèi)星觀測,拍下來的一景一景的照片是不同時間采集的數(shù)據(jù),拼在一起并不完整,使用門檻很高。”宮鵬解釋,“衛(wèi)星直接獲得的圖片不能拿來直接用的,因為衛(wèi)星圖片不會是自然連續(xù)的,很可能像100塊的拼圖,少了50塊的效果,但也有可能同樣的拼圖來了好幾塊。”
不止如此,衛(wèi)星軌道的偏差會造成同一地方不同時間拍攝的圖片難以重疊,云彩的遮擋、霧氣不均勻的散射都會導致大量的衛(wèi)星遙感數(shù)據(jù)難以反映地表的真實情況,而成為難用的“廢片”。
衛(wèi)星獲取的圖像不能直接拿來用
基于此前完成的世界上唯一一個10米分辨率全球地表覆蓋制圖數(shù)據(jù)處理過程中積累的經(jīng)驗,清華大學地球系統(tǒng)科學系團隊自主研發(fā)了時空數(shù)據(jù)融合重建的技術(shù)。
“我們構(gòu)建了人工智能需要的知識庫,其中包括世界首套全球全季節(jié)普適樣本庫和相關(guān)領(lǐng)域知識。庫中分為訓練樣本庫和完全獨立的驗證樣本庫。”清華大學博士生劉涵介紹,結(jié)合亞馬遜云服務(wù)(AWS)上面一整套完善的人工智能和機器學習的套件和服務(wù),團隊設(shè)計和訓練了一套適應(yīng)遙感大數(shù)據(jù)的深度遙感特征學習和分類模型。
運用大量計算和圖像時空融合技術(shù),把不完整的“拼圖”重建成時空一致的圖像庫,應(yīng)用人工智能技術(shù)識別例如路面是瀝青、土路還是水泥路面等地表覆蓋類型,通過模型訓練,完成高性能的推理,建立起這一深度遙感制圖模型的“超能力”。這個模型根據(jù)知識庫不斷學習,利用人工智能算法,能夠完成不合格“廢片”的補片工作,甚至可以補足缺失的部分。
“所得到的結(jié)果,最后經(jīng)過遙感專業(yè)化的變化檢測和時空一致性后處理方法,最終得到了中國30米逐日無縫遙感觀測數(shù)據(jù)集和這套全國逐季節(jié)土地覆蓋和逐年土地利用圖。”劉涵說,團隊從原始數(shù)據(jù)到多維時空數(shù)據(jù)庫以及最終的制圖產(chǎn)品中的所有數(shù)據(jù)都統(tǒng)一存放在云服務(wù)平臺的遙感數(shù)據(jù)湖中,方便進行數(shù)據(jù)統(tǒng)一的處理和分析。
云上高性能計算,
提供超高算力
“地球系統(tǒng)科學使用和產(chǎn)生的數(shù)據(jù)是極其巨大的,例如氣候模擬和預測會生成時間間隔在小時級、地面分辨率是3公里的氣候數(shù)據(jù),產(chǎn)生的數(shù)據(jù)量和衛(wèi)星遙感數(shù)據(jù)類似,量級都在PB級以上,相當于數(shù)百萬集高清電影的量級。”宮鵬介紹,因此需要超強算力來完成。
如果進行數(shù)據(jù)中心建設(shè)的話,需要三、四百個機柜,占地成本和時間成本都是巨大的。據(jù)介紹,亞馬遜云服務(wù)(AWS)為項目的完成提供了10萬核左右的云上高性能計算資源。
此外,衛(wèi)星數(shù)據(jù)使用的是AWS公共數(shù)據(jù)集中的數(shù)據(jù)。據(jù)宮鵬介紹,公共數(shù)據(jù)集中存儲了很多公共數(shù)據(jù),包括美國聯(lián)邦地質(zhì)調(diào)查局的陸地衛(wèi)星Landsat數(shù)據(jù)、中等分辨率的成像光譜議MODIS的數(shù)據(jù)等。
對這些數(shù)據(jù)集中的數(shù)據(jù)進行AI處理,如果不在云上進行而是搬運下載后再運算,那搬運的時間也可能需要幾個月。據(jù)介紹,通過云上高性能計算,能夠把算力部署在公共數(shù)據(jù)集周邊,圍繞數(shù)據(jù)進行計算。AWS在全球有22個區(qū),開放數(shù)據(jù)集分布在不同的區(qū)域,需要歐洲的數(shù)據(jù),就可以把算力開到歐洲,如果需要用美國的數(shù)據(jù),算力就可以開到美國。
“這樣的算力和布局使得巨量的計算和分析成為可能。”宮鵬說。
讓小學生也能用遙感圖
“中學生、小學生想拿數(shù)據(jù)做點什么,從里面摳出來,拉幾條曲線,或者把一個區(qū)域拿出來做一些探測、變化、趨勢的分析,都已經(jīng)變得非常容易。”宮鵬說,對于衛(wèi)星公共數(shù)據(jù)的梳理、重建,讓衛(wèi)星遙感圖的使用門檻大大降低,如果說之前只有專業(yè)用戶能從數(shù)據(jù)中獲得價值,那么以后更多的普通用戶也能看懂和利用這些數(shù)據(jù),這將開辟中國衛(wèi)星遙感數(shù)據(jù)處理和信息提取的新的范式。
宮鵬教授認為,這將開辟中國衛(wèi)星遙感數(shù)據(jù)處理和信息提取的新的范式。
“未來我們希望繼續(xù)開發(fā)全球逐日無縫遙感觀測數(shù)據(jù)庫。”宮鵬說,到時人們不用再去美國聯(lián)邦地質(zhì)調(diào)查局或者歐空局的網(wǎng)站上下載原始數(shù)據(jù)了,那些數(shù)據(jù)的處理也非常的艱難,所有的數(shù)據(jù)需求都可以更容易地實現(xiàn),在經(jīng)處理后的有效數(shù)據(jù)中進一步分析和應(yīng)用,并將衍生出更多地應(yīng)用可能。
團隊研發(fā)的世界上唯一一套10米分辨率地表覆蓋圖
基于遙感觀測數(shù)據(jù)集,宮鵬教授團隊進行了相關(guān)的土地利用分析,他介紹,研究發(fā)現(xiàn),我國的耕地確實在減少,但目前耕地的面積比18億畝的耕地紅線還高很多。此外對于中國森林面積的數(shù)據(jù)也進行了時空一致性的計算,呈現(xiàn)了21世紀我國森林面積不斷增加的趨勢,也印證了我國森林保護工程的有效性。研究還發(fā)現(xiàn)我國保護區(qū)有較好的土地保護效應(yīng),但保護區(qū)周圍卻出現(xiàn)了較大的干擾,出現(xiàn)了較強的土地利用和破壞的情況。
“針對這次疫情,我們的城市土地利用數(shù)據(jù)能夠明確指出居住區(qū)在哪,高密度的居住區(qū)在哪,這樣的地區(qū)對疾病的傳播有助長的作用,或者說承擔更大的風險。”宮鵬說,期待能夠為更豐富的數(shù)據(jù)利用提供研究基礎(chǔ)。
想爆料?請登錄《陽光連線》( https://minsheng.iqilu.com/)、撥打新聞熱線0531-66661234或96678,或登錄齊魯網(wǎng)官方微博(@齊魯網(wǎng))提供新聞線索。齊魯網(wǎng)廣告熱線0531-81695052,誠邀合作伙伴。