成果信息
該示范平臺集合了國家自然科學(xué)基金項(xiàng)目和三江集團(tuán)網(wǎng)格系統(tǒng)示范平臺項(xiàng)目的研究成果,運(yùn)用Globus網(wǎng)格中間件,J2EE等技術(shù),把分散的集群(如LSF集群等)組織成為網(wǎng)格,由網(wǎng)格對資源進(jìn)行統(tǒng)一的管理和分配,從而實(shí)現(xiàn)一個(gè)統(tǒng)一的調(diào)度平臺,并提供友好的操作界面。用戶通過網(wǎng)頁界面,可以對任務(wù)進(jìn)行工作流作業(yè)自定義、提交、狀態(tài)(當(dāng)前及歷史記錄)查詢、重復(fù)下載輸出結(jié)果等操作。平臺內(nèi)部封裝了工作的流程、基于DAG的調(diào)度算法、容錯(cuò)機(jī)制、智能環(huán)境監(jiān)控、中間數(shù)據(jù)的傳輸?shù)?,用戶不必對其過程進(jìn)行干預(yù)。目前該平臺在三江航天集團(tuán)運(yùn)行良好。 該平臺的技術(shù)特點(diǎn)包括: (1)能夠?qū)Ψ稚⒌馁Y源進(jìn)行整合,并對不同機(jī)群(LSF、PBS等)的資源統(tǒng)一調(diào)配,可獲得較高的軟件和硬件利用率; (2)調(diào)度保障體系將調(diào)度器分布于多個(gè)計(jì)算資源,通過調(diào)度器之間的協(xié)作機(jī)制,實(shí)現(xiàn)區(qū)域自治及全局協(xié)同相結(jié)合,降低實(shí)時(shí)任務(wù)的調(diào)度成本,提高調(diào)度性能,并能適應(yīng)動(dòng)態(tài)的計(jì)算環(huán)境; (3)構(gòu)建實(shí)時(shí)任務(wù)保障體系,量化分析環(huán)境信息,判斷異常環(huán)境的出現(xiàn)及外在環(huán)境因素發(fā)生變化時(shí),如何根據(jù)環(huán)境的變化,迅速準(zhǔn)確地向調(diào)度器反饋有價(jià)值的信息; (4)以此為基礎(chǔ),實(shí)現(xiàn)了容錯(cuò)機(jī)制,對作業(yè)的運(yùn)行進(jìn)行監(jiān)控,根據(jù)情況的變化實(shí)現(xiàn)任務(wù)的遷移機(jī)制; (5)構(gòu)建界面友好﹑便于操作﹑功能完備的面向?qū)崟r(shí)任務(wù)(兼容普通任務(wù))的網(wǎng)格門戶平臺。DAG任務(wù)按照任務(wù)劃分的統(tǒng)一操作接口生成作業(yè)描述,由系統(tǒng)無縫管理,并顯示已提交任務(wù)的狀態(tài)、任務(wù)所在的處理結(jié)點(diǎn)、虛擬組織中計(jì)算結(jié)點(diǎn)的軟硬件資源的動(dòng)態(tài)信息及計(jì)算結(jié)點(diǎn)任務(wù)隊(duì)列的信息等。 )
背景介紹
網(wǎng)絡(luò)把地理上分布的資源集成為一臺能力巨大的超級計(jì)算機(jī),提供計(jì)算資源、存儲資源和數(shù)據(jù)資源等方面的全面共享。用戶通過網(wǎng)絡(luò)向網(wǎng)絡(luò)提交各種作業(yè),網(wǎng)格把用戶的請求和提供的資源能力進(jìn)行合理的匹配后,將這些作業(yè)分配到合適的計(jì)算資源中。機(jī)群系統(tǒng)作為網(wǎng)格中計(jì)算資源的一部分,負(fù)責(zé)接受網(wǎng)格分配給作業(yè)并通過網(wǎng)格作業(yè)的結(jié)果返回給用戶。然而,用戶提交的這些作業(yè)的種類各不相同,網(wǎng)格中的機(jī)群能夠處理的作業(yè)類型卻是有限的,例如,當(dāng)用戶向網(wǎng)格提交作流關(guān)系的作業(yè)時(shí),網(wǎng)格中的機(jī)群就無法很好地完成這種類型的作業(yè)。在這種情況下,需要設(shè)計(jì)出一種適用于機(jī)群環(huán)境的調(diào)度算法來解決網(wǎng)格環(huán)境下機(jī)群工作流作業(yè)的調(diào)度問題。)
應(yīng)用前景
該研究成果可應(yīng)用于高性能計(jì)算領(lǐng)域, 可以帶來很大的經(jīng)濟(jì)效益和社會效益。同時(shí)該軟件是通用的基礎(chǔ)軟件,亦可廣泛用于眾多計(jì)算性能要求較高的行業(yè)和部門,如:地震、郵電、電力、消防、企業(yè)、商業(yè)、財(cái)務(wù)、公安、軍事、防洪、減災(zāi)、礦產(chǎn)、測繪等行業(yè)或部門,因此成果具有廣闊的市場前景。)