數(shù)據(jù)分析系統(tǒng)AppDA(AppSoft Data Analysis System)是北京神州普惠科技股份有限公司自主研發(fā)的一款數(shù)據(jù)分析軟件。旨在解決生產(chǎn)、試驗(yàn)過程中數(shù)據(jù)分析處理、可視化展示和數(shù)據(jù)分析建模等問題，適用于軍事仿真、銷售分析、市場(chǎng)調(diào)查、統(tǒng)計(jì)報(bào)告、質(zhì)量控制、科學(xué)研究、社會(huì)調(diào)查、企業(yè)管理、教學(xué)及行政管理等領(lǐng)域。系統(tǒng)涵蓋分析模型定義、算子之間的聚合算法、分析數(shù)據(jù)來源、分析的執(zhí)行等，還包括常用的分析算法以及自定義分析算子，具有算法多、可視化、可擴(kuò)展等特點(diǎn)，是一款優(yōu)秀的數(shù)據(jù)分析工具。

 

總體流程圖

 

數(shù)據(jù)分析系統(tǒng)AppDA的功能介紹

　　AppDA系統(tǒng)的功能包括：系統(tǒng)基本功能、數(shù)據(jù)分析工程管理、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析算法庫、分析流程設(shè)計(jì)、分析算法擴(kuò)展等。下面針對(duì)部分功能做簡(jiǎn)要介紹：

 

系統(tǒng)功能模塊圖

 

　　1)數(shù)據(jù)分析工程管理

　　數(shù)據(jù)分析流程的每個(gè)步驟需要?jiǎng)?chuàng)建很多資源文件，資源文件通過數(shù)據(jù)分析工程進(jìn)行關(guān)聯(lián)。通過建立數(shù)據(jù)分析工程，可以對(duì)分析相關(guān)的各類信息進(jìn)行統(tǒng)一收集和整理。分析工程保存的信息主要包括：分析流程、數(shù)據(jù)聚集，各類信息以工程項(xiàng)的形式與分析工程關(guān)聯(lián)，每個(gè)工程項(xiàng)都以文件形式保存，分析工程在各工程項(xiàng)之間建立了關(guān)聯(lián)關(guān)系。分析工程中所有工程項(xiàng)可以導(dǎo)出為一個(gè)rar格式的工程包文件，導(dǎo)出過程中可以選擇將工程中所使用到的所有算子壓縮到導(dǎo)出的工程包中。

　　2)數(shù)據(jù)源管理

　　數(shù)據(jù)源定義了分析數(shù)據(jù)的來源，數(shù)據(jù)源中存儲(chǔ)了所有已建立的數(shù)據(jù)庫連接信息，通過指定文件名可以在文件系統(tǒng)中找到文件一樣，通過提供正確的數(shù)據(jù)源名稱，用戶可以找到相應(yīng)的數(shù)據(jù)庫連接。數(shù)據(jù)源可根據(jù)所使用數(shù)據(jù)適配器的類型分為通用數(shù)據(jù)源和專用數(shù)據(jù)源。系統(tǒng)提供TDM資源面板，通過資源面板可實(shí)現(xiàn)TDM系統(tǒng)的登陸、登出、文件上傳、下載、刪除等操作。通過TDM下載的符合格式文件可直接生成數(shù)據(jù)集，系統(tǒng)支持?jǐn)?shù)據(jù)源的創(chuàng)建、編輯、刪除等操作。

　　3)數(shù)據(jù)集管理

　　數(shù)據(jù)集是由系統(tǒng)的使用者定義的虛擬數(shù)據(jù)表，是系統(tǒng)中進(jìn)一步使用數(shù)據(jù)的基礎(chǔ)。定義好的數(shù)據(jù)集均為二維表，包括若干列(“字段”)數(shù)據(jù)，每行為一條記錄。數(shù)據(jù)集可基于不同的原始數(shù)據(jù)來源，如數(shù)據(jù)庫、XML文件等。并且可以基于對(duì)原始數(shù)據(jù)的處理生成，比如在SQL中進(jìn)行關(guān)聯(lián)、過濾、計(jì)算，使用存儲(chǔ)過程等等。甚至可以通過自定義數(shù)據(jù)集，由開發(fā)者自行處理任意需求的數(shù)據(jù)來源格式和預(yù)計(jì)算要求。

　　數(shù)據(jù)集可以直接創(chuàng)建也可以通過數(shù)據(jù)源創(chuàng)建。直接創(chuàng)建數(shù)據(jù)集，需設(shè)定數(shù)據(jù)集的屬性集合與數(shù)據(jù)記錄數(shù)量。通過數(shù)據(jù)源創(chuàng)建數(shù)據(jù)集，需要使用與數(shù)據(jù)源相匹配的數(shù)據(jù)驅(qū)動(dòng)，通過查詢及過濾接口從數(shù)據(jù)源獲得屬性信息和記錄數(shù)據(jù)。還支持用戶根據(jù)數(shù)據(jù)源來創(chuàng)建靜態(tài)數(shù)據(jù)集以及動(dòng)態(tài)數(shù)據(jù)集。

　　● 靜態(tài)數(shù)據(jù)集：數(shù)據(jù)導(dǎo)入系統(tǒng)后形成數(shù)據(jù)集文件便與數(shù)據(jù)源失去連接，只是單純的獲取了數(shù)據(jù)源中對(duì)應(yīng)的數(shù)據(jù)。

　　● 動(dòng)態(tài)數(shù)據(jù)集：數(shù)據(jù)導(dǎo)入系統(tǒng)后形成數(shù)據(jù)集文件與數(shù)據(jù)源保持連接，在進(jìn)行數(shù)據(jù)分析時(shí)，會(huì)自動(dòng)查詢一次數(shù)據(jù)庫，獲取最新的數(shù)據(jù)。

 

數(shù)據(jù)集編輯界面

 

　　4)數(shù)據(jù)處理

　　數(shù)據(jù)集創(chuàng)建完成后，可根據(jù)具體需求針對(duì)數(shù)據(jù)進(jìn)行處理操作，使數(shù)據(jù)成為后續(xù)的分析計(jì)算的輸入。數(shù)據(jù)處理主要包括：數(shù)據(jù)分組、數(shù)據(jù)過濾、合并、相關(guān)性計(jì)算、屬性壓縮變換以及屬性過濾等功能。

　　5)數(shù)據(jù)可視化

　　可以對(duì)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行圖形繪制，直觀地感受數(shù)據(jù)內(nèi)在關(guān)聯(lián)信息以及變化趨勢(shì)。主要包括：散點(diǎn)圖、折線圖、柱狀圖、餅圖、三維散點(diǎn)圖。

 

數(shù)據(jù)可視化界面

 

　　6)數(shù)據(jù)對(duì)比與回放

　　數(shù)據(jù)對(duì)比分析支持用戶選擇兩個(gè)或多個(gè)數(shù)據(jù)數(shù)據(jù)屬性進(jìn)行對(duì)比，支持用戶對(duì)曲線圖局部縮放，極值點(diǎn)顯示等功能。

 

數(shù)據(jù)對(duì)比分析界面

 

　　數(shù)據(jù)回放主要是對(duì)屬性數(shù)據(jù)的回放。包括播放進(jìn)度控制：提供回放進(jìn)度的精確定位功能和截取一個(gè)時(shí)間段來進(jìn)行數(shù)據(jù)回放的功能;屬性數(shù)據(jù)展示：曲線展示視圖的功能是對(duì)數(shù)據(jù)回放過程中參數(shù)數(shù)據(jù)的展示，所提供的功能有數(shù)據(jù)的曲線展示功能，曲線的放大和縮小，顯示數(shù)據(jù)的極大值和極小值，截取一個(gè)時(shí)間段來進(jìn)行數(shù)據(jù)回放的功能，選中當(dāng)前的時(shí)間點(diǎn)來進(jìn)行時(shí)間拖拽定位功能。

 

數(shù)據(jù)回放界面

 

　　7)數(shù)據(jù)分析算法庫

　　AppDA提供各類分析算法，能夠滿足統(tǒng)計(jì)分析、相關(guān)性獨(dú)立性分析、數(shù)據(jù)擬合、因子提取、假設(shè)檢驗(yàn)等多種用途。所有分析算法都采用插件化方式集成。支持采用公式編輯器、動(dòng)態(tài)鏈接庫、Matlab腳本、R語言、JavaScript腳本對(duì)分析算法進(jìn)行擴(kuò)展，詳細(xì)結(jié)構(gòu)如下圖：

 

分析算法庫

 

　　8)分析流程設(shè)計(jì)

　　分析流程明確了一個(gè)或多個(gè)同級(jí)相鄰算子之間的計(jì)算規(guī)則?？膳c數(shù)據(jù)集進(jìn)行數(shù)據(jù)交互，有獨(dú)立的結(jié)果展示界面。

　?、?分析計(jì)算流程創(chuàng)建支持使用算法庫中的所有算子創(chuàng)建數(shù)據(jù)分析流程;

　　② 支持分析計(jì)算流程文件的可視化方式進(jìn)行編輯、修改、保存以及工程化管理;

　　③ 分析流程設(shè)計(jì)完成后，根據(jù)需要分析的數(shù)據(jù)對(duì)算子數(shù)據(jù)進(jìn)行配置、計(jì)算以及結(jié)果查看。

　?、?可根據(jù)所采集的分析數(shù)據(jù)，對(duì)分析方案中所有計(jì)算流程中各算子的輸入?yún)?shù)和內(nèi)部參數(shù)進(jìn)行配置;

　?、?可根據(jù)計(jì)算流程方向從前至后進(jìn)行計(jì)算，依據(jù)每個(gè)的分析方法計(jì)算出各自的分析結(jié)果然后傳遞至下一個(gè)算子進(jìn)行計(jì)算。在分析計(jì)算流程的執(zhí)行過程中，可以對(duì)分析出錯(cuò)的算子進(jìn)行日志提示。

　?、?可在算子輸出界面中可以查看算子的計(jì)算結(jié)果。

 

分析流程設(shè)計(jì)界面

 

分析結(jié)果查看界面

 

　　9)分析算法擴(kuò)展

　　系統(tǒng)提供自定義數(shù)據(jù)分析算法的擴(kuò)展機(jī)制，能以公式、腳本和DLL等三種方式進(jìn)行擴(kuò)展，其中腳本語言支持JavaScript腳本、R語言、Matlab腳本(需要Matlab運(yùn)行環(huán)境支撐)。

 

自定義公式類算子界面

 

數(shù)據(jù)分析系統(tǒng)AppDA的特點(diǎn)

　　1) 可提供分析數(shù)據(jù)的采集和預(yù)處理功能;

　　2) 支持SQLServer、MySQL、MongoDB等多種數(shù)據(jù)源;

　　3) 為神州普惠試驗(yàn)數(shù)據(jù)管理系統(tǒng)(AppTDM)提供了專門的數(shù)據(jù)適配模塊;

　　4) 采集結(jié)果形成數(shù)據(jù)集，數(shù)據(jù)集用于保存原始數(shù)據(jù)、處理結(jié)果以及中間過程數(shù)據(jù)，同時(shí)可以保存獲取數(shù)據(jù)的SQL查詢命令;

　　5) 支持構(gòu)建動(dòng)態(tài)數(shù)據(jù)集，動(dòng)態(tài)數(shù)據(jù)集可以在每次執(zhí)行時(shí)獲取最新數(shù)據(jù);

　　6) 支持用戶采用包括dll鏈接庫、Matlab腳本、Javascript腳本和R語言等多種方法自定義分析算法;

　　7) 可運(yùn)行于國(guó)產(chǎn)麒麟操作系統(tǒng)，滿足航空、航天、電子、軍工等領(lǐng)域試驗(yàn)數(shù)據(jù)分析的需求。

 

數(shù)據(jù)分析系統(tǒng)AppDA的市場(chǎng)使用情況

　　數(shù)據(jù)分析系統(tǒng)AppDA已經(jīng)在多家用戶單位處得到成功應(yīng)用和驗(yàn)證：

　　1) 中船某所基于AppDA開發(fā)的某仿真試驗(yàn)分析平臺(tái)，能夠完成仿真數(shù)據(jù)分析流程設(shè)計(jì)，數(shù)據(jù)對(duì)比分析及回放，并集成Matlab2014a進(jìn)行分析算法開發(fā);

　　2) 中電某所通過AppDA對(duì)芯片測(cè)試數(shù)據(jù)進(jìn)行分析處理，根據(jù)不同測(cè)試條件下的測(cè)試數(shù)據(jù)對(duì)芯片各項(xiàng)指標(biāo)的計(jì)算并對(duì)芯片良品率進(jìn)行綜合統(tǒng)計(jì)，支持對(duì)測(cè)試結(jié)果不同條件下進(jìn)行對(duì)比分析。