300229 拓爾思
產品功能
任務管理
調度計劃管理
資源管理
集群管理和引擎管理
統計監控分析
操作歷史審計

海聚支持多種任務類型,包括批任務、流任務、SQL任務、JAR任務。對數據融合來說,SQL任務是一個全新的處理形態,它能把數據的融合邏輯,轉為一個簡單的SQL語句來完成。

調度計劃用于配置任務的定時運行策略,合理的給任務分配調度計劃可以使得多個任務協同運行并且合理使用服務器資源,避免出現過多任務爭搶線程和數據庫等資源以及大量任務排隊等待等現象,為服務器穩定運行提供保障。

海聚支持集中管理任務中使用的所有外部連接的資源,并生成相應的血緣圖譜。

海聚支持分布式架構部署,以及flink執行引擎的熱插拔和自動分配,包括flink standalone模式和yarn session模式。

海聚支持任務的執行統計分析、資源的統計分析、錯誤分析等多維度運行分析。

海聚還支持對全息操作行為進行審計分析功能,包括任務的增刪改運行、資源的增刪改、用戶管理行為等等。

任務管理

海聚支持多種任務類型,包括批任務、流任務、SQL任務、JAR任務。對數據融合來說,SQL任務是一個全新的處理形態,它能把數據的融合邏輯,轉為一個簡單的SQL語句來完成。

調度計劃管理

調度計劃用于配置任務的定時運行策略,合理的給任務分配調度計劃可以使得多個任務協同運行并且合理使用服務器資源,避免出現過多任務爭搶線程和數據庫等資源以及大量任務排隊等待等現象,為服務器穩定運行提供保障。

資源管理

海聚支持集中管理任務中使用的所有外部連接的資源,并生成相應的血緣圖譜。

集群管理和引擎管理

海聚支持分布式架構部署,以及flink執行引擎的熱插拔和自動分配,包括flink standalone模式和yarn session模式。

統計監控分析

海聚支持任務的執行統計分析、資源的統計分析、錯誤分析等多維度運行分析。

操作歷史審計

海聚還支持對全息操作行為進行審計分析功能,包括任務的增刪改運行、資源的增刪改、用戶管理行為等等。

產品優勢
易用性
1.純B/S架構,前后端分離,提供全功能RESTful API。
2.基于圖形化的數據流程定義,通過簡單拖拽相關系統組件進行組合即可設計指定的ETL規則。
3.客戶端內置了常用的任務定義模板,用戶可選擇指定的模板快速創建任務;
4.把常用的配置信息定義為資源,從而在多個流程中復用該配置信息,減輕了配置工作量。
5.系統提供了多種監控視圖,可以方便的監控流程的運行狀態以及統計信息,幫助分析性能瓶頸。
分布式架構
1.服務器采用分布式集群架構,增加了系統的穩定性,避免了系統的單點故障。
2.集群支持彈性擴展,任務可分裂為多個子任務,分別調度運行到不同的集群節點,從而提升系統數據處理能力。
3.與k8s、Yarn、Mesos緊密集成,快速故障恢復,動態擴縮容作業。
處理功能強大
1.系統提供了豐富的ETL組件,以支持常見的ETL數據處理需求:支持企業內部常見數據源的抽??;提供了豐富的數據加工轉換功能。
2.支持if-else、switch-case、while等多種處理邏輯。
3.任務之間支持相互調用,以及依賴等多種關聯方式,以實現復雜的ETL處理邏輯。
4.高度靈活的窗口機制,支持對亂序事件的處理。
高性能
1.多線程運行和多機分布式運行,能大大提升數據處理性能。
2.與主流大數據計算框架的集成,可以將復雜的業務邏輯提交到計算平臺進行處理。
3.采用Apache Flink作為數據處理內核,支持流批處理,具有高吞吐、低延遲的特點。
擴展性
1.統一的數據處理框架和插件框架,通過插件接口的二次開發,可以適應多種數據集成背景。
2.提供常用功能的API,方便的與業務應用集成。
安全性
1.自主可控,分級權限安全策略,支持不同權限的操作人員對系統的控制。
2.數據處理任務的審計功能,增加了數據處理任務的可溯性。
3.異常數據的集中查看和管理功能。
4.自動識別背壓點,方便快速定位任務性能瓶頸。
應用場景
全文檢索場景
數據治理場景
數據遷移場景
數據整合場景
據共享交換場景
抽取、清洗、整合海量信息數據,為全文檢索功能的重要組成部分——全文數據庫提供優質數據。

 

幫助組織建立數據質量管理體系,提升數據的完整性、規范性、及時性、一致性、邏輯性。

 

實現新舊系統與數據庫切換的數據接入與數據格式匹配,確保應用系統順利割接。

 

實現多源異構數據整合,加強數據管控能力,消除信息孤島,更好的為上層應用提供服務。

 

用于構建、運行和管理分布式應用系統間、云環境下應用系統之間等數據交換共享任務,以滿足各種大型應用、各種復雜的網絡環境下的業務需求,尤其適用于跨 部門、跨地域、跨層級的數據交換共享應用
用戶價值
高度安全
自主可控,分級權限安全策略。
零編程
零代碼編程快速建立任務降低用戶使用門檻。
圖形化
簡單拖拽組合圖形進行設計,5分鐘建立一條數據通道。
大規模處理
采用分布式架構,任務并發調度降低80%成本,效率提升5倍。
N種數據源
支持幾十種數據源,配置簡便快捷。
實時融合
7*24小時快速抽取,讓延遲不再是問題。
輕量部署
一鍵安裝部署,開箱即用。
最佳實踐
生態環保部-二污普數據清洗項目
本項目通過獲取國家統計局、國家工商總局、國家質檢總局、國家稅務總局、國家電網和南方電網等部門提供的數據,結合環境保護部相關業務部門的環境業務數據,按照第二次全國污染源普查對象和范圍要求,通過TRS海聚對部外和部內數據進行前期預處理,最終建立了一套標準的符合第二次全國污染源普查需求的基本單位名錄庫數據集合。
中國石油-網站群全文檢索項目
中石油站點眾多,外部網站群包括集團公司主站及特色子站、專業公司、油氣田企業、煉化企業、銷售企業、天然氣與管道儲運企業及海外業務企業;內網部署了上千個子站點,在數據同步時,子站點的數據通過TRS海聚自動化整合到搜索引擎系統中。最終,能夠實現網站群數據統一檢索與展示,有效地提高網站服務質量。
中國標準出版社-數字內容計算平臺
中國標準出版社以自身數據的權威性為基礎,為增強知識生產和服務能力,推動傳統出版與數字出版融合發展,通過TRS海聚對標準、法規數據的分類、標簽、關聯、指標、屬性等數據加工、知識抽取和知識融合,實現了數據加工到知識生產的轉變,為社會公眾和國內外企業提供標準查詢和知識服務。通過TRS海聚對非結構化數據的加工處理、建立相關標準、法規知識庫,實現了基于知識圖譜的關聯檢索和圖譜檢索。