大連銀行
客戶需求
通過數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，打破數(shù)據(jù)孤島、形成數(shù)據(jù)合力、建設(shè)數(shù)據(jù)質(zhì)量體系，支撐全行數(shù)據(jù)應(yīng)用。解決數(shù)據(jù)加載耗時(shí)越來越長(zhǎng)，無法滿足目標(biāo)系統(tǒng)對(duì)數(shù)據(jù)的時(shí)效性要求；解決只能處理結(jié)構(gòu)化數(shù)據(jù)，無法滿足多樣化（半結(jié)構(gòu)、非結(jié)構(gòu)化）格式數(shù)據(jù)處理需求。
解決方案
基于大數(shù)據(jù)計(jì)算引擎進(jìn)行信息統(tǒng)計(jì)，同時(shí)使用實(shí)時(shí)處理工具進(jìn)行線上日志的實(shí)時(shí)解析比對(duì)及處理；實(shí)現(xiàn)大數(shù)據(jù)的批量處理和快速檢索，大大減少數(shù)據(jù)加載耗時(shí)，通過分布式計(jì)算避免I/O瓶頸，支持線性擴(kuò)展，支持非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和處理，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一整合，實(shí)現(xiàn)多租戶管理；使用流程工具調(diào)用每天的批處理業(yè)務(wù)，提供穩(wěn)定高效的批處理性能，以及高并發(fā)，且支持全文索引下的毫秒級(jí)查詢。
應(yīng)用效果
數(shù)據(jù)倉(cāng)庫(kù)從傳統(tǒng)Oracle庫(kù)遷移到大數(shù)據(jù)數(shù)倉(cāng)后，并行入庫(kù)任務(wù)性能提升7.34倍，并行任務(wù)最多提升46.6倍；在核心存儲(chǔ)過程性能方面，總體核心作業(yè)性能提升了5.7倍；大數(shù)據(jù)量批處理性能從小時(shí)級(jí)降低到分鐘級(jí)甚至秒級(jí)；對(duì)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)將全行數(shù)據(jù)進(jìn)行歸集并整合，為全行業(yè)務(wù)應(yīng)用提供數(shù)據(jù)服務(wù)；對(duì)外提供了涉及營(yíng)銷與風(fēng)控的價(jià)值數(shù)據(jù)，比如客戶畫像、欺詐名單等。
