解析敦煌網案例，教你學會善用數據資源

轉載贊收藏評論

舉報 2023-01-10

掃描,分享朋友圈

隨著數字經濟時代的到來

率先善用數據資源的企業

注定將會獲得更強的競爭力

進而在大浪淘沙的商業市場中

捕捉更多機遇，搶占鰲頭！

隨著企業數字化轉型的不斷深入，數據對于業務的價值和重要性也逐漸凸顯。無論所在的行業、規模的大小，企業都希望通過更加智能化的方式利用數據，更多的挖掘出數據背后所隱藏的價值，為企業的發展服務。

然而，管理好、利用好數據并非一件容易的事情。業務系統和應用逐年增多，管理難度加大，數據量暴增。越來越多有遠見的企業意識到，只有不斷提升底層數據基礎平臺的性能和能力，才能構建數據驅動的業務。與此同時，構建統一的數據管理標準，使用有效的數據開發工具，使得企業數據獲取的過程高效便捷。面對這些數據管理的共通性挑戰，誰能夠率先找到合適的方法應對，更好的應用數據就成為重要的企業核心競爭力指標。

為企業打造湖倉一體數據智能平臺

針對企業在數據管理和數據價值挖掘方面的需求，滴普科技在亞馬遜云科技上打造的FastData Cloud 實時湖倉平臺基于現代數據棧的建設思路，全面整合了從數據源到數據分析以及數據價值實現的完整鏈路，幫助企業建立統一治理、流批一體、湖倉一體的云原生數據智能平臺，打造高彈性擴展、實時高處理性能、低運維成本、操作和體驗更優的云原生數據智能平臺，實現海量數據實時分析，讓數據平臺真正成為支撐企業數字化轉型的核心基礎設施。

加速企業數據價值洞察

滴普科技通過云上提供的計算能力和基于人工智能幫助企業降低數據準備與數據分析門檻，即使是普通業務人員，也可以自助在 FastData Cloud 中完整實現從數據源的接入，到數據預處理、建模和服務完成整個數據分析過程，并方便結果分享。支撐多種數據源的接入和管理，讓 FastData Cloud 可以通過輕量化的數據接入服務與算法識別表之間的關系，快速生成表關聯。搜索分析引擎是基于 NLP 技術的創新，可自動將自然語言轉化 SQL 實現自然語言搜索分析。
高效實時反饋搜索結果支持即席查詢，用戶無需長時間等待數據分析結果。FastData Cloud 內置實時運算在對3000萬行規模的數據進行常規查詢可做到秒級響應。亞馬遜云科技所提供的計算能力基于與英特爾十多年的工程合作關系，在云上構建定制硬件以確保亞馬遜云科技服務能夠在針對客戶工作負載進行優化的平臺上運行。
圖：滴普科技基于亞馬遜云科技構建的 FastData Cloud

在選擇合作的云服務提供商時，亞馬遜云科技是我們的首選伙伴。我們可以無縫對接亞馬遜云資源，包括 Amazon S3 的數據湖存儲、支持開源大數據框架的 Amazon EMR 服務打造一站式大數據分析服務。我們的 FastData Cloud 解決方案采用存儲、計算分離架構，即使在海量數據之上，也能實現高性能高并發的處理與查詢需求。再結合增強數據準備、探索式分析、高效反饋結果等簡單易用的產品功能，助力企業客戶的業務人員及時做出決策。”

——劉波

FastData DataFacts 產品總經理

滴普科技基于亞馬遜云科技構建的 FastData Cloud 功能

客戶案例——敦煌網大數據平臺

敦煌網是全球領先的在線外貿交易平臺，專注小額 B2B 賽道，為跨境電商產業鏈上的中小微企業提供從店鋪運營、流量營銷、倉儲物流、支付金融、客服風控、關檢匯稅到業務培訓等環節的全鏈路賦能，打造集相關服務于一體的全平臺、線上化外貿閉環模式，極大降低中小企業對接國際市場的門檻，在賦能國內中小產能的同時惠及全球中小微零售商。
在業務發展初期，敦煌網客戶主要采用第三方機房服務器托管方式為業務提供支撐，隨著業務和數據量的增長，算力瓶頸無法實現高效伸縮、大量數據資產無法實現自上而下的高效管理，企業需要更加智能化的方式來挖掘更多的來自大數據的價值。
針對敦煌網的業務現狀與需求，亞馬遜云科技合作伙伴滴普科技為客戶提供了包括數據平臺咨詢與建設的完整方案，幫助客戶構建符合當前業務需求和未來發展的新一代大數據平臺，以解決電商數據源多樣、數據量大、數據類型多的管理難題，并在云上借助 Amazon S3 統一數據湖與 Amazon EMR 統一的數據框架服務實現數據的快速采集、存儲、安全管理與大數據處理。在數據治理方面，滴普科技將 FastData Cloud 實時湖倉平臺中的數據智能開發平臺 DataFacts 嵌入客戶業務中，為客戶的數據工程師提供包括數據集成、數據治理、數據開發、數據目錄能力，從而實現數據價值可持續釋放。
圖：滴普科技為客戶提供的數據智能開發平臺與亞馬遜云科技融合架構
客戶獲得的價值：

在成本方面，通過 Amazon EMR 彈性可擴展的云上大數據解決方案替代傳統本地托管的服務器，實現業務高峰期生產環境資源的擴展，并可在集群空閑時期自動實現縮放節點和關閉集群，將此前高昂的基礎設施成本轉化為更靈活的業務運營成本。

在數據開發效率方面，客戶借助滴普科技 FastData Cloud 進行可視化的界面協同開發，調度支持日均百萬級的大數據任務執行，并實現了嵌套 DAG，采用更加靈活的子 DAG 任務混合編排方式，為 DAG 下存在多層級子 DAG 嵌套使用的復雜調度場景提供更靈活與穩定的支持。

在數據安全方面，通過 FastData Cloud，幫助客戶使用平臺的能力對腳本進行統一的可視化管理，使增刪改操作可追溯，保證了數據開發的腳本在平臺的開發與測試、生產環境的開發權限控制，從而增強了業務數據集的安全性與平臺操作的審計能力。

在數據治理能力方面，通過 FastData Cloud 提供的能力，客戶利用數據建模圍繞數據標準保證數據在建模與開發環節的質量。通過 Amazon EMR 與 FastData Cloud 的結合，很好地形成了統一的數據資產地圖，實現端到端的數據一站式治理。

目前，滴普科技 FastData Cloud 一站式云原生大數據分析平臺已經上架亞馬遜云科技Marketplace，企業客戶能夠通過訂閱的方式快速獲得該解決方案，并得到來自滴普科技和亞馬遜云科技的技術支持。未來，亞馬遜云科技合作伙伴滴普科技將繼續在數據基礎平臺與數據治理等方面保持緊密合作，共同推出更多的產品和服務，立足中國，面向全球，助力中國企業出海，助力其大數據平臺建設穩中有升，成就中國品牌全球發展。

公司介紹

關于滴普科技

北京滴普科技有限公司（deepexi.com）成立于2018年，是領先的數據智能服務商。滴普科技以最新的數據智能技術為基礎，以數據的業務價值為核心，為客戶提供數據智能領域的大數據基礎軟件產品與服務。滴普科技的核心產品——實時湖倉平臺 FastData，全面整合了從數據源、數據分析到數據價值實現的完整鏈路，幫助企業建立統一治理、流批一體、湖倉一體的云原生數據智能平臺，實現海量數據實時分析，成為支撐企業數字化轉型的核心基礎軟件設施。FastData Cloud 云服務產品，以云原生部署、彈性計費的商業模式，幫助客戶提供按需組合式數據工具搭建。DEEPNOVA 開發者社區聚焦數據架構領域，與開發者共同探討核心基礎設施平臺能力的技術發展趨勢。

關于亞馬遜云科技與英特爾

亞馬遜云科技和英特爾之間擁有14年以上的合作伙伴關系，專注于開發、構建及支持專用于管理成本和復雜性、加速實現業務成果并進行擴展的云服務，以滿足當前和未來的計算要求。
英特爾的中央處理器產品為部署在亞馬遜云科技上的多種云計算服務提供基礎。由英特爾? 至強? 可擴展處理器提供支持的 Amazon Elastic Compute Cloud (Amazon EC2) 實例在整個亞馬遜云科技覆蓋地理區域內提供范圍最廣、全球性覆蓋和可用的計算實例。
更多內容，歡迎關注

覺得內容還不錯的話，給我點個“在看”唄