目前數(shù)字化轉(zhuǎn)型對(duì)于市場(chǎng)來說并不是一個(gè)新鮮事物，從技術(shù)視角來看，盡管大模型的涌現(xiàn)帶來人們的更多關(guān)注，但人工智能與大數(shù)據(jù)相關(guān)技術(shù)仍處于創(chuàng)新階段，各行業(yè)正在尋找和探索價(jià)值場(chǎng)景與新興技術(shù)融合的平衡點(diǎn)，希望在新興技術(shù)的加持下能夠在激烈的競(jìng)爭(zhēng)中占據(jù)有利位置。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)，數(shù)據(jù)

數(shù)據(jù)是新一代技術(shù)革命下的生產(chǎn)要素，掌握了生產(chǎn)要素與生產(chǎn)要素的加工方式就是掌握了數(shù)字經(jīng)濟(jì)下的價(jià)值密碼，這已經(jīng)是業(yè)界的基本共識(shí)。SG328資訊網(wǎng)——每日最新資訊28at.com

企業(yè)想要更好地管理數(shù)據(jù)并利用數(shù)據(jù)，就必須了解數(shù)據(jù)在現(xiàn)代企業(yè)中的產(chǎn)生源頭、組織形態(tài)等。企業(yè)數(shù)字化轉(zhuǎn)型一般分為三個(gè)階段：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

從數(shù)據(jù)產(chǎn)生到數(shù)據(jù)價(jià)值落地的過程中，數(shù)據(jù)的信息密度越來越高，其中蘊(yùn)含的知識(shí)也越來越豐富。通過分析企業(yè)數(shù)據(jù)全流程，企業(yè)可以抓住重點(diǎn)環(huán)節(jié)，因地制宜地制定落地規(guī)劃，數(shù)據(jù) 全流程分析是每個(gè)企業(yè)在進(jìn)行數(shù)據(jù)工程落地的前提。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程

從軟件開發(fā)出現(xiàn)到軟件開發(fā)逐步規(guī)模化的過程中， IT 從業(yè)者 們一點(diǎn)點(diǎn)積累下關(guān)于需求、設(shè)計(jì)、實(shí)現(xiàn)、測(cè)試、運(yùn)維等方面的工作最佳實(shí)踐。數(shù)據(jù)在企業(yè)內(nèi)部流轉(zhuǎn)會(huì)經(jīng)歷多個(gè)階段，而每個(gè)階段之間還存在著各種各樣的問題。SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程則是幫助企業(yè)高效地挖掘數(shù)據(jù)價(jià)值，持續(xù)地賦能業(yè)務(wù)增長， 加速數(shù)據(jù)到資產(chǎn)的升華過程的最佳實(shí)踐。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程包含了需求、設(shè)計(jì)、構(gòu)建、測(cè)試、維護(hù)演進(jìn)等階段，涵蓋了項(xiàng)目管理、開發(fā)過程管理、工程工具與方 法、構(gòu)建管理、質(zhì)量管理， 是一套為了應(yīng)對(duì)規(guī)模化生產(chǎn)和使用數(shù)據(jù)、為業(yè)務(wù)提供數(shù)據(jù)支撐， 最終產(chǎn)生價(jià)值的體系。SG328資訊網(wǎng)——每日最新資訊28at.com

• 數(shù)據(jù)工程是一套體系
• 數(shù)據(jù)工程是用來加速數(shù)據(jù)到價(jià)值過程的規(guī)模化最佳實(shí)踐
• 數(shù)據(jù)工程是軟件工程的一部分
• 數(shù)據(jù)工程不是傳統(tǒng)軟件工程在數(shù)據(jù)領(lǐng)域的簡單重現(xiàn)

對(duì)于企業(yè)來說，數(shù)據(jù)工程包括三個(gè)戰(zhàn)略環(huán)節(jié)：數(shù)據(jù)愿景對(duì)齊、數(shù)據(jù)工程落地實(shí)施、數(shù)據(jù)持續(xù)運(yùn)營。SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

愿景對(duì)齊的第一步是通過定義、統(tǒng)一業(yè)務(wù)價(jià)值度量框架來識(shí)別業(yè)務(wù)價(jià)值場(chǎng)景。探索出的業(yè)務(wù)價(jià)值場(chǎng)景需要包含場(chǎng)景的背景、價(jià)值點(diǎn)、 所涉及的用戶、需要什么樣的能力、用戶旅程、所涉及的實(shí)體、風(fēng)險(xiǎn)等信息。SG328資訊網(wǎng)——每日最新資訊28at.com

落地過程就如同孕育新生命一般，其中數(shù)據(jù)梳理規(guī) 劃藍(lán)圖，數(shù)據(jù)架構(gòu)設(shè)計(jì)規(guī)劃骨架，數(shù)據(jù)模型設(shè)計(jì)構(gòu)成器官，數(shù)據(jù)接入則賦予信息感知能力，數(shù)據(jù)處理構(gòu)成中樞 大腦， 測(cè)試、安全部分負(fù)責(zé)為新生兒提供保護(hù)， 每個(gè)步驟相互依賴， 缺一不可，通過數(shù)據(jù)梳理、數(shù)據(jù)架構(gòu)設(shè)計(jì)、數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)測(cè)試、數(shù)據(jù)安全和能力復(fù)用與保障七個(gè)步驟來實(shí)現(xiàn)數(shù)據(jù)工程落地。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)運(yùn)營的目的是要形成企業(yè)看數(shù)據(jù)、用數(shù)據(jù)、將數(shù)據(jù)作為溝通語言和工具的“數(shù) 據(jù)文化”，數(shù)據(jù)只有容易被發(fā)現(xiàn)，才有產(chǎn)生價(jià)值的可能性。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程人員的能力模型

數(shù)據(jù)工程的落地，歸根結(jié)底還是需要由人來完成。構(gòu)建企業(yè)自身的人員能力培養(yǎng)機(jī)制、 搭建企業(yè)人員數(shù)據(jù)能力提升通道是數(shù)據(jù)工程能力持續(xù)迭代的重要保障。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程師能力模型如下：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)產(chǎn)品經(jīng)理的能力模型如下：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)分析師的能力模型如下：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程是數(shù)字經(jīng)濟(jì)下確保數(shù)據(jù)價(jià)值轉(zhuǎn)化的重要保障，是加速數(shù)據(jù)轉(zhuǎn)化為價(jià)值的重要手段，需要應(yīng)對(duì)未來數(shù)字經(jīng)濟(jì)的大趨勢(shì)。為了處理數(shù)據(jù)領(lǐng)域的各種新問題， 各種新技術(shù)、新概念逐漸涌現(xiàn)， 現(xiàn)代數(shù)據(jù)倉庫、數(shù)據(jù)湖、湖倉一體、分布式數(shù)據(jù)架構(gòu)、機(jī)器學(xué)習(xí)、數(shù)據(jù)云原生等逐一登上舞臺(tái)。SG328資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)工程的工具圖譜

數(shù)據(jù)工程是咨詢公司Thoughtworks 給出的概念， 但仍然是新瓶裝舊酒， 個(gè)人可以認(rèn)為，可以映射成傳統(tǒng)意義上的數(shù)據(jù)治理。對(duì)于數(shù)據(jù)治理而言，已經(jīng)有相對(duì)成熟的體系， 下面是數(shù)據(jù)治理的工具全景圖：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

特別地， 對(duì)AI計(jì)算的能力支撐工具圖譜而言，如下圖所示：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

大模型與數(shù)據(jù)工程

人工智能發(fā)展的突破得益于高質(zhì)量數(shù)據(jù)的發(fā)展，數(shù)據(jù)是大模型競(jìng)爭(zhēng)的關(guān)鍵要素之一，大模型的訓(xùn)練需要高質(zhì)量、大規(guī)模、多樣性的數(shù)據(jù)集，而優(yōu)質(zhì)中文數(shù)據(jù)集是稀缺的。行業(yè)數(shù)據(jù)的價(jià)值很高，具有優(yōu)質(zhì)數(shù)據(jù)和一定大模型能力的公司或通過行業(yè)大模型賦能業(yè)務(wù)。SG328資訊網(wǎng)——每日最新資訊28at.com

未來數(shù)據(jù)成本在大模型開發(fā)中的成本占比或?qū)⑻嵘饕〝?shù)據(jù)采集， 清洗， 標(biāo)注等成本。在模型相對(duì)固定的前提下，通過提升數(shù)據(jù)的質(zhì)量和數(shù)量可以提升整個(gè)模型的訓(xùn)練效果。以數(shù)據(jù)為中心的AI工作流如下圖所示：SG328資訊網(wǎng)——每日最新資訊28at.com

圖片SG328資訊網(wǎng)——每日最新資訊28at.com

從 GPT- 1 到 LLaMA 的大語言模型數(shù)據(jù)集主要包含六類：維基百科、書籍、期刊、Reddit 鏈接、 Common Crawl 和其他數(shù)據(jù)集。多模態(tài)大模型需要更深層次的網(wǎng)絡(luò)和更大的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。過 去數(shù)年中， 多模態(tài)大模性參數(shù)量及數(shù)據(jù)量持續(xù)提升。例如， 2022 年 Stability AI 發(fā)布的 Stable Diffusion 數(shù)據(jù)集包含 58.4 億圖文對(duì)/圖像，是 2021 年 OpenAI 發(fā)布的 DALL-E 數(shù)據(jù)集的 23 倍。SG328資訊網(wǎng)——每日最新資訊28at.com

國內(nèi)各行業(yè)數(shù)據(jù)資源豐富，2021-2026 年數(shù)據(jù)量規(guī)模 CAGR 高于全球，數(shù)據(jù)主要來源于政 府/傳媒/服務(wù)/零售等行業(yè)。據(jù) IDC ，2021-2026 年中國數(shù)據(jù)量規(guī)模將由 18.51ZB 增長至 56.16ZB ，CAGR 達(dá)到 24.9%，高于全球平均 CAGR。盡管國內(nèi)數(shù)據(jù)資源豐富，但由于數(shù)據(jù)挖掘不足，數(shù)據(jù)無法自由在市場(chǎng)上流通等現(xiàn)狀，優(yōu)質(zhì)中文優(yōu)質(zhì)數(shù)據(jù)集仍然稀缺。SG328資訊網(wǎng)——每日最新資訊28at.com

百度“文心”大模型訓(xùn)練特有數(shù)據(jù)主要包括萬億級(jí)的網(wǎng)頁數(shù)據(jù)，數(shù)十億的搜索數(shù)據(jù) 和圖片數(shù)據(jù)等。阿里“通義”大模型的訓(xùn)練數(shù)據(jù)主要來自阿里達(dá)摩院。騰訊“混元”大模 型特有的訓(xùn)練數(shù)據(jù)主要來自微信公眾號(hào)，微信搜索等優(yōu)質(zhì)數(shù)據(jù)。華為“盤古”大模型的訓(xùn)練數(shù)據(jù)除公開數(shù)據(jù)外， 還有 B 端行業(yè)數(shù)據(jù)加持，包括氣象， 礦山， 鐵路等行業(yè)數(shù)據(jù)。商湯 “日日新”模型的訓(xùn)練數(shù)據(jù)中包括了自行生成的 Omni Objects 3D 多模態(tài)數(shù)據(jù)集。SG328資訊網(wǎng)——每日最新資訊28at.com

因此，在這個(gè)大模型的時(shí)代， 企業(yè)的數(shù)據(jù)工程中要融入面向大模型的數(shù)據(jù)架構(gòu)，在數(shù)據(jù)產(chǎn)生時(shí)完成自行標(biāo)注，同時(shí)輔之以數(shù)據(jù)服務(wù)商提供的數(shù)據(jù)，將大模型作為默認(rèn)選項(xiàng)形成自己的領(lǐng)域模型。SG328資訊網(wǎng)——每日最新資訊28at.com

拭目以待！SG328資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://m.rrqrq.com/showinfo-26-5203-0.html淺析數(shù)據(jù)工程

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： DDD 必備架構(gòu)--六邊形架構(gòu)

下一篇： 電腦軟件：分享五款高效的電腦寶藏軟件，值得收藏！