編輯：Olivia，IOSG Ventures
作者：Yang，IOSG Ventures
原文標(biāo)題及鏈接：《IOSG Weekly Brief ｜鏈上數(shù)據(jù)分析平臺現(xiàn)狀與展望 #132》

0.引子

“數(shù)”中自有黃金屋，鏈上數(shù)據(jù)潛藏著無盡的Alpha。當(dāng)我們跟隨smart money聞風(fēng)而動，當(dāng)我們夜以繼日地在NFT Paradise中尋找trending NFT，當(dāng)我們查詢StepN每日新鞋鑄造數(shù)據(jù)時，你是否好奇這些數(shù)據(jù)如何而來？面對眾多鏈上數(shù)據(jù)分析平臺和紛繁復(fù)雜的功能，你是否還在尋找最適合自己的那個平臺？

1. 背景介紹

隨著鏈上生態(tài)的日益蓬勃，如DeFi交易、借貸，NFT的鑄造、交易等，用戶的行為被直接透明地記錄在鏈上。這些鏈上行為的數(shù)據(jù)對應(yīng)著鏈上價值的流動，對這些數(shù)據(jù)的分析和根據(jù)分析而得出的洞察和見解變得極為有價值。鏈上數(shù)據(jù)分析平臺，如Nansen，Token Terminal，Dune Analytics，F(xiàn)ootprint Analytics，flipsidecrypto, glassnode，Skew等順應(yīng)這些日益增長的需求，面向個人和機構(gòu)用戶推出了側(cè)重點略有不同的產(chǎn)品。

本文先將簡述鏈上數(shù)據(jù)分析平臺背后的數(shù)據(jù)架構(gòu)，意在告訴讀者那些鏈上數(shù)據(jù)分析結(jié)果從何而來，如何而來。隨后我們從數(shù)據(jù)豐富度(覆蓋區(qū)塊鏈數(shù)量)、數(shù)據(jù)粒度、數(shù)據(jù)延遲、平臺易用性和查詢自由度等維度為讀者梳理市場上主流的面向個人用戶的數(shù)據(jù)分析平臺。最后分享我們對Web3未來鏈上數(shù)據(jù)索引、查詢和分析的一點暢想。

2. 鏈上數(shù)據(jù)分析平臺數(shù)據(jù)架構(gòu)介紹

雖然區(qū)塊鏈記錄著所有原始的交易數(shù)據(jù)，鏈上數(shù)據(jù)本身都是公開透明的，但當(dāng)我們提出：過去24小時Uniswap的交易量是多少？當(dāng)前百分之多少的BAYC持有者也同時持有至少一個Moonbirds?......等等問題時，鏈上原始數(shù)據(jù)并不能給我們答案，我們需要通過索引(indexing)，處理(processing)，存儲(storage)等等一系列數(shù)據(jù)攝取(ingestion)的處理過程，再根據(jù)所提問題來聚合運算對應(yīng)的數(shù)據(jù)，才能得到問題的答案。直接查詢區(qū)塊鏈來求得問題答案是非常耗時耗力的，為了讓鏈上數(shù)據(jù)能夠被快速檢索，當(dāng)前主流的鏈上數(shù)據(jù)分析平臺會將索引得到的原始鏈上數(shù)據(jù)，經(jīng)過一系列處理后，存入由平臺負(fù)責(zé)更新和管理的數(shù)據(jù)倉庫(data warehouse)中。當(dāng)用戶在Nansen追蹤smart money的交易動態(tài)，或在Dune Analytics上查看可視化分析時，用戶對所謂“鏈上數(shù)據(jù)”的查詢，實際上是在查詢由項目方中心化控制的數(shù)據(jù)庫而非區(qū)塊鏈本身。

鏈上數(shù)據(jù)分析平臺的數(shù)據(jù)倉庫架構(gòu)大致如下：

- 數(shù)據(jù)采集層:? 平臺從區(qū)塊鏈節(jié)點獲取原始鏈上數(shù)據(jù)，部分平臺會接受第三方提供的數(shù)據(jù)源，還有的平臺(如Footprint Analytics)支持用戶上傳鏈下數(shù)據(jù)來輔助最終的數(shù)據(jù)分析。

- 數(shù)據(jù)處理層: 各平臺將原始數(shù)據(jù)以流式處理或批次處理的方式進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換和加載。流式處理中，實時原始數(shù)據(jù)被源源不斷地輸入并被持續(xù)處理，通常意味著數(shù)據(jù)延遲低，分析結(jié)果時效性更高；而批次處理-雖然數(shù)據(jù)延遲會稍高，分析結(jié)果時效性稍低，但更適用于大容量的數(shù)據(jù)處理。

- 數(shù)據(jù)存儲層：經(jīng)過處理后的數(shù)據(jù)會根據(jù)平臺方預(yù)先定義的格式存儲進(jìn)數(shù)據(jù)集的各數(shù)據(jù)表中以待后續(xù)使用。

- 數(shù)據(jù)整合層：存儲的數(shù)據(jù)會被聚合運算。計算可以是根據(jù)預(yù)先設(shè)定好的指標(biāo)來進(jìn)行的(metrics computation)，也可以階段性的(periodic)或是根據(jù)設(shè)定好的條件被觸發(fā)的(event-driven aggregation)等。

- 數(shù)據(jù)分析層：運算完成的結(jié)果被實時地報告、輸出。對于個人用戶而言，我們主要在數(shù)據(jù)分析層與鏈上數(shù)據(jù)分析平臺進(jìn)行交互，比如Nansen提供的Business Intelligence報告界面，Dune Analytics和Footprint Analytics上眾多的的可視化圖表，以及部分平臺提供的API接口等。

各平臺采取了不同的方案來建設(shè)和維護(hù)自己的數(shù)據(jù)倉庫。比如Nansen借助第三方Google Cloud Platform完成數(shù)據(jù)倉庫的建設(shè)和維護(hù)。

(https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence)

圖片來源：Google Cloud Nansen Case Study https://cloud.google.com/customers/nansen

而Dune Analytics，F(xiàn)ootprint Analytics，Token Terminal等平臺則獨立建設(shè)和維護(hù)自己的數(shù)據(jù)倉庫。以Footprint Analytics為例，其數(shù)據(jù)倉庫架構(gòu)如下圖所示。

3. 主流鏈上數(shù)據(jù)分析平臺比較

本節(jié)以內(nèi)容視角和用戶視角，從數(shù)據(jù)豐富度(覆蓋區(qū)塊鏈數(shù)量)、數(shù)據(jù)粒度、數(shù)據(jù)延遲、平臺易用性和查詢自由度等維度來對比幾家主流的鏈上數(shù)據(jù)分析平臺，包括Nansen，Token Terminal，Dune Analytics，F(xiàn)ootprint Analytics。

部分平臺給用戶提供標(biāo)準(zhǔn)化的信息報告界面，比如Nansen，Token Terminal等。

Nansen

Nansen應(yīng)該是大家最為熟悉的鏈上數(shù)據(jù)分析平臺之一。相較于其他平臺，其最為出色的功能是錢包標(biāo)記(wallet profiler/wallet labeling)。借助錢包標(biāo)記并結(jié)合其他鏈上數(shù)據(jù)為用戶提煉出極具價值的信息，比如Smart Money，幫助用戶追蹤巨鯨、重度DeFi玩家的實時動向。其他熱門產(chǎn)品包括Hot Contract, 發(fā)現(xiàn)新興熱門的DeFi和NFT合約；NFT Paradise，一覽實時NFT鑄造數(shù)據(jù)等等。

【覆蓋區(qū)塊鏈】Nansen現(xiàn)在支持Ethereum, Arbitrum, Avalanche, BSC, Celo, Fantom, Optimism, Polygon, Ronin, Terra, Solana共計11條區(qū)塊鏈的鏈上數(shù)據(jù)分析

【數(shù)據(jù)粒度】Nansen普通版僅為用戶提供精選數(shù)據(jù)（curated data）

【數(shù)據(jù)延遲】流式處理和批次處理。部分?jǐn)?shù)據(jù)分析已實現(xiàn)近乎實時的報告

【平臺易用性】零門檻

【查詢自由度】Nansen普通版僅提供標(biāo)準(zhǔn)信息模板界面。針對機構(gòu)客戶對自定義鏈上數(shù)據(jù)查詢和分析的需求，Nansen借助Google Cloud Platform的Blockchain Datasets發(fā)布了Nansen Institutions產(chǎn)品，讓專業(yè)/機構(gòu)用戶能夠編寫滿足定制需求的SQL Queries。

值得一提的是，Nansen在Nansen Research頻道中發(fā)布了不少鏈上分析報告。研究報告會對重點事件進(jìn)行抽絲剝繭般的鏈上追蹤和分析，讀者不妨偶爾閱讀這些報告(如Nansen針對上月stETH脫錨事件發(fā)布的報告https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg)，對學(xué)習(xí)鏈上分析的方法大有裨益。

Token Terminal

Token Terminal以提供準(zhǔn)確的協(xié)議收入(protocol revenue)而著名?；趨f(xié)議收入，Token Terminal計算了各協(xié)議的市銷率（P/S），市盈率（P/E）等數(shù)據(jù)。這些數(shù)據(jù)在一定程度上為各協(xié)議提供了估值基準(zhǔn)。

【覆蓋區(qū)塊鏈】Token Terminal追蹤了超過130個協(xié)議的數(shù)據(jù)

【數(shù)據(jù)粒度】Token Terminal僅為用戶提供精選數(shù)據(jù)（curated data）

【數(shù)據(jù)延遲】批次處理。據(jù)IOSG團(tuán)隊近期與Token Terminal的溝通，目前Token Terminal平臺上的數(shù)據(jù)大約有兩天時間的延遲

【平臺易用性】零門檻

【查詢自由度】僅提供標(biāo)準(zhǔn)信息界面

Token Terminal協(xié)議收入數(shù)據(jù)圖例：過去365天收入前十的區(qū)塊鏈和協(xié)議的收入占比

另外一些主流鏈上數(shù)據(jù)分析平臺則向用戶開放數(shù)據(jù)表，用戶可自由編寫代碼進(jìn)行查詢，在查詢內(nèi)容上給予用戶一定的自由度，如Dune Analytics和Footprint Analytics。

Dune Analytics

Dune Analytics是最早開放用戶自主查詢的鏈上數(shù)據(jù)分析平臺，擁有最大的分析師團(tuán)體和用戶社區(qū)。Dune Analytics提供了高度顆?；脑兼溕蠑?shù)據(jù)，分析師可以自由地利用這些數(shù)據(jù)寫出自定義的查詢。Dune Analytics也對項目方團(tuán)隊開放Abstraction，項目方可以根據(jù)自己協(xié)議的數(shù)據(jù)內(nèi)容創(chuàng)造更適合的數(shù)據(jù)表供分析師使用。但自主查詢具備一定的門檻，分析師需具備PostgreSQL的編寫能力才能創(chuàng)造滿足自己需求的數(shù)據(jù)查詢。而且查詢延遲與分析師SQL編寫水平和對Dune Analytics提供的數(shù)據(jù)表熟悉程度高度相關(guān)。

【覆蓋區(qū)塊鏈】Dune Analytics提供了Ethereum, BSC, Optimism, Polygon, Gnosis Chain, Solana共計6條區(qū)塊鏈的鏈上數(shù)據(jù)

【數(shù)據(jù)粒度】極細(xì)

【數(shù)據(jù)延遲】流式處理。數(shù)據(jù)延遲大約五分鐘

【平臺易用性】Dune Analytics對分析師提出了一定的SQL coding要求

【查詢自由度】高

有了高度顆?；脑紨?shù)據(jù)，分析師便可以在Dune Analytics自由創(chuàng)建鏈上分析。如每日StepN新鞋鑄造及歷史積累數(shù)據(jù) https://dune.com/queries/627689/1170627

Dune Analytics于2022年5月30日發(fā)布了Dune Engine v2。Dune Engine v2在將Dune Analytics的數(shù)據(jù)架構(gòu)進(jìn)行大改來為用戶提供更快查詢響應(yīng)和更好查詢表現(xiàn)的同時，也將對用戶體驗的影響降至最低。

Footprint Analytics

相較于Nansen低使用門檻但僅提供標(biāo)準(zhǔn)化信息界面，Dune Analytics提供了自由查詢但又要求分析師具備編寫PostgreSQL語言的能力，F(xiàn)ootprint Analytics為用戶提供了兩全其美的解決方案，在給予極大的查詢自由度的同時降低了使用門檻。它是如何做到的？

“鏈上數(shù)據(jù)錯綜復(fù)雜，分析師可能需要寫成百上千行代碼才得以完成一個指標(biāo)的計算。為了解決分析門檻高的問題，F(xiàn)ootprint清理和集成鏈上數(shù)據(jù)，給數(shù)據(jù)賦予了業(yè)務(wù)意義，使得用戶無需SQL查詢和編碼也可以分析區(qū)塊鏈數(shù)據(jù)。任何人都可以通過豐富的圖表界面在幾分鐘內(nèi)構(gòu)建自己的自定義圖表，解密鏈上數(shù)據(jù)，發(fā)現(xiàn)項目背后的價值趨勢。”

Footprint Analytics不僅提供原始區(qū)塊鏈數(shù)據(jù)，更將鏈上數(shù)據(jù)進(jìn)行分級。最原始的鏈上數(shù)據(jù)為銅級別(Bronze data)，經(jīng)過篩選、清洗和增強的數(shù)據(jù)為銀級別(Silver data)，進(jìn)一步整理出具備業(yè)務(wù)意義的數(shù)據(jù)為金級別(Gold data)。

已經(jīng)整理完成的具有商業(yè)邏輯和業(yè)務(wù)意義的金銀級別數(shù)據(jù)可以直接用于分析。借助金銀級別數(shù)據(jù)，F(xiàn)ootprint Analytics為用戶提供了通過簡單地拖拽數(shù)據(jù)表就能自主查詢鏈上數(shù)據(jù)的服務(wù)。不管讀者你是否會寫類SQL語言代碼，你都可以快速創(chuàng)建滿足自己定制化需求的數(shù)據(jù)分析信息界面，并將所需信息通過直觀且可互動的圖表可視化。

【覆蓋區(qū)塊鏈】Footprint Analytics目前提供了Ethereum，Arbitrum，Avalanche，Boba，BSC，Celo，F(xiàn)antom，Harmony，IOTEX，Moonbeam，Moonriver，Polygon，Thundercore，Solana等共計17條區(qū)塊鏈的鏈上數(shù)據(jù)

【數(shù)據(jù)粒度】Footprint Analytics既為用戶提供粒度極細(xì)的原始數(shù)據(jù)，也為用戶提供精選數(shù)據(jù)（curated data）

【數(shù)據(jù)延遲】目前Footprint Analytics對采集到的原始數(shù)據(jù)進(jìn)行每日一次的批次處理，數(shù)據(jù)延遲為一天

【平臺易用性】在Footprint Analytics平臺，用戶無需SQL查詢和編碼也可自由分析鏈上數(shù)據(jù)。對于具備SQL代碼能力的分析師，F(xiàn)ootprint也提供原始數(shù)據(jù)供分析師發(fā)揮。

【查詢自由度】高

讀者不妨現(xiàn)在就前往Footprint Analytics，幾分鐘即可上手制作一個自己的鏈上分析界面：教學(xué)視頻

圖片來源：IOSG

4. 一點暢想——去中心化鏈上數(shù)據(jù)分析

鏈上數(shù)據(jù)分析如此重要，當(dāng)今用戶卻只能依賴Nansen，Dune Analytics等中心化管理的“鏈上數(shù)據(jù)”分析平臺來輔助投資決策。在這些平臺上，用戶無法驗證所用數(shù)據(jù)是否未經(jīng)篡改，不得不信任平臺所提供的數(shù)據(jù)集是確鑿真實的?！癉on’t Trust. Verify.”在鏈上數(shù)據(jù)分析這里成了一句空話。

Web3浪潮滾滾而來，鏈上生態(tài)越發(fā)豐富，未來的智能合約和去中心化應(yīng)用可能不僅僅需要原始鏈上數(shù)據(jù)和預(yù)言機所提供的數(shù)據(jù)作為輸入信息，還可能需要輸入基于鏈上原始數(shù)據(jù)計算得出的分析結(jié)果，那時候我們還能信任和使用這些中心化鏈上數(shù)據(jù)分析平臺作這類用途嗎？答案恐怕是否定的。

IOSG團(tuán)隊近期看到已有項目團(tuán)隊在實現(xiàn)去中心化鏈上數(shù)據(jù)查詢和分析的道路上邁出了第一步。由于篇幅受限，且聽下回分解——通向去中心化鏈上數(shù)據(jù)分析之路。

https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence

https://cloud.google.com/customers/nansen

https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg

https://docs.dune.com/data-tables/data-tables

https://docs.dune.com/dune-engine-v2-beta/query-engine

https://www.footprint.network/@Footprint/Footprint-Datasets-Data-Dictionary

https://www.youtube.com/watch?v=Pp9_wgYZB3I