摘要：Covalent的EthereumWaybackMachine（EWM）不僅是一個長期數(shù)據(jù)存儲解決方案，也是一個可以實現(xiàn)數(shù)據(jù)查詢和分析的完整系統(tǒng)。EWM作為長期DA解決方案，能夠永久存儲數(shù)據(jù)，包括blob數(shù)據(jù)，可以應(yīng)對因狀態(tài)過期和數(shù)據(jù)分片帶來的歷史數(shù)據(jù)可訪問性問題。...

原文作者：0xnatalie

原文來源：substack

以太坊狀態(tài)數(shù)據(jù)膨脹問題與解決方案

隨著以太坊網(wǎng)絡(luò)的流行和應(yīng)用需求的增加，其歷史狀態(tài)數(shù)據(jù)開始快速增長。為應(yīng)對這一問題，以太坊一步步改進，從最初的全節(jié)點到輕客戶端，再到近期的 Dencun 升級引入狀態(tài)過期功能來自動清理長期未使用的數(shù)據(jù)。

以太坊的長期目標(biāo)之一是通過實現(xiàn)分片將數(shù)據(jù)分散到不同的區(qū)塊鏈上，來減少單個區(qū)塊鏈的負(fù)載，Dencun 升級中實施的 EIP-4844 是以太坊網(wǎng)絡(luò)向全面實施分片的重要一步。EIP-4844 引入了「blobs」臨時數(shù)據(jù)類型，讓 Rollup 以更低的成本提交更多數(shù)據(jù)到以太坊主鏈。為了控制狀態(tài)數(shù)據(jù)膨脹，以太坊將 blobs 數(shù)據(jù)在共識層節(jié)點存儲約 18 天后刪除。

除了以太坊自身的改進，還有一些項目比如 Celestia、Avail 和EigenDA也在構(gòu)建解決方案以改善數(shù)據(jù)問題。他們提供了有效的短期數(shù)據(jù)可用性（DA）解決方案，增強了區(qū)塊鏈的實時操作和可擴展性。然后這些方案并沒有解決那些需要長期訪問歷史數(shù)據(jù)的應(yīng)用，如那些依賴于長期存儲用戶身份驗證數(shù)據(jù)的 dApp 或需要進行人工智能模型訓(xùn)練的 dApp。

為了解決以太坊生態(tài)系統(tǒng)中長期數(shù)據(jù)存儲的挑戰(zhàn)，EthStorage、Pinax、Covalent等項目提出了解決方法。EthStorage 為 Rollup 提供了長期的 DA，確保數(shù)據(jù)可以長期被訪問和使用。Pinax、The Graph和StreamingFast聯(lián)合開發(fā)了長期存儲和檢索 blobs 數(shù)據(jù)包的方案。Covalent 的 Ethereum Wayback Machine（EWM）不僅是一個長期數(shù)據(jù)存儲解決方案，也是一個可以實現(xiàn)數(shù)據(jù)查詢和分析的完整系統(tǒng)。

隨著人工智能成為全球技術(shù)發(fā)展的主流趨勢，其與區(qū)塊鏈技術(shù)的結(jié)合也被視為未來的發(fā)展方向。這種趨勢導(dǎo)致了對歷史數(shù)據(jù)訪問和分析需求在不斷增長。在這種背景下，EWM 展示出其獨特的優(yōu)勢。EWM 提供了對以太坊歷史數(shù)據(jù)歸檔和數(shù)據(jù)處理，使得用戶可以檢索復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，對智能合約的內(nèi)部狀態(tài)、交易結(jié)果、事件日志等進行深入分析和查詢。

Ethereum Wayback Machine (EWM) 簡介

Ethereum Wayback Machine（EWM）借鑒了 Wayback Machine 的概念，保存以太坊上的歷史數(shù)據(jù)，并使其可以被訪問和驗證。Wayback Machine 是由互聯(lián)網(wǎng)檔案館 (Internet Archive) 創(chuàng)建的一個數(shù)字檔案項目，旨在記錄和保存互聯(lián)網(wǎng)的歷史。這個工具允許用戶查看過去不同時間點上某個網(wǎng)站的存檔版本，幫助人們了解網(wǎng)站內(nèi)容的歷史變化。

歷史數(shù)據(jù)是區(qū)塊鏈誕生的根本原因，不僅支撐了區(qū)塊鏈的技術(shù)架構(gòu)，也是其經(jīng)濟模型的基石。區(qū)塊鏈設(shè)計之初，就是為了提供一個公開、不可更改的歷史記錄。比如比特幣，是為了創(chuàng)建一個不可篡改、去中心化的賬本，它記錄每一筆交易的歷史，以保證交易的透明性和安全性。歷史數(shù)據(jù)的需求場景非常廣泛，但目前缺乏一種高效且可驗證的存儲方式。EWM 作為長期 DA 解決方案，能夠永久存儲數(shù)據(jù)，包括 blob 數(shù)據(jù)，可以應(yīng)對因狀態(tài)過期和數(shù)據(jù)分片帶來的歷史數(shù)據(jù)可訪問性問題。EWM 專注以太坊上歷史數(shù)據(jù)的歸檔和長期可訪問性，支持復(fù)雜的數(shù)據(jù)結(jié)構(gòu)查詢。接下來，我們將詳細(xì)探討 EWM 如何通過其獨特的數(shù)據(jù)處理流程，實現(xiàn)這一目標(biāo)。

EWM 的數(shù)據(jù)處理流程：提取、精煉與索引

Covalent 是為用戶提供對區(qū)塊鏈數(shù)據(jù)的訪問和查詢服務(wù)的平臺。它通過捕獲和索引區(qū)塊鏈數(shù)據(jù)，并將其存儲在網(wǎng)絡(luò)上的多個節(jié)點上，實現(xiàn)了數(shù)據(jù)的可靠存儲和快速訪問。Covalent 通過 Ethereum Wayback Machine（EWM）來處理數(shù)據(jù)，確保區(qū)塊鏈歷史數(shù)據(jù)的持續(xù)可訪問性。EWM 數(shù)據(jù)處理流程包括三個關(guān)鍵步驟：提取和導(dǎo)出（Extraction and Export）、精煉（Refinement）、索引和查詢（Indexing and Query）。

1. 提取和導(dǎo)出：這是流程的第一步，涉及到從區(qū)塊鏈網(wǎng)絡(luò)中直接提取歷史交易數(shù)據(jù)。這一步驟由專門的實體，即 Block Specimen Producers（BSP），執(zhí)行。BSP 的主要任務(wù)是創(chuàng)建并保存「區(qū)塊樣本」，即區(qū)塊鏈數(shù)據(jù)的原始快照。這些區(qū)塊樣本作為區(qū)塊鏈歷史狀態(tài)的規(guī)范表示，關(guān)鍵在于保持?jǐn)?shù)據(jù)的完整性和準(zhǔn)確性。創(chuàng)建后，這些區(qū)塊樣本會被上傳到分布式服務(wù)器上（基于 IPFS 構(gòu)建），并通過 ProofChain 合約進行發(fā)布和驗證。這樣不僅確保了數(shù)據(jù)的安全性，同時也為其他人提供了關(guān)于數(shù)據(jù)已被安全保存的信號。
2. 精煉：在數(shù)據(jù)提取后，由 Block Results Producers（BRP）來精煉。BRP 負(fù)責(zé)將基礎(chǔ)數(shù)據(jù)轉(zhuǎn)化為更有用的形式。傳統(tǒng)的區(qū)塊鏈數(shù)據(jù)訪問方法通常只能提供有限的信息，且不易于查詢復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。通過重新執(zhí)行和轉(zhuǎn)換數(shù)據(jù)，BRP 能夠提供更詳盡的信息，如合約內(nèi)部狀態(tài)、交易執(zhí)行路徑等。此外，BRP 通過預(yù)處理和存儲加工后的數(shù)據(jù)，顯著減少了對每次查詢或數(shù)據(jù)分析重新運行完整節(jié)點的需求，從而提高了查詢速度，并降低了存儲和計算成本。至此，原始的「區(qū)塊樣本」被轉(zhuǎn)化為更容易被查詢和分析的形式「區(qū)塊結(jié)果」。這一過程不僅加快了 Covalent 網(wǎng)絡(luò)的性能，也為數(shù)據(jù)的進一步查詢和分析提供了更多的可能性。
3. 索引和查詢：最后查詢運營商（Query Operators）將處理好的數(shù)據(jù)整理并保存在便于查找的位置。根據(jù) API 用戶的需求，從分布式服務(wù)器中提取數(shù)據(jù)，確保歷史和實時數(shù)據(jù)都可以用于響應(yīng) API 查詢。這樣用戶便能夠有效地訪問和利用存儲在 Covalent 網(wǎng)絡(luò)中的區(qū)塊鏈數(shù)據(jù)。

Covalent 提供統(tǒng)一的 GoldRush API，支持從多個區(qū)塊鏈（如以太坊、Polygon、Solana 等）獲取歷史數(shù)據(jù)。這個 GoldRush API 為開發(fā)者提供一站式數(shù)據(jù)解決方案，允許開發(fā)者通過單一的調(diào)用獲取賬戶的 ERC20 代幣余額和 NFT 數(shù)據(jù)，從而輕松構(gòu)建加密貨幣和 NFT 錢包（如Rainbow、Zerion），極大簡化了開發(fā)流程。此外，使用 API 訪問 DA 數(shù)據(jù)需要消耗信用積分（Credit），不同類型的請求被分為不同類別（A 類、B 類、C 類等），每個類別都有自己特定的信用成本。這筆收入用于支持運營商網(wǎng)絡(luò)。

未來展望

隨著 AI 的快速發(fā)展，AI 與區(qū)塊鏈的結(jié)合趨勢愈發(fā)明顯。區(qū)塊鏈技術(shù)為 AI 提供了一個不可篡改且分布式驗證的數(shù)據(jù)來源，增強了數(shù)據(jù)透明度和信任度，使 AI 模型在數(shù)據(jù)分析和決策制定時更精確可靠。AI 通過分析鏈上數(shù)據(jù)，能優(yōu)化算法和預(yù)測趨勢，從而直接執(zhí)行復(fù)雜任務(wù)和交易，顯著提高 dApp 的效率和降低成本。通過 EWM，AI 模型可以訪問廣泛的鏈上結(jié)構(gòu)化 Web3 數(shù)據(jù)集，并且這些數(shù)據(jù)具有完整性和可驗證性。EWM 作為 AI 模型與區(qū)塊鏈之間的橋梁，極大地方便了AI 開發(fā)人員的數(shù)據(jù)檢索和利用。

目前已經(jīng)有一些 AI 項目整合了 Covalent：

• SmartWhales：利用 AI 技術(shù)優(yōu)化復(fù)制交易（copy trading）投資策略的平臺。復(fù)制交易依賴于對歷史數(shù)據(jù)的分析來識別成功的交易模式和策略。 Covalent 提供全面且詳盡的區(qū)塊鏈數(shù)據(jù)集，SmartWhales 通過這些數(shù)據(jù)分析過去的交易行為和結(jié)果，識別出哪些策略在特定市場條件下表現(xiàn)良好推薦給用戶。
• BotFi：DeFi 交易機器人。通過整合 Covalent 的數(shù)據(jù)來分析市場趨勢和自動化交易策略，并根據(jù)市場變化自動進行買賣操作?。
• Laika AI：利用 AI 進行全面的鏈上分析。Laika AI 平臺通過整合 Covalent 提供的結(jié)構(gòu)化區(qū)塊鏈數(shù)據(jù)，來驅(qū)動其 AI 模型，幫助用戶進行復(fù)雜的鏈上數(shù)據(jù)分析。
• Entendre Finance: 自動化 DeFi 資產(chǎn)管理，提供實時洞察和預(yù)測分析。其 AI 利用 Covalent 的結(jié)構(gòu)化數(shù)據(jù)來簡化和自動化資產(chǎn)管理，比如監(jiān)控和管理數(shù)字資產(chǎn)的持有情況、自動執(zhí)行特定的交易策略等。

EWM 也在隨著需求的改變不斷的改進升級，Covalent 工程師 Pranay Valson表示，未來 EWM 將擴展協(xié)議規(guī)范以支持其他區(qū)塊鏈如 Polygon 和 Arbitrum，并會將 BSP 分叉集成到如 Nethermind 和 Besu 等以太坊客戶端中，以實現(xiàn)更廣泛的兼容性和應(yīng)用。此外，EWM 在信標(biāo)鏈上處理 blob 交易時，將使用 KZG 承諾，以提升數(shù)據(jù)的存儲和檢索效率，減少存儲成本。