以文本方式查看主題 - 曙海教育集團論壇 (http://www.xinguifushi.cn/bbs/index.asp) -- FPGA初中級 (http://www.xinguifushi.cn/bbs/list.asp?boardid=25) ---- FPGA是實現綠色搜索技術的關鍵 (http://www.xinguifushi.cn/bbs/dispbbs.asp?boardid=25&id=1512) |
-- 作者:wangxinxin -- 發布時間:2010-11-19 11:22:18 -- FPGA是實現綠色搜索技術的關鍵 配置文件服務器根據從客戶端獲得的配置文件過濾一系列文檔,并返回分數流。為了評估性能,我們同時創建了 C++ 參考實施和 FPGA 加速實施方案。兩種版本的實施方案基本功能相同,都能通過 TCP/IP 接口接收構成配置文件的文檔列表,用相關性模型構建配置文件,并根據該配置文件對存儲器緩沖的文檔進行評分,從而通過 TCP/IP 向客戶端返回文檔分數流?稍诖鎯ζ髦芯彌_文檔流,否則會由于緩慢的磁盤存取影響應用的性能。 我們在具有兩個 RC100 刀片的 SGI Al 圖 2 —— 在 FPGA 子系統架構中,Virtex-4 器件通過 SGI 的 NUMAlink 接口與主機平臺連接。 對于 C++ 語言應用而言,我們實施 Lemur 信息檢索 (IR) 框架,對于與 FPGA 應用的交互,我們則使用 SGI 可配置專用計算 (RASC) 庫。Lemur Toolkit(詳情訪問 www.lemurproject.org)是一套開源工具集,專為 IR 研究而精心設計,可支持索引以及多種相關性和檢索模型。RASC 庫是 SGI的專有解決方案,能夠通過高性能 NUMAlink 互連機制將 FPGA 與主機系統相集成。RASC 庫定義的硬件抽象 API 可控制系統中的所有硬件元素。 我們用 Mitrionics 軟件開發工具套件 (SDK) 將特定域的 Mitrion-C 語言轉換為 VHDL。生成的VHDL 現在能夠方便地指向 FPGA 器件架構。我們采用帶 XST 合成工具的賽靈思 ISE? 工具鏈來創建 Virtex-4 比特流。 高級 FPGA 編程 Mitrionics SDK 可提供 Mitrion-C 作為高級語言,專用于滿足在 FPGA 上快速開發應用之需。不過,作為后綴的 C 有些誤導作用。盡管這種語言采用了 C 風格的語法,但實際上是一種遵循函數編程風格的單賦值數據流語言。Mitrion-C 原生支持廣泛(矢量)而深入(管道)的并行功能,因而非常適用于處理數據流的算法,例如過濾以及其他眾多類型的文本和數據挖掘算法等。 Mitrion-C 還提供了一種流數據類型,可配合 foreach looping 構造實現流水線操作;此外,還提供矢量數據類型以支持數據并行工作,以及支持順序列表的列表數據類型。具體而言,用戶可過濾foreach loop 的流輸出,生成較小的流,如以下 Mitrion-C 代碼示例所示。此外,程序人員還能用元組結構 (tuple construct) 創建功能強大的數據類型。最后還有一個需要指出的特性是,該語言能支持可變寬度整數和浮點數。 為了在 FPGA 上高效實施評分操作,我們必須解決的關鍵問題是高效查詢配置文件以及文檔流的高效 I/O 流。 對于文檔中的每個詞,應用都要查詢配置文件中相應的詞并獲得詞加權 (term weight)。由于大多數查詢都找不到結果(即大多數文檔的大多數詞不會出現在配置文件中),因此必須首先丟棄否定詞。鑒于此,我們在 FPGA Block RAM 中采用了 Bloom 過濾器 [9]。BRAM 的內部帶寬越高,拒絕否定詞的結果就越快。由于需要查詢,因此配置文件必須作為某種散列函數進行實施。不過,由于配置文件的大小不能提前知道,因而我們不可能構建出完美的散列函數。不完美的散列函數會出現沖突問題,進而降低性能。 為了解決這一問題,我們采用了分檔方案,即將外部 SRAM 分區為 bin,每個 bin 都可包含固定數量的配置文件詞。Bin 的大小決定了可處理的沖突數。如需給 bin 分配配置文件詞,只需將詞 ID 的較下部分作為存儲器地址,從而避免了實際的散列操作。 |