Nutch簡介

2020-06-16 17:44:25

1、什麼是 nutch

Nutch 是一個開源的、 Java 實現的搜尋引擎。它提供了我們執行自己的搜索引擎所需的全部工具。

2、研究 nutch 的原因

(1) 透明度： nutch 是開放原始碼的，因此任何人都可以檢視他的排序演算法是如何工作的。商業的搜尋引擎排序演算法都是保密的，我們無法知道為什麼搜尋出來的排序結果是如何算出來的。更進一步，一些搜尋引擎允許競價排名，比如百度，這樣的索引結果並不是和站點內容相關的。因此 nutch 對學術搜尋和政府類站點的搜尋來說，是個好選擇，因為一個公平的排序結果是非常重要的。

(2) 對搜尋引擎的理解：我們並沒有 google 的原始碼，因此學習搜尋引擎 Nutch 是個不錯的選擇。了解一個大型分散式的搜尋引擎如何工作是一件讓人很受益的事情。在寫 Nutch 的過程中，從學院派和工業派借鑑了很多知識：比如， Nutch 的核心部分目前已經被重新用 Map Reduce 實現了。 Map Reduce 是一個分散式的處理模型，最先是從 Google 實驗室提出來的。並且 Nutch 也吸引了很多研究者，他們非常樂於嘗試新的搜尋演算法，因為對 Nutch 來說，這是非常容易實現擴充套件的。

(3) 擴充套件性：你是不是不喜歡其他的搜尋引擎展現結果的方式呢？那就用 Nutch 寫你自己的搜尋引擎吧。 Nutch 是非常靈活的：他可以被很好的客戶訂製並整合到你的應用程式中，使用 Nutch 的外掛機制， Nutch 可以作為一個搜尋不同資訊載體的搜尋平台。當然，最簡單的就是整合 Nutch 到你的站點，為你的使用者提供搜尋服務。

3、nutch 的目標

nutch 致力於讓每個人能很容易, 同時花費很少就可以設定世界一流的 Web 搜尋引擎. 為了完成這一宏偉的目標, nutch 必須能夠做到:

• 每個月取幾十億網頁

• 為這些網頁維護一個索引

• 對索引檔案進行每秒上千次的搜尋

• 提供高品質的搜尋結果

• 以最小的成本運作這將是一個巨大的挑戰。

4、nutch VS lucene

簡單的說:

Lucene 不是完整的應用程式，而是一個用於實現全文檢索的軟體庫。

Nutch 是一個應用程式，可以以 Lucene 為基礎實現搜尋引擎應用。 Lucene 為 Nutch 提供了文字索引和搜尋的 API。

一個常見的問題是；我應該使用 Lucene 還是 Nutch？