Tag: robots.txt

Web spider也稱為Webcrawler（網絡爬蟲），是一種網絡機械人，會搜查及分析網絡中各個網站頁面的數據，包括文字、表格和鏈接，並會沿著網頁內的超連結一直搜索和爬取其他的網頁，以類似樹枝分叉狀延伸下去，一直循環直到把所有可能到達的網頁抓取出來。 而它在搜尋引擎的運用上，就發揮偵察兵的作用。它先抓取網站所有頁面，然後下載到自己的伺服器上形成一個資料庫，資料庫儲存著每一個網絡上可到達頁面的內容。這樣做的目的是將預先搜尋到的網頁放在數據庫上建立索引，好讓搜尋引擎能夠在搜尋進行時快速查詢數據庫，便可以更有效率地回饋匹配的網頁給搜尋引擎用家。而且，它會每日持續運行，所以能夠抓獲有變化的網頁內容，以確保資料庫保持更新。 對於網主來說，我們要讓搜尋引擎的Web …