拾捌堂曾在SEO入門字典中教大家什麼是網絡爬蟲（Webspider或Webcrawler）及其對搜尋引擎的貢獻，其實除了搜尋引擎外，網主或網站也會應用到網絡爬蟲，今天拾捌堂就為你介紹3個網絡爬蟲的應用。
一、網站維護
網主其實可以透過自我爬蟲，來為自己的網站除錯。當爬蟲搜索完成後，網主可以透過爬蟲日誌檢查自己的網站有是否有所有連結都正常，找出哪個是無效連結並作出修正，這既可以為網站改善用戶體驗，又可以避免搜尋引擎的Webcrawler找到一些錯誤頁面。網主可使用如Screaming Frog（*add link to another article）這個免費SEO spider軟件，輸入網站網址爬抓你的網站，幫助檢查網站連結的HTTP狀態，看看有沒有「404 Not Found」等的失效連結，從而立即作出修復，免得被Google的Webcrawler爬出錯誤網頁，影響排名評分。
二、蒐集市場資訊
web scraping（網頁抓取）與webcrawling都是索引網站，但是一般把爬取別人的網站來獲取資料的行為稱為web scraping。有些人以web scraping快速獲取市場資訊，比如網店可用程式如crawlzilla快速抓取多個競爭對手的網站數據而不用人手慢慢瀏覽和記下數據，然後跟據數據例如別人的定價來制定商業策略。
三、以爬蟲結集分析發展成商業模式
一些網站更以Webspider的技術發展成為網絡公司，比如Trivago抓取所有酒店的價格來作比較，找出最低價格並推薦給用戶，成為一個網上酒店搜尋引擎，帶來很高的網站流量，然後採取廣告收益模式（advertising revenue model）及賣房佣金賺取收入，從而發展出Trivago為用戶比較酒店最低價格的商業模式。
網絡爬蟲可以獲取網站數據，更可以藉此檢查自己的網站。身為網主的你是否想學習呢？趕快看看拾捌堂的爬蟲工具入門教學，教你如何用免費爬蟲工具Screaming Frog檢查網站連結吧！(*not yet upload, add link)
三大編輯精選：
