搜索引擎蜘蛛(搜索機(jī)器人)是一個(gè)自動(dòng)抓取互聯(lián)網(wǎng)上網(wǎng)頁內(nèi)容的程序，每個(gè)搜索引擎都有自己的蜘蛛。
搜索引擎蜘蛛也叫搜索引擎爬蟲、搜索引擎robot。
各大搜索引擎蜘蛛名稱：
百度：BaiduSpider
谷歌：Googlebot
搜狗：Sogouspider
360搜索：360Spider
有道：YodaoBot
必應(yīng)：msnbot
Msn:msnbot
以上是常見的搜索引擎蜘蛛（爬蟲），如果你的網(wǎng)站不想讓讓某些蜘蛛抓取，那么可以通過robots.txt來限制爬蟲的抓取。
廣州外貿(mào)建站
