一、Robots功能：用于約定允許，還是禁止搜索引擎抓取網(wǎng)站內(nèi)容。二、概念：Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（RobotsExclusionProtocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。三、…
蜀ICP備 08009168號-6 · 川B2-20170012 · | 川公網(wǎng)安備 51019002000589號 · | 四川省旅游電子商務(wù)協(xié)會（副會長單位）
Copyright ? 2007-2025 Stourweb. All Rights Reserved | 四川思途智旅軟件有限公司 版權(quán)所有
小米
