前些日子,客戶的一個網站,是一個內網??蛻舴从痴f是,自己網站上的信息泄漏到了網上。客戶發過來關鍵詞,我在谷歌里面檢索,確實搜到了信息。可前幾天我在網站中做了設置,加了robots文件,做了這樣的設置:User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /User-agent: GooglespiderDisallow: /User-agent: googlespiderDisallow: /可還是能在谷歌上通過檢索搜到本網站的信息。谷歌進行搜索時,求各位大神,想想辦法。還有就是,通過網址,人們就可以直接下載,但是網站不想這樣,因為本網站是一個內網,必須通過驗證登陸,我應該怎樣設置,才能在通過網址下載時,先進行登陸操作。
怎樣不讓百度或者是谷歌等搜索引擎抓取到自己網站上的信息?
鴻蒙傳說
2018-07-23 09:10:39