我有一個大型音樂網站，擁有大型藝術家數據庫。我一直注意到其他音樂網站正在抓取我們網站的數據（我在這里和那里輸入虛擬的藝術家名稱，然后用google搜索它們）。如何防止屏幕刮擦？可能嗎
3 回答
慕村9548890
TA貢獻1884條經驗 獲得超4個贊
我想你已經成立了robots.txt。
正如其他人提到的那樣，抓取工具可以偽造其活動的幾乎所有方面，并且很難識別來自壞人的請求。
我會考慮：
設置頁面
/jail.html。禁止訪問中的頁面
robots.txt（因此，尊敬的蜘蛛將永遠不會訪問）。將鏈接放在您的頁面之一上，并用CSS（
display: none）將其隱藏。記錄訪問者的IP地址
/jail.html。
這可能有助于您快速識別來自刮板的請求，而這些請求顯然無視您的robots.txt。
你可能也想使你的/jail.html整個整個網站具有相同的，準確的標記為正常的網頁，而是用假數據（/jail/album/63ajdka，/jail/track/3aads8等）。這樣，只有當您有機會完全阻止它們時，不良的刮板才會收到“異常輸入”的警報。
- 3 回答
- 0 關注
- 480 瀏覽
相關問題推薦
添加回答
舉報
0/150
提交
取消