Fri
Feb
27
“Tam gia” tìm kiếm tuyên bố hỗ trợ Giao thức loại trừ Robots
REP giúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider - phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
