Bạn có muốn tối ưu hóa tệp robots.txt WordPress của mình không? Bạn không chắc chắn lý do tại sao và làm thế nào tệp robots.txt rất quan trọng cho SEO của bạn? Chúng tôi đã có bạn bảo hiểm. Trong bài này, chúng tôi sẽ chỉ cho bạn cách tối ưu hóa robots.txt của WordPress cho SEO và giúp bạn hiểu tầm quan trọng của tệp robots.txt.
Gần đây, người dùng đã hỏi chúng tôi liệu họ cần tệp robots.txt và tầm quan trọng của nó là gì? Tệp robots.txt của trang web của bạn đóng một vai trò quan trọng trong hiệu suất tổng thể trên trang web của bạn. Về cơ bản nó cho phép bạn giao tiếp với các công cụ tìm kiếm và cho họ biết phần nào của trang web của bạn nên chỉ mục.
Tôi thực sự cần tệp Robots.txt?
Không có tệp robots.txt sẽ không dừng công cụ tìm kiếm thu thập và lập chỉ mục trang web của bạn. Tuy nhiên, rất khuyên bạn nên tạo một tài khoản. Nếu bạn muốn gửi sơ đồ trang web XML của trang web tới các công cụ tìm kiếm, thì đây là nơi mà các công cụ tìm kiếm sẽ tìm kiếm sơ đồ trang web XML của bạn trừ khi bạn đã chỉ định nó trong Google Webmaster Tools.
Chúng tôi thực sự khuyên bạn rằng nếu bạn không có tệp robots.txt trên trang web của mình, thì bạn ngay lập tức tạo một tệp.
Tệp Robots.txt ở đâu? Cách tạo tệp Robots.txt?
Tệp Robots.txt thường nằm trong thư mục gốc của trang web của bạn. Bạn sẽ cần phải kết nối với trang web của bạn bằng cách sử dụng một máy khách FTP hoặc bằng cách sử dụng trình quản lý tập tin cPanel để xem nó.
Nó giống như bất kỳ tập tin văn bản thông thường, và bạn có thể mở nó bằng một trình soạn thảo văn bản thuần như Notepad.
Nếu bạn không có tệp robots.txt trong thư mục gốc của trang web của mình thì bạn luôn có thể tạo tệp. Tất cả bạn cần làm là tạo một tập tin văn bản mới trên máy tính của bạn và lưu nó dưới dạng robots.txt. Tiếp theo, chỉ cần tải nó lên thư mục gốc của trang web của bạn.
Cách sử dụng tệp Robots.txt?
Định dạng tệp robots.txt thực sự khá đơn giản. Dòng đầu tiên thường tên một đại lý người sử dụng. Đại lý người dùng thực sự là tên của bot tìm kiếm mà bạn đang cố liên lạc. Ví dụ: Googlebot hoặc Bingbot. Bạn có thể sử dụng dấu sao * để hướng dẫn tất cả các chương trình.
Dòng kế tiếp đi kèm với Cho phép hoặc Không cho phép các hướng dẫn cho các công cụ tìm kiếm, do đó, họ biết bạn muốn họ chỉ mục nào và bạn muốn lập chỉ mục nào.
Xem tệp robots.txt mẫu:
Đại lý người dùng: * Cho phép: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: /readme.html
Trong tệp tin robots.txt mẫu này cho WordPress, chúng tôi đã hướng dẫn tất cả các chương trình để lập chỉ mục thư mục tải lên hình ảnh của chúng tôi.
Trong hai dòng tiếp theo, chúng tôi đã không cho phép họ chỉ mục thư mục plugin của WordPress và tệp readme.html.
Tối ưu hoá tệp Robots.txt của bạn cho SEO
Trong hướng dẫn dành cho quản trị viên web, Google khuyên các quản trị web nên không sử dụng tệp robots.txt để ẩn nội dung có chất lượng thấp. Nếu bạn đang nghĩ đến việc sử dụng tệp robots.txt để ngăn Google lập chỉ mục danh mục, ngày tháng và các trang lưu trữ khác thì đây không phải là sự lựa chọn khôn ngoan.
Hãy nhớ rằng, mục đích của robots.txt là hướng dẫn các chương trình phải làm gì với nội dung họ thu thập thông tin trên trang web của bạn. Nó không dừng chương trình thu thập dữ liệu trang web của bạn.
Có các plugin WordPress khác cho phép bạn thêm các thẻ meta như nofollow và noindex trong các trang lưu trữ của bạn. WordPress SEO plugin cũng cho phép bạn làm điều này. Chúng tôi không nói rằng bạn nên lưu trữ các trang lưu trữ của mình, nhưng nếu bạn muốn làm điều đó, thì đó là cách thích hợp để thực hiện.
Bạn không cần phải thêm trang đăng nhập WordPress của mình, thư mục quản trị, hoặc trang đăng ký vào robots.txt vì các trang đăng nhập và đăng ký có thẻ noindex được thêm vào như là thẻ meta của WordPress.
Bạn không nên cho phép tệp readme.html trong tệp robots.txt của mình. Tập tin readme này có thể được sử dụng bởi một người đang cố gắng tìm ra phiên bản WordPress bạn đang sử dụng. Nếu đây là một cá nhân, sau đó họ có thể dễ dàng truy cập các tập tin bằng cách đơn giản duyệt đến nó.
Mặt khác, nếu ai đó đang chạy truy vấn độc hại để tìm các trang web WordPress sử dụng một phiên bản cụ thể, thì thẻ không cho phép này có thể bảo vệ bạn khỏi những cuộc tấn công đại chúng đó.
Bạn cũng có thể không cho phép WordPress plugin của bạn thư mục. Điều này sẽ tăng cường bảo mật trang web của bạn nếu ai đó đang tìm kiếm một plugin cụ thể dễ bị tổn thương để khai thác cho một cuộc tấn công đại chúng.
Thêm Sơ đồ trang XML vào tệp Robots.txt
Nếu bạn đang sử dụng plugin WordPress SEO của Yoast hoặc một số plugin khác để tạo sơ đồ trang XML của mình thì plugin của bạn sẽ tự động thêm các đường liên quan đến sơ đồ trang vào tệp robots.txt.
Tuy nhiên nếu không thành công thì trình cắm của bạn sẽ hiển thị liên kết tới Sơ đồ trang web XML của bạn mà bạn có thể thêm vào tệp robots.txt theo cách thủ công như sau:
Sơ đồ trang web: http://www.example.com/post-sitemap.xml Sơ đồ trang web: http://www.example.com/page-sitemap.xml
Tệp Robots.txt Lý tưởng là gì?
Trung thực, nhiều blog phổ biến sử dụng tệp robots.txt rất đơn giản. Nội dung của chúng thay đổi, tùy thuộc vào nhu cầu của trang web cụ thể:
Đại lý người dùng: * Disallow: Sơ đồ trang web: http://www.example.com/post-sitemap.xml Sơ đồ trang web: http://www.example.com/page-sitemap.xml
Tệp robots.txt này chỉ đơn giản nói với tất cả các chương trình để lập chỉ mục tất cả nội dung và cung cấp liên kết đến sơ đồ trang web XML của trang web.
địa điểm
Đại lý người dùng: * Cho phép: /? Display = wide Cho phép: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / refer / Sơ đồ trang web: http://www.site.com/post-sitemap.xml Sơ đồ trang web: http://www.site.com/page-sitemap.xml Sơ đồ trang web: http://www.site.com/deals-sitemap.xml Sơ đồ trang web: http://www.site.com/hosting-sitemap.xml