SEO

Robots.txt คืออะไร สำคัญอย่างไรต่ออันดับ SEO

Fast To Read

ด้วยเทคโนโลยีที่พัฒนาขึ้นอย่างไม่หยุดยั้ง การทำเว็บไซต์เพื่อให้ได้รับความนิยมติดอันดับหน้าแรกของ Search Engine อย่าง Google จึงต้องอาศัยเทคนิคอันแสนหลากหลาย และหนึ่งในวิธีที่กำลังถูกพูดถึงอย่างมากต้องยกให้กับ “Robots.txt” ซึ่งตรงนี้เชื่อว่าแม้เป็นคนที่อยู่ในแวดวงการทำ SEO มานานก็ยังอาจสงสัยว่า Robots.txt คืออะไร มีความสำคัญต่อการทำเว็บไซต์พร้อมช่วยเพิ่มอันดับ SEO ได้จริงหรือไม่ ลองมาหาคำตอบทั้งหมดกันได้เลยค่ะ

Robots.txt คืออะไร

Robots.txt คืออะไร

Robots.txt คือ สคริปต์ (Script) หรือไฟล์ที่มีการระบุข้อความขึ้นมาเพื่อต้องการบอกต่อไปยัง Bot ของ Search Engine (ซึ่งในเมืองไทยคือ Google Bot) เพื่อให้พวกมันรู้ว่าควรเข้าไปเก็บรายละเอียดต่าง ๆ ของเว็บไซต์ หน้าเพจ คอนเทนต์ ไฟล์ดาวน์โหลดในหน้าใดบ้างเพื่อทำเป็นสถิติ รวมถึงยังสามารถกำหนดได้ว่าจะไม่ให้เก็บข้อมูลหรือทำดัชนี (Index) กับหน้าเว็บหรือคอนเทนต์ใด

ซึ่งต้องเข้าใจการทำงานของ Bot (ในภาษาคนทำเว็บไซต์จะเรียก Search Engine Crawler) จะทำหน้าที่เข้ามายังหน้าเว็บไซต์ต่าง ๆ เพื่อจัดเก็บข้อมูลและทำดัชนีแบบอัตโนมัติ หากไม่มีการกำหนดขอบเขตหรือทำป้ายห้ามใดเอาไว้เลย Bot เหล่านี้ก็ค้นหารายละเอียดทั้งหมดบนเว็บได้แบบ Non-Stop รวมถึงข้อมูลส่วนตัวบางอย่างที่ไม่ต้องการเผยแพร่สู่ผู้อื่นด้วย เช่น ข้อมูลส่วนตัวสมาชิก รหัสผ่าน เอกสารลับเฉพาะ รายชื่อสมาชิก เป็นต้น

ดังนั้นหากอธิบายให้เข้าใจง่ายขึ้น Robots.txt คือ ตัวที่จะกำหนดได้ว่า Google Bot สามารถเข้าไปเก็บข้อมูลหน้าใดบนเว็บไซต์ของเราได้บ้างนั่นเองค่ะ

ความสำคัญของ Robots.txt บนเว็บไซต์

Robots.txt คืออะไร

จากคำอธิบายเกี่ยวกับไฟล์สคริปต์ตัวนี้ก็พอจะทำให้เข้าใจถึงหน้าที่กันอยู่พอสมควรเลยนะคะ ซึ่งความสำคัญของ Robots.txt เองมีด้วยกันหลายด้านมาก สิ่งแรกที่คนทำเว็บควรรู้คือ คุณต้องมี Robots.txt เพื่อบอกกับ Bot อย่างชัดเจนว่าหน้าไหนอนุญาตให้เข้ามาเก็บข้อมูลได้ หน้าไหนห้ามเข้ามาวุ่นวายเป็นอันขาด เป็นการปกป้องข้อมูลลับเฉพาะหรือข้อมูลสำคัญที่ไม่ต้องการแพร่งพรายไปยังบุคคลอื่น ซึ่งถ้าสรุปความสำคัญก็พอจะแบ่งออกได้ดังนี้ค่ะ

  • ป้องกันการนำเอาเนื้อหาคอนเทนต์ที่ซ้ำกัน (Duplicate Content) ไปแสดงบนหน้าการค้นหาเดียวกัน
  • ป้องกันหน้าที่ถูกสร้างขึ้นแบบอัตโนมัติโดยปลั๊กอินถูกเก็บดัชนีเพื่อนำไปแสดงบนหน้า SERPs เพราะหน้าเหล่านั้นส่วนใหญ่ไม่ได้มีข้อมูลอะไรน่าสนใจมาก และมักทำให้คะแนนอันดับ Performance ลดลง เนื่องจากถูกมองว่าเป็นเนื้อหาที่ไม่มีคุณภาพ
  • ป้องกันไม่ให้ Bot เก็บดัชนีในบางหน้าที่คุณไม่ต้องการให้มีสถิติออกไป เช่น ไฟล์เอกสารดาวน์โหลด PDF ข้อมูลลับ ไฟล์รูปภาพ และอื่น ๆ ที่ไม่ต้องการให้ผู้คนค้นหาเจอ
  • ป้องกันการเข้าถึงข้อมูลเฉพาะที่มีผลต่อความน่าเชื่อถือของเว็บไซต์ เช่น ข้อมูลส่วนตัวสมาชิก
  • Bot สามารถเข้าถึงหน้าเว็บไซต์ได้ง่ายตามสคริปต์ที่กำหนดเอาไว้ชัดเจน ส่งผลโดยตรงต่อคะแนน Performance ของเว็บ และ Bot ยังเข้าถึง Sitemap หรือผังเว็บไซต์ (กรณีเขียนระบุ Sitemap ลงไปใน Robots.txt) จึงทำให้พวกมันรู้ที่อยู่เว็บชัดเจน มีผลต่อการทำคะแนนด้วยเช่นกันค่ะ

Robots.txt ส่งผลต่ออันดับ SEO อย่างไร

Robots.txt คืออะไร

จากข้อมูลเรื่องความสำคัญของ Robots.txt ได้สังเกตอะไรมั้ยคะ? การระบุรายละเอียดต่าง ๆ ลงบนสคริปต์ว่า Bot สามารถเข้ามาดูข้อมูลหน้าไหนได้บ้างไม่ใช่แค่ป้องกันการรั่วไหลของเนื้อหาเฉพาะบางอย่างเท่านั้น แต่ยังมีผลโดยตรงต่อการทำอันดับ SEO อีกด้วย

คุณสามารถกำหนดได้ว่าจะให้ Bot เน้นเข้าไปทำดัชนีเก็บข้อมูลหน้าไหนเป็นหลัก เช่น หน้าคอนเทนต์ที่ถูกเขียนขึ้นด้วยเทคนิคเฉพาะ ความรู้ที่คนกำลังสนใจ การป้องกันไม่ให้พวกมันเข้าไปยังหน้าที่สร้างขึ้นโดยปลั๊กอิน หน้าที่ไม่ได้มีข้อมูลอะไรน่าสนใจ ไปจนถึงการเขียนสคริปต์เพื่อระบุให้ Bot เข้าไปยัง Sitemap และเกิดการจดจำที่อยู่เว็บ สิ่งเหล่านี้ล้วนส่งผลดีต่อการทำ SEO ทั้งสิ้น จึงไม่ใช่เรื่องแปลกที่คนทำ SEO ในยุคปัจจุบันต้องใส่ใจกับการใช้งาน Robots.txt มากขึ้น

คำสั่งเบื้องต้นที่นิยมเขียนลงบน Robots.txt

Robots.txt คืออะไร

หากคุณพึ่งเริ่มใช้งาน Robots.txt จึงเป็นเรื่องปกติที่อาจยังไม่มีเทคนิคหรือแนวทางการเขียนสคริปต์ให้ถูกต้อง ลองนำเอาคำสั่งเบื้องต้นที่ผู้ใช้ส่วนใหญ่นิยมเขียนระบุลงไปเพื่อสร้างประโยชน์ให้กับหน้าเว็บไซต์ของตนเองกันได้เลยค่ะ

1. User-agent

นี่คือคำสั่งที่จะระบุไปยัง Bot ว่าหน้าไหน คอนเทนต์ใดสามารถเข้ามาเก็บข้อมูลเพื่อทำดัชนีได้หากมีการระบุเครื่องหมาย * ตัวอย่างคำสั่ง เช่น User-agent: *

2. Allow

คำสั่งนี้จะอนุญาตให้ Bot รู้ว่าสามารถเข้ามาเก็บข้อมูลบนหน้าไหนได้บ้าง ตัวอย่างคำสั่ง เช่น allow: /wp-admin/admin-ajax.php

3. Disallow

คำสั่งนี้จะไม่อนุญาตให้ Bot เข้าไปเก็บข้อมูลบนหน้านั้น ๆ ตัวอย่างคำสั่ง เช่น Disallow: /wp-admin/

4. Sitemap

คำสั่งนี้จะระบุแผนผังเว็บไซต์เพื่อแจ้งตำแหน่ง Sitemap ของเว็บให้กับ Bot ได้รู้และเข้าไปดูโครงสร้างพร้อมจดจำที่อยู่ การเขียนคำสั่งก็ให้ใช้คำว่า Sitemap: แล้วตามด้วย https ชื่อเว็บไซต์ตนเองได้เลยค่ะ

สิ่งที่ต้องระวังในการเขียนสคริปต์บน Robots.txt

เมื่อหน้าที่ของ Robots.txt คือ การทำให้ Bot เข้ามาอ่านแล้วทำตามคำสั่งทั้งการไปยังหน้าเว็บต่าง ๆ การป้องกันไม่ให้เข้าถึงข้อมูล สิ่งที่ต้องระวังจึงหนีไม่พ้นการเขียนคำสั่งผิดค่ะ หากคุณเขียนผิดหรือเขียนตกไปแค่ตัวเดียวก็มีผลต่อการเก็บดัชนีของ Bot ทันที โอกาสทำ SEO เพื่อติด อันดับในหน้าแรกก็น้อยลงตามไปด้วย อย่าลืมเช็กรายละเอียดให้ชัดเจนก่อนยืนยันข้อมูลนะคะ

ทั้งนี้การเช็กว่าสคริปต์ของคุณเขียนถูกหรือไม่ก็มีเครื่องมือดี ๆ อย่าง Robots Testing Tool ที่ช่วยได้ค่ะ ลองเอาไปใช้กันเลย

บทสรุป

นี่คือข้อมูลทั้งหมดเกี่ยวกับ Robots.txt ไม่ว่าจะเป็นคนทำ SEO หรือคนทำเว็บไซต์ก็ควรศึกษาข้อมูลเอาไว้เพื่อนำไปปรับใช้อย่างเหมาะสม เพิ่มโอกาสทำอันดับที่ดี ส่งผลบวกต่อธุรกิจมากขึ้น เป็นอีกเทคนิคที่นำเอาความทันสมัยเข้ามาช่วยสร้างประโยชน์ได้อย่างแท้จริง

Written By

เมย์เริ่มงานสาย Online Marketing มาได้มาได้มากกว่า 3 ปีแล้ว และยังคงศึกษางาน SEO และ Online Marketing ต่อไป ด้วยเป็นเด็กสายวิทย์ที่ชอบการอ่านมากกว่าฟัง ชอบวิเคราะห์ มีความขี้สงสัยและต้องค้นหาเหตุผลให้เจอ ยังคงหลงใหลในศิลปะการทำอาหาร สุดท้ายแล้วขอให้แมวจรทุกตัวมีบ้านค่ะ
Views
Related Article

รับคำปรึกษา
SEO ฟรี!

ตรวจสถานะ SEO ของเว็บไซต์ของคุณ ฟรี พร้อมคำแนะนำจาก SEO Specialist ของเรา มูลค่า 35,000 บาท

มีจำนวนจำกัด เท่านั้น ติดต่อเราเลย

Let’s talk

Got an idea in your mind? Pop your info into our form
and we will get back to you shortly.