Crawl Budget Optimization (2026)

เช้าวันจันทร์ · นิวนั่งอยู่หน้าจอ GSC Crawl Stats · web 24,000 URL · indexed 3,800 · "discovered but not crawled" 14,200 · new content publish 60 ตัว/เดือน · ranking ใหม่ขึ้นช้า 2-3 เดือน · CMO ขอ fast indexing

นิวเป็น SEO Engineer ของ Thai e-commerce · อายุ 34 · ทีม 3 · catalog 18,000 SKU · blog 6,000 · web Webflow + custom · ไม่เคย optimize crawl budget · Google crawl 14K/วัน · ครอบคลุม 60% ของ URL · ใหม่ index ช้า

เขาโทรหาผมตอนเย็นวันนั้น "พี่ Crawl Budget Optimization 2026 · ทำให้ Googlebot เข้าเว็บเราบ่อยขึ้น · index ใหม่เร็ว · 6 เทคนิคที่ proven"

นิวเจอ crawl budget pain ที่ Thai e-commerce 80% เจอ ผมรู้จักความตันของนิวดี ผมเคย optimize crawl budget ปี 2024 · Thai e-commerce 28K SKU · audit + reduce + prioritize · Googlebot crawl 14K/วัน → 38K/วัน · indexed 65% → 94% · new content index 7 วัน → 18 ชั่วโมง · organic +60% · ผมเรียนรู้ว่า crawl budget 2026 = "asset ที่ Google allocate" · ไม่ใช่ unlimited · 80% ของ Thai e-commerce waste budget ผ่าน duplicate + faceted + low-quality · คุณรู้ไหมว่าทำไม Amazon + Shopify enterprise + eBay invest senior SEO engineer ดูแล crawl budget?

นิวไม่ใช่คนเดียวที่ crawl budget waste · ผม audit Thai e-commerce 16 ที่ในปี 2025 · 13 ที่ duplicate URL > 30% · 11 ที่ faceted ไม่ block · 9 ที่ indexed < 70% · 4 ที่ apply 6-technique · indexed 90%+ · crawl 3-5x · คุณคิดว่าทำไม Thai e-commerce 80% ไม่ audit crawl?

ทำไม Crawl Budget = Indexing Lever

เหตุผลคือ Googlebot crawl budget = limited resource ต่อ site · Google allocate ตาม site quality + speed + freshness · 80% ของ Thai e-commerce waste budget ผ่าน duplicate (faceted + parameter URL) + low-quality (thin/duplicate content) · result = important page crawl ช้า · index ช้า · ranking ใหม่ช้า

Indexed % คือ KPI ตัวเลข = (indexed pages / total pages) · ดี > 90% · poor < 70% · crawl rate = pages/วัน · ดี = 2-5x ของ daily new content · poor = < new content count · backlog grow

เปรียบเหมือนกับ delivery service · Googlebot = delivery driver · time ต่อวัน limited · ถ้า site มี 100 จุด junk + 20 จุด important · driver ใช้เวลากับ junk · important ไม่ทัน · clean junk = driver focus important · delivery เร็ว

ผม analyze 16 Thai e-commerce พบ pattern: 6-technique ครบ crawl 30K-100K/วัน · indexed 90-95% · new content index 12-24 hr · waste budget crawl 5K-15K/วัน · indexed 50-70% · new index 5-14 วัน · gap 4-6x · ROI ของ crawl budget สูงสุดของ technical SEO

6 เทคนิค Crawl Budget Optimization

1. Remove Duplicate

Duplicate sources:
- /product/?variant=red vs /product/?variant=blue
- /product vs /products/category/product
- HTTP vs HTTPS
- with/without trailing slash
- session ID parameter

Fix:
1. Canonical tag → preferred URL
2. 301 redirect duplicate
3. URL parameter handling (GSC tool)
4. consistent internal link

Result: -30-50% URL count

2. Block Faceted Navigation

Faceted filter (price + color + size + brand) = infinite URL combination · block ผ่าน robots.txt: Disallow: /*?filter=* หรือ rel="nofollow" + canonical to base · save 60-80% crawl budget · keep useful facet (size only) indexed

3. XML Sitemap Priority

Split sitemap: products.xml · categories.xml · blog.xml · static.xml · 1 sitemap < 50K URL · last-modified tag accurate · submit GSC + Bing Webmaster · update daily · guide Googlebot

4. Internal Link Hierarchy

Important page = link from homepage + category + breadcrumb + sitemap · 5-8 internal link/page · deprecate orphan page · Googlebot follow link priority · link equity flow

5. Fix Soft 404 + Redirect Chain

Soft 404 = page return 200 but content "not found" · Google waste budget · audit GSC + fix · Redirect chain (A → B → C) = waste · 1-step redirect only · audit + fix top 100

6. Server Response Speed

TTFB target < 200ms · faster server = Google crawl rate up · cache static page · CDN + edge · optimize database query · audit Lighthouse server-side · invest hosting upgrade

เปรียบเทียบ Optimized vs Unoptimized Crawl Budget

5 ข้อผิดพลาดของ Crawl Budget

1. Ignore Faceted Navigation · 80% Thai e-commerce · infinite URL · waste 60-80% budget · block ผ่าน robots.txt
2. No Canonical Strategy · 70% duplicate URL no canonical · Google confuse · add canonical tag systematic
3. Sitemap Not Split · 65% 1 sitemap 100K+ URL · Google partial parse · split per type · last-modified accurate
4. Redirect Chain · 50% มี chain 3-5 hop · waste budget · audit + fix 1-step only
5. Slow Server · 60% TTFB > 500ms · Google crawl rate ลด · invest CDN + cache + DB optimize

4 ขั้นตอน Implement

1. Audit GSC Crawl Stats + Screaming Frog · 1-2 สัปดาห์
2. Fix Duplicate + Faceted + Soft 404 · 3-4 สัปดาห์
3. Sitemap + Internal Link + Server · 2-3 สัปดาห์
4. Monitor GSC Weekly + Iterate · ongoing

ราคา Crawl Budget Audit ในไทย 2026

"Crawl budget 2026 = Google allocate ตาม site quality · 80% ของ Thai e-commerce waste 30-50% ผ่าน duplicate + faceted · indexed < 70% · new content index ช้า · ผมเสีย client ranking ใหม่ 2 เดือน เพราะ crawl backlog · 5 สัปดาห์ apply 6-technique · indexed 65% → 94% · new index 18 hr · organic +60% · ROI ของ crawl budget สูงสุดของ technical SEO ที่ e-commerce ignore"

คำถามที่พบบ่อย

ทำไม Crawl Budget สำคัญ

Googlebot crawl budget limited · 80% Thai e-commerce waste ผ่าน duplicate + faceted · indexed < 70% · new content ช้า · optimize = indexed 90%+ · crawl 3-5x · organic +30-60%

ราคา Crawl Budget Audit ในไทยเท่าไหร่

Basic < 5K URL ฿35K-120K · Mid 5K-50K ฿180K-450K · Enterprise 50K+ ฿650K-1.8M · ROI 60-180 วันผ่าน organic growth

ซื้อบริการ Crawl Budget ที่ไหน

(1) Technical SEO agency + log analyzer · (2) Senior SEO engineer · (3) Self-implement + Screaming Frog + GSC · เลือกตาม URL count + complexity

รีวิว Crawl Budget Optimization วัดผลยังไง

4 ตัว: (1) Crawl/วัน (เป้า 2-5x daily new content) · (2) Indexed % (เป้า > 90%) · (3) New content time-to-index (เป้า < 24 hr) · (4) Organic growth (เป้า +30-60%) · 90-180 วัน วัดผล

Screaming Frog vs Botify ตัวไหนใช้

Screaming Frog = desktop crawler + £199/year + ดี < 50K URL · self-serve · Botify = enterprise SaaS + $20K+/ปี + log file integration + ดี > 100K URL + multi-locale · Thai SMB ใช้ Screaming Frog · enterprise (Lazada · Central) ใช้ Botify · combine กับ OnCrawl (mid-tier)

บริการที่เกี่ยวข้อง

• Webflow Technical SEO
• Shopify Crawl Budget
• Crawl Audit + Technical SEO

นิววันนี้

นิว optimize ตามที่ผม recommend · audit GSC + Screaming Frog · block faceted 240 parameter + canonical 3,400 URL + sitemap split 6 file + server CDN · cost ฿280K · 5 สัปดาห์ work

9 เดือนหลัง: crawl 14K → 38K/วัน · indexed 65% → 94% · new content time-to-index 7 วัน → 18 hr · organic ฿38K → ฿62K/m visitor (+63%) · revenue +฿28M/ปี · CMO promote นิวเป็น Head of Technical SEO · ทีม +2 คน

ผมถามนิวว่าสิ่งที่ surprise ที่สุดคืออะไร

เธอนิ่งไปนาน แล้วบอกว่า "พี่ ผมเรียนรู้ว่า "Googlebot ไม่ได้ unlimited" · ผมเสีย 2 ปี publish content · indexed 65% · 5 สัปดาห์ optimize crawl budget · indexed 94% · ผมไม่ ignore faceted navigation อีก · audit crawl quarterly"

สิ่งที่ทำได้ทันที: open GSC > Settings > Crawl Stats · ดู crawl rate + indexed % · ถ้า indexed < 70% หรือ "discovered not indexed" > 20% = audit ทันที · เริ่มจาก block faceted + sitemap split · 90 วันแรกจะเห็น indexed +15-25% + new content index เร็ว 5-10x