מה זה Agent Readiness ולמה הוא רק שלב ההתחלה
בדיקה מעשית וחינמית: isitagentready.com
Discoverability וההיכרות הבסיסית של סוכנים עם האתר
קטגוריה זו כוללת ארבע בדיקות עיקריות: קיום קובץ robots.txt תקין, נוכחות של sitemap.xml, שימוש בכותרות HTTP מסוג Link לפי תקן RFC 8288, ורשומות DNS-AID לגילוי מבוסס DNS. קובץ robots.txt הוא הכרטיס הביקור הראשון של האתר מול כל סוכן, והוא צריך להצהיר על מדיניות הסריקה ולכלול הפניה לסייטמאפ באמצעות ההוראה Sitemap. סייטמאפ בפורמט XML מאפשר לסוכנים למנות את הדפים הקיימים באתר בלי לפרסר HTML, מה שחוסך זמן וטוקנים משמעותיים. כותרות Link הן הוראות בתגובת ה-HTTP שמצביעות על משאבים קנוניים או קבצי מטא-דאטה, ו-DNS-AID היא הצעה חדשה יחסית לפרסום נקודות כניסה לסוכני AI ברמת ה-DNS עם רשומות SVCB חתומות ב-DNSSEC.
אופטימיזציה לסוכנים
מה כוללות בדיקות אופטימיזציה לסוכני AI לפי המדדים של קלאודפלייר?
- הקטגוריה השנייה - Content Negotiation וניהול תוכן ידידותי לסוכנים - הקטגוריה השנייה כוללת בדיקה יחידה אך חשובה: האם האתר מגיב בפורמט Markdown כאשר הסוכן שולח בקשת HTTP עם הכותרת Accept: text/markdown. פורמט Markdown צורך בממוצע כ-80 אחוז פחות טוקנים לעומת HTML מלא, שכן הוא מוותר על כל תגיות העיצוב וה-JavaScript. Cloudflare פרסמה שתי דוגמאות מדידות מדפים אמיתיים באתרים שלה: דף שדרש 16,180 טוקנים ב-HTML ירד ל-3,150 טוקנים בפורמט Markdown, ודף אחר ירד מ-9,541 טוקנים ל-1,678. הבדיקה הזו היא הצעה של Cloudflare שעדיין לא הפכה לתקן רשמי, ורק כ-3.9 אחוז מהאתרים בעולם תומכים בה כרגע. עבור אתרי תוכן שסובלים מעלויות תפעול גבוהות של סוכנים או שמעוניינים להשתלב ב-AI Overviews של גוגל, מדובר בשדרוג משמעותי שמצדיק את מאמץ ההטמעה.
-
Bot Access Control והצהרת מדיניות מפורשת מול סוכני AI - הקטגוריה השלישית מבוססת על העיקרון שאתר צריך להצהיר במפורש איך הוא רוצה שסוכני AI יתייחסו לתוכן שלו, ולא להסתמך על ברירת המחדל של הבוטים. הבדיקה הראשונה מוודאת שקובץ robots.txt כולל הוראות ייעודיות לבוטים של AI כמו GPTBot, ClaudeBot, PerplexityBot ו-Google-Extended. הבדיקה השנייה בוחנת את קיומן של הוראות Content Signals לפי המפרט של Cloudflare מספטמבר 2025. המפרט מגדיר שלושה סוגי אותות: search שמכתיב אם התוכן נכנס לאינדקס החיפוש, ai-input שקובע אם מודלי שפה רשאים לצטט את הדף בזמן אמת, ו-ai-train שמצהיר אם התוכן פנוי לאימון מודלים. בדיקה שלישית ניטרלית שנקראת Web Bot Auth בוחנת חתימה קריפטוגרפית של בקשות, מנגנון שכמעט לא מיושם מחוץ לאתרי Cloudflare עצמם.
-
PI, Auth, MCP וגילוי יכולות סוכן - זו הקטגוריה הכבדה ביותר עם שמונה בדיקות שונות. הבדיקה הראשונה מחפשת את הקובץ .well-known/api-catalog לפי תקן RFC 9727, שמפרט לסוכן את רשימת ה-API הזמינים באתר. הבדיקה השנייה בוחנת את הימצאותם של קבצי OAuth Discovery בנתיבים .well-known/oauth-authorization-server ו-.well-known/openid-configuration, לפי תקן RFC 8414. הבדיקה השלישית מוודאת הצהרה על משאבים מוגנים באמצעות OAuth לפי תקן RFC 9728. הבדיקה הרביעית מחפשת קובץ MCP Server Card בנתיב .well-known/mcp/server-card.json, שמפרסם לאיזה שרת של Model Context Protocol האתר מחובר ואילו כלים הוא מציע לסוכן. הבדיקה החמישית בוחנת קובץ Agent Skills Index, השישית היא WebMCP המבוססת על API בדפדפן בשם navigator.modelContext שקיים ב-Chrome גרסה 146 מעבר לדגל ניסיוני, והשתיים הנוספות כוללות ARD Agentic Resource Discovery ו-Auth.md.
-
Commerce ופרוטוקולי תשלום לסוכנים - קטגוריה זו רלוונטית בעיקר לאתרי מסחר אלקטרוני ומורכבת מחמש בדיקות אופציונליות שאינן נספרות באתרי תוכן. הבדיקות המרכזיות מחפשות תמיכה בפרוטוקול x402 של Coinbase ו-Cloudflare, ב-Universal Commerce Protocol של Google, וב-Agentic Commerce Protocol. הפרוטוקולים מבוססים על תגובת HTTP 402 Payment Required עם פרטי תשלום מובנים כמו מטבע, כתובת ארנק ורשת בלוקצ'יין. עד סוף הרבעון הראשון של 2026 בוצעו יותר מ-100 מיליון עסקאות בפרוטוקול x402 ברשת Base לפי דיווחי Chainalysis, אבל האימוץ מחוץ לתעשיית הקריפטו עדיין מזערי. גם המתחרים UCP ו-ACP נמצאים בשלב הצעה מוקדם עם אימוץ מזערי בשוק אמיתי, ושתי הבדיקות הנוספות בקטגוריה, MPP ו-ARD למסחר, נמצאות בשלב מוקדם עוד יותר עם תיעוד מפוזר בין מספר מפרטים מתחרים.
הכלים החדשים בתוך Cloudflare Dashboard עצמו
בנוסף לכלי הציבורי isitagentready.com, קלאודפלייר הוסיפה סקציה שלמה בתוך הדשבורד עצמו של לקוחות פעילים.
תחת התפריט AI Crawl Control יש חמישה מסכים חדשים: Overview עם מטריקות של תנועת AI, Metrics לפירוט לפי בוט, Security לניהול בוטים, Optimization שכוללת את כפתור ההפעלה של Markdown for Agents, ו-Signals להצגה של Content Signals שהוצהרו.
תחת התפריט Agent Readiness יש ארבעה מסכים: Overview עם דשבורד ציון, Diagnostics המקבילה לכלי החיצוני עם הצעות תיקון, AI Playground לבדיקת איך מודלי AI רואים את האתר, ו-WebMCP להפעלה מובנית של הפרוטוקול הניסיוני. חשוב לדעת שרוב הפיצ'רים המובנים ב-Cloudflare Dashboard, כמו Markdown for Agents בקליק אחד, זמינים רק בתוכניות Pro ומעלה.
הנתון המעניין ביותר: 90 בקשות ביום מ-Claude לאתר בעברית
תוך כדי העבודה שלנו על anidor.co.il, המסך של AI Crawl Control Optimization חשף נתון מסקרן: מתוך 92 בקשות שסוכני AI ביצעו לאתר תוך 24 שעות, 90 בקשות הגיעו מ-Claude-SearchBot של Anthropic, שתי בקשות מChatGPT-User של OpenAI, ואפס מ-Perplexity. זה אומר ש-98 אחוז מכל הבקשות של סוכני AI לאתר תוכן מקצועי בעברית בקטגוריית קידום SEO ו-AI מגיעות מ-Claude. הנתון הזה משמעותי כי הוא סותר את ההנחה הרווחת ש-ChatGPT הוא המנוע הדומיננטי. עבור אתרי תוכן בעברית, במיוחד בתחומים מקצועיים, ההשקעה בהתאמה ל-Claude מייצרת החזר הרבה יותר גבוה מההשקעה בהתאמה ל-ChatGPT. הדפים הכי נסרקים באתר היו דפי הרצאות ודף קטגוריית מוצרים, כלומר בדיוק התוכן שהמותג רוצה שיצטטו.
-
מקרה בוחן חי: כך שיפרנו את anidor.co.il מ-20 ל-33 בשעתיים
לפני שממליצים ללקוחות, בודקים על עצמנו. הרצנו את isitagentready.com על אתר anidor.co.il שלי בבסיס והתחלנו מציון של 20 מתוך 100, כלומר Level 1 Basic Web Presence, שהוא המצב של רוב אתרי התוכן בעולם. הגישה שלנו לא היתה לרדוף אחרי ציון של 100 אלא להתמקד רק בבדיקות שיש להן ערך עסקי אמיתי לאתר תוכן ושירות. חילקנו את 21 הבדיקות לשלוש קבוצות: תקנים רשמיים שכדאי ליישם כי הם יציבים ומקבלים ROI אמיתי, הצעות של Cloudflare שאולי יהפכו לסטנדרט אבל עדיין בתהליך אימוץ, וניסיונות מוקדמים שלא כדאי לגעת בהם עד שהשוק יבשיל.
-
השלב הראשון היה עדכון קובץ robots.txt
עדכנו את robots.txt של האתר עם שלושה שינויים מרכזיים: הוספת חוקים ייעודיים לכל בוטי ה-AI המרכזיים, הפרדה ברורה בין בוטי אימון שחסמנו לבין בוטי חיפוש שאישרנו, והוספת שורת Content Signals עם ההצהרה search=yes, ai-input=yes, ai-train=no. משמעות ההצהרה היא שאישרנו לגוגל וביינג לאנדקס אותנו, אישרנו ל-ChatGPT ול-Claude לצטט אותנו בתשובות חיות עם קישור, אך חסמנו שימוש בתוכן שלנו לאימון מודלים ללא הסכמה. ההחלטה הזו הפכה את קטגוריית Bot Access Control ל-100 אחוז מלאים, וקבעה עמדה מקצועית ברורה שמתאימה לאתר של מרצה ויועץ. בוטי אימון של Anthropic סורקים במקרים מסוימים באגרסיביות של 38,000 סריקות על כל הפניה אחת בחזרה, ולכן חסימתם היא הגנה על משאבי שרת אמיתיים.
השלב השני היה כותרת Link ברמת ה-HTTP
הבדיקה השנייה שרצינו לסגור היא Link Headers לפי RFC 8288, שמצביעה על משאב מטא-דאטה מרכזי באתר. בחרנו להצביע על קובץ llms.txt שכבר קיים באתר, שהוא תיאור מובנה של השירותים והתוכן בפורמט מרקדאון. הפרויקט של Cloudflare מציע לעשות זאת דרך Transform Rules בדשבורד, אבל התגלה שהתוכנית ה-Free אינה מאפשרת להוסיף את הכותרת Link לרשימת ה-headers הניתנים לשינוי. אז יצרנו פלאגין Code Snippets בוורדפרס שמוסיף את הכותרת ברמת השרת בעצמו. הכותרת Link: </llms.txt>; rel="describedby"; type="text/markdown" עולה כעת בכל דף באתר וניתנת לזיהוי על ידי כל סוכן AI שיודע לקרוא כותרות HTTP.
השלב השלישי היה Markdown Negotiation
הבדיקה של קטגוריית Content היא היחידה שם, אבל היא הכי משמעותית מבחינת חיסכון בטוקנים. הפתרון של Cloudflare מציע כפתור אחד להפעלה, אבל שוב, רק בתוכנית Pro ומעלה. במקום זה כתבנו Snippet של PHP שמזהה כאשר סוכן שולח את הכותרת Accept: text/markdown, ומחזיר את התוכן של הפוסט בפורמט מרקדאון נקי עם כותרת, מטא-דאטה, ותוכן מומר מ-HTML. דפדפנים רגילים ממשיכים לקבל HTML במלואו כברירת מחדל. אחרי הטמעה בדקנו בזמן אמת שסוכן שביקש Markdown באמת מקבל תגובה עם Content-Type: text/markdown ותוכן שמתחיל בסימן סולמית, בעוד שדפדפן שביקש HTML ממשיך לקבל את הקוד הרגיל.
הפרדוקס שהתגלה: הסורק של Cloudflare נחסם על ידי Cloudflare
תוך כדי היישום גילינו נקודה מקצועית משעשעת ומבהילה. הכלי isitagentready.com נכשל בבדיקת Link Headers של anidor.co.il עם ההודעה "The operation was aborted". במקביל, הדשבורד הפנימי של Cloudflare עצמם, תחת Agent Readiness, הראה את אותה בדיקה כעוברת בירוק. בבדיקה ידנית עם JavaScript אישרנו שהכותרת אכן נשלחת בתגובה, וסקציית ה-Bot Fight Mode של Cloudflare Free הראתה שהוא כבוי. המסקנה: הסקאנר של isitagentready.com נכשל בגישה בגלל מגבלות פנימיות שלו, לא בגלל חסימה מהאתר. Cloudflare מודדת אתרים בכלי שהיא עצמה מפעילה, אבל תשתית האבטחה שלה חוסמת את הסקאנר שלה. זו נקודה מקצועית קריטית שכל בעל אתר צריך להבין: הציון בכלי לא תמיד משקף מציאות טכנית תקינה של האתר.
מטריצת החלטה: איזו בדיקה חובה לאיזה סוג אתר
הטבלה הבאה מסכמת את כל 21 הבדיקות של Cloudflare מול ארבעה סוגי אתרים נפוצים בישראל, ומראה מה חובה, מה מומלץ, מה אופציונלי ומה לא רלוונטי לכל סוג.
הסימון וי מציין חובה או מומלץ בחוזק, איקס מציין לא רלוונטי או לא כדאי, ועיגול ריק מציין אופציונלי או לחכות עד שהסטנדרט יתייצב.
| בדיקה | קטגוריה | אתר תוכן / בלוג | אתר יועץ / מרצה | SaaS / פורטל | איקומרס | עלות יישום |
|---|---|---|---|---|---|---|
| robots.txt AI bots | Bot Access | ✓ חובה | ✓ חובה | ✓ חובה | ✓ חובה | 30 דק' |
| Content Signals | Bot Access | ✓ חובה | ✓ חובה | ✓ חובה | ✓ חובה | 5 דק' |
| Sitemap | Discoverability | ✓ חובה | ✓ חובה | ✓ חובה | ✓ חובה | קיים |
| Link Headers | Discoverability | ✓ מומלץ | ✓ מומלץ | ✓ חובה | ✓ מומלץ | 15 דק' |
| Markdown Negotiation | Content | ✓ חובה | ✓ מומלץ | ○ אופציונלי | ○ אופציונלי | 30 דק' |
| API Catalog | API/MCP | ✕ לא רלוונטי | ✕ לא רלוונטי | ✓ חובה | ✕ לא רלוונטי | 30 דק' |
| OAuth Discovery | API/MCP | ✕ לא רלוונטי | ✕ לא רלוונטי | ✓ חובה | ○ אופציונלי | 1 שעה |
| OAuth Protected | API/MCP | ✕ לא רלוונטי | ✕ לא רלוונטי | ✓ חובה | ○ אופציונלי | 1 שעה |
| Auth.md | API/MCP | ✕ לא רלוונטי | ✕ לא רלוונטי | ✓ מומלץ | ✕ לא רלוונטי | 30 דק' |
| Agent Skills Index | API/MCP | ✕ לחכות | ✕ לחכות | ○ אופציונלי | ○ אופציונלי | 1 שעה |
| MCP Server Card | API/MCP | ✕ לחכות | ✕ לחכות | ○ אופציונלי | ○ אופציונלי | 1 שעה |
| WebMCP | API/MCP | ✕ לחכות | ✕ לחכות | ○ ניסיוני | ○ ניסיוני | 2-4 שעות |
| DNS-AID | Discoverability | ✕ לחכות | ✕ לחכות | ○ מתקדם | ○ מתקדם | דורש DNSSEC |
| Web Bot Auth | Bot Access | ✕ לחכות | ✕ לחכות | ○ ניסיוני | ○ ניסיוני | מורכב |
| x402 | Commerce | ✕ לא רלוונטי | ✕ לא רלוונטי | ○ קריפטו | ○ קריפטו | 2-4 שעות |
| UCP / ACP | Commerce | ✕ לא רלוונטי | ✕ לא רלוונטי | ○ ניסיוני | ○ ניסיוני | טרם סטבל |
מהטבלה עולה תובנה ברורה: לאתרי תוכן ולאתרי יועץ יש רק 4 עד 5 בדיקות שהן חובה מקצועית, לאתרי SaaS יש 8 בדיקות חובה, ולאתרי איקומרס יש 4 חובות עם 4 בדיקות אופציונליות בנושא מסחר. הבדיקות המסומנות "לחכות" הן פרוטוקולים שעדיין בשלב הצעה או ניסיון בתעשייה, ואין סיבה מקצועית להשקיע בהן זמן ומשאבים עד שיווצר אימוץ ברור בשוק ותקן סופי מאושר.
למה הציון 100 אינו המטרה עבור רוב האתרים
זו נקודה קריטית שרוב המדריכים הזמינים ברשת מפספסים לחלוטין: הציון 100 בכלי isitagentready.com לא בהכרח מבטא אתר טוב יותר עסקית. הכלי מודד עמידה טכנית ב-21 סטנדרטים שונים, מבלי להבחין בין תקנים בשלים לבין הצעות ניסיוניות. אתר שהגיע ל-100 עשוי להיות אתר שהטמיע פרוטוקולים שאף סוכן AI כרגע לא באמת משתמש בהם, וגם ויתר בכוונה על שליטה על ה-IP של התוכן שלו כדי לקבל נקודות בקטגוריית ai-train. הבחירה בין ציון גבוה יותר לבין הגנה על התוכן היא החלטה אסטרטגית עסקית שכל בעל אתר צריך לקחת במודע, ולא רק לפי הציון בכלי.
ציון היעד המומלץ לפי סוג אתר
אתר תוכן או בלוג של יוצר עצמאי צריך לכוון לציון 40 עד 55, שמושג עם ארבע הבדיקות המרכזיות: robots.txt מקצועי, Content Signals, Link Headers ו-Markdown Negotiation. אתר של יועץ, מרצה או נותן שירותים מקצועיים צריך לכוון לאותו טווח, עם דגש על שליטה מלאה במה שבוטים של AI רשאים לעשות עם התוכן. אתר SaaS או פורטל שיש בו אזור לקוחות אמיתי עם API ציבורי צריך לכוון ל-65 עד 80, שדורש גם את סעיפי OAuth ו-API Catalog. אתר איקומרס צריך לכוון ל-55 עד 70, כאשר סעיפי המסחר הניסיוניים נשארים בהמתנה עד שיהיה ברור איזה פרוטוקול תשלום ינצח בשוק. הציון 100 מתאים רק לאתרים שעונים על שלושה תנאים: תשתית פיתוח מלאה, נכונות להיות מוקדמים מאמצים של פרוטוקולים ניסיוניים, וויתור מודע על הגנת IP באמצעות הצהרת ai-train=yes.
הסיכונים שברדיפה אחרי 100
מי שינסה להגיע ל-100 בכל מחיר עלול להיתקל בכמה בעיות ממשיות. ראשית, הצהרת ai-train=yes בקובץ robots.txt מקבועת שהתוכן שלכם יכול לשמש לאימון מודלים חדשים ללא תמורה ובלי הסכם מסחרי, וזה ויתור משמעותי על נכסי IP במיוחד עבור יוצרים ומרצים. שנית, הטמעה של פרוטוקולים ניסיוניים כמו WebMCP, x402 או MCP Server Card דורשת השקעת פיתוח שלא תוחזר כי אף סוכן AI כרגע לא צורך אותם באופן משמעותי. שלישית, קונפיגורציית DNS-AID עם רשומות SVCB חתומות ב-DNSSEC דורשת גישה עמוקה למערכת DNS שלרוב לא קיימת לבעל אתר עצמאי, ואם היא מוגדרת שגוי היא עלולה לפגוע בזמינות האתר. רביעית, סעיפי OAuth Discovery ו-Protected Resource בנויים כדי לתאר אזור לקוח מוגן שאתרי תוכן פשוט לא צריכים, והוספתם באופן מזויף רק לצורך ציון עלולה לבלבל סוכנים כשירצו להשתמש באתר בפועל.
לסיכום השאלה של יעד הציון
הכלל הפרקטי הוא: התחילו מהחובות של סוג האתר שלכם, השיגו ציון בטווח היעד המומלץ, ואז עצרו. הציון עצמו לא מייצר כסף, לא מייצר לידים ולא מעלה את הדירוגים. מה שכן מייצר תוצאות זה שסוכני AI אמיתיים כמו Claude-SearchBot, ChatGPT-User ו-GPTBot יגיעו לאתר שלכם, יקבלו את התוכן בפורמט שהם מבינים, וידעו איזו מדיניות שימוש להחיל עליו. ארבע הבדיקות המרכזיות של תוכן פותרות בדיוק את שלוש הסוגיות האלה, ולכן הן החזר ההשקעה האמיתי היחיד לאתרי תוכן ושירות ב-2026.
-
טבלת ROI לכל בדיקה עבור אתר שירות תוכן בישראל
הבדיקות שכדאי ליישם היום כוללות עדכון robots.txt עם AI Bot Rules ו-Content Signals שנעשה ב-30 דקות דרך פלאגין Yoast, הוספת Link Header שנעשית ב-15 דקות דרך פלאגין Code Snippets ב-WordPress, והטמעת Markdown Negotiation שנעשית ב-30 דקות דרך Snippet PHP נוסף. הבדיקות שלא כדאי ליישם באתרים ללא API ציבורי, ללא מסחר וללא אזור לקוח כוללות API Catalog, OAuth Discovery, OAuth Protected Resource, Auth.md, x402, UCP ו-ACP. הבדיקות הניסיוניות שכדאי לחכות להן עד שהתקן יסגר וייווצר אימוץ בשוק כוללות WebMCP, MCP Server Card, DNS-AID, ARD ו-Web Bot Auth. הכלל הפרקטי: 5 מתוך 6 הבדיקות הרלוונטיות לאתר תוכן בישראל ניתנות לסגירה בכמה שעות עבודה, בעוד ניסיון להגיע ל-100 יידרש בניית תשתית שאף סוכן AI היום לא צורך.
הפרדה בין תוכנית Free ל-Pro של Cloudflare בהקשר של Agent Readiness
Cloudflare מציעה הרבה פיצ'רים מוכנים לאגן Ready אבל רובם דורשים שדרוג לתוכנית Pro במחיר של 25 דולר בחודש לדומיין. בתוכנית Free ניתן להטמיע robots.txt מלא ו-Content Signals ללא הגבלה, לחסום או לאפשר בוטים, לצפות במטריקות של תנועת AI, ולהפעיל AI Labyrinth שמפזר תוכן כוזב לבוטים לא מורשים. לעומת זאת, פיצ'רים מרכזיים כמו Markdown for Agents בקליק אחד, Transform Rules לכותרות שאינן ברשימה הלבנה, ו-Snippets בקצה של Cloudflare, זמינים רק בתוכניות בתשלום. אתר שרוצה לסגור את כל 21 הבדיקות בלי שדרוג יידרש למצוא פתרונות אלטרנטיביים כמו פלאגינים ב-WordPress או קוד בשרת המקור. אתר שיש לו תקציב מתאים ומספר דומיינים יכול לשקול שדרוג לתוכנית Pro רק על הנכסים המרכזיים והרווחיים.
מה עושים בפועל: ארבע רמות מאמץ
| רמה | מה כוללת | למי הכי דחוף |
|---|---|---|
| ניצחונות מהירים | robots.txt שניתן לקריאה על ידי בוטים, מפת אתר תקינה, כללים ספציפיים לבוטי AI, גרסת Markdown נקייה לתוכן | כל אתר, ללא יוצא מן הכלל |
| בסיס טכני | הצהרות Content Signals על שימוש מותר בתוכן, קטלוג API, Link Headers, הוראות התחברות לסוכנים | אתרי תוכן ומדיה בעלי נפח גבוה |
| אינטגרציה מתקדמת | OAuth discovery, כרטיסי MCP ו-A2A, אינדקס יכולות, Web Bot Auth, WebMCP | פלטפורמות SaaS ואתרים עם ממשקי API |
| מסחר (מידע בלבד, לא נכלל בציון) | פרוטוקולי x402, ACP, UCP ו-AP2 לתשלומים אוטונומיים של סוכנים | חנויות איקומרס בלבד |
מדיניות החסימה החדשה של Cloudflare מ-15 בספטמבר 2026
בנפרד מהודעת ה-AEO Visibility Dashboard, קלאודפלייר תאכוף החל מ-15 בספטמבר 2026 מדיניות חדשה לפיה אתרים שלא הגדירו כללים מפורשים בקובץ robots.txt עבור בוטי AI שסורקים למטרות מעורבות של אימון ואינדקס, יחסמו כברירת מחדל. משמעות המדיניות היא שאתרים שלא ביצעו עדכון robots.txt מקצועי יגלו בבוקר של ה-15 בספטמבר שסוכני AI שביקרו אצלם באופן קבוע נחסמים אוטומטית על ידי Cloudflare. עדכון robots.txt כך שיאפשר גישה מפורשת לבוטי AI מובילים כמו GPTBot, ChatGPT-User, Google-Extended, Claude-SearchBot ו-PerplexityBot הוא לא רק ניצחון מהיר בצ'קליסט של Cloudflare, אלא צעד שנדרש בכל מקרה לפני מועד האכיפה. מי שמנהל אתר על תשתית Cloudflare וטרם עדכן, כדאי שיתייחס לספטמבר כדדליין ממשי בלוח הזמנים, לא כהמלצה כללית שאפשר לדחות.
מגבלות שחשוב להכיר לפני שסומכים על הנתונים
AEO Visibility Dashboard עדיין נמצא ב-Early Access ולא זמין באופן גורף לכל לקוחות Cloudflare. גישה מתבקשת דרך לשונית Overview בדשבורד, ונכון לעכשיו Cloudflare לא פרסמה מידע על תמחור או על דרישות תוכנית מנוי. מגבלה משמעותית נוספת: הכלי בודק כרגע רק שני מודלים, Claude ו-GPT, ולא כולל Gemini או Perplexity. אתר שהנוכחות שלו חזקה דווקא במנועים האלה לא יקבל תמונה מלאה. חשוב גם לזכור שמדובר בכלי מבית Cloudflare, שמשרת בעיקר אתרים שכבר מריצים את התשתית שלהם דרכה, והוא לא מחליף בדיקת GEO עצמאית ומקיפה שמסתכלת על כל מנועי ה-AI המרכזיים יחד. הדרך הנכונה להשתמש בו היא כשכבת מידע משלימה, לא כמקור יחיד.
ההשקה של AEO Visibility Dashboard מסמנת מעבר משמעותי: מדידת נוכחות בתשובות AI הופכת מתחום שדורש כלי צד-שלישי בתשלום למשהו שספק תשתית גדול כמו Cloudflare מציע כחלק מהמוצר הבסיסי. גם מי שלא ניגש עדיין לכלי החדש יכול וצריך להתחיל היום ברמת הניצחונות המהירים: robots.txt מעודכן, מפת אתר תקינה, גישה מפורשת לבוטי AI מובילים, וכותרות Link בסיסיות, במיוחד לפני מועד האכיפה של ספטמבר. שילוב של הכלי הזה יחד עם כלים אחרים למדידת נראות ב-AI, כמו Search Console ו-Microsoft Clarity, נותן היום את התמונה השלמה ביותר שקיימת על איך AI רואה את האתר שלכם, ומאפשר להשוות בין מקורות שונים במקום להסתמך על נתון בודד ממקור יחיד. הנתונים שאנחנו ראינו ב-anidor.co.il, כמו 98 אחוז מכל בקשות סוכני ה-AI המגיעות מ-Claude, מלמדים שהתמונה בעברית שונה מהתמונה הגלובלית, ומחייבים אסטרטגיה מותאמת לשוק המקומי.
שאלות נפוצות
כך התכנים שלנו יופיעו לכם גבוה יותר בתוצאות החיפוש שלכם
