robots.txt, Content Signals, llms.txt ו-markdown: הקבצים שמלמדים AI לקרוא את האתר שלכם

בפוסט הקודם הסברנו מה זה Agent Readiness ולמה האתר שלנו קפץ מ-20 ל-93 ביום אחד. הפעם נפתח את הכלים. כל קובץ שסוכן AI מחפש באתר, מה כותבים בו, ומה זה אומר בעברית פשוטה. בסוף יש רשימת בדיקה למי שיש לו אתר בוורדפרס.

מה תלמדו מהפוסט הזה

• מה כותבים ב-robots.txt כדי שבוטים של AI יבינו שהם רצויים (או לא)
• מה זה Content Signals, מה שלוש המילים שם אומרות, ומה אנחנו החלטנו להצהיר ולמה
• מה ההבדל בין sitemap, llms.txt ו-Link headers, ולמה צריך את שלושתם
• איך נראית גרסת markdown של עמוד, ומה המספרים שמדדנו
• מה יש בתיקיית .well-known, ולמה זה פחות מפחיד ממה שזה נשמע

למי הפוסט הזה מיועד: לבעלי אתרים שרוצים להבין מה בדיוק המתחזק שלהם צריך לעשות (ולבדוק שהוא עשה), ולמפתחים שרוצים את הרשימה במקום אחד. אם אתם רק רוצים להבין את הרעיון הכללי, הפוסט הקודם מספיק.

קובץ 1: robots.txt, הותיק שבחבורה

robots.txt קיים מ-1994. זה קובץ טקסט בשורש האתר שאומר לרובוטים: מה מותר לסרוק ומה לא. כמעט כל אתר שעבר טיפול SEO כבר מכיר אותו.

מה שחדש: בוטים של AI מצפים לשורות שמופנות אליהם בשם. לא רק User-agent: * (כולם), אלא:

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

למה זה חשוב אם “כולם מותר” ממילא מכסה אותם? כי הוולידטורים של קלאודפלייר אומרים במפורש שכוכבית לבדה “לא מספיקה” כהצהרת מדיניות ל-AI. וגם כי בעתיד אולי תרצו להבחין: כן ל-ChatGPT, לא לבוט מסוים. השמות המרכזיים היום: GPTBot ו-OAI-SearchBot (OpenAI), ClaudeBot ו-anthropic-ai (אנתרופיק), Google-Extended (גוגל, לאימון Gemini), PerplexityBot, CCBot (Common Crawl), Bytespider (בייטדאנס), Amazonbot, Applebot-Extended, meta-externalagent.

קובץ 1, שורה נוספת: Content Signals

זו תוספת חדשה לאותו קובץ. שורה אחת:

Content-Signal: search=yes, ai-input=yes, ai-train=yes

שלוש מילים, שלוש הצהרות:

מה אנחנו הצהרנו: כן, כן, כן. וזו החלטה עסקית, לא טכנית. האתר שלנו הוא שיווק. התוכן הוא הפרסומת. להיות מצוטט בתשובה של AI זה בדיוק המוצר שאנחנו מוכרים (זה GEO). ולהיות בנתוני האימון זו הדרך היחידה שמודל יענה “איפה בונים אתר מהיר בישראל” מהזיכרון, גם כשהמשתמש לא מחפש ברשת.

ברירת המחדל שקלאודפלייר מציעה היא אחרת: search=yes, ai-train=no. זו ברירת מחדל הגיונית לאתר שמוכר תוכן: עיתון, מדריכים בתשלום, יוצר שמוכר את היצירה. אצלם, מודל שלמד את התוכן מחליף את הביקור. אצל עסק שמוכר שירות, מודל שלמד את התוכן מביא את הביקור.

מתי כן no: תוכן שנמכר, יצירה מקורית, מידע של משתמשים, או עמדה עקרונית. אחת הלקוחות שלנו, אמנית, הייתה צריכה להחליט על זה בעצמה כי מדובר ביצירות שלה. היא בחרה כן.

⚠️ מה שצריך להבין: Content Signals הם הצהרה, לא חומה. בוט הגון מכבד. בוט לא הגון לא. מי שרוצה חסימה טכנית אמיתית צריך כלי ברמת הרשת (לקלאודפלייר יש AI Crawl Control), וזה דיון אחר לגמרי.

קובץ 2: sitemap.xml, הרשימה המלאה

מפת האתר היא רשימה של כל הכתובות באתר. סוכן (וגם גוגל) מוצא אותה דרך שורה ב-robots.txt: Sitemap: https://.../sitemap-index.xml.

הדבר היחיד שאוסיף כאן, כי הרבה אתרים נכשלים בו בלי לדעת: תאריך העדכון (lastmod) חייב להיות אמיתי. מפה שמסמנת את כל העמודים כ”עודכן היום” בכל בנייה מלמדת את גוגל שהסימון הזה רעש, והיא מפסיקה לקרוא אותו. אצלנו רק פוסטים מקבלים תאריך, מתאריך הפרסום האמיתי שלהם; עמודים סטטיים לא מקבלים תאריך בכלל.

קובץ 3: llms.txt, המדריך הקצר

אם sitemap אומר “הנה 140 כתובות”, llms.txt אומר “הנה מי אנחנו, והנה העמודים החשובים בסדר שכדאי להבין אותם”. קובץ טקסט בשפה חופשית, בשורש האתר, בפורמט markdown:

# Prime Stack - Premium Tech. Fast Results.

> סוכנות דיגיטל שבונה אתרים מהירים ב-Astro...

## עמודים מרכזיים
- [מחירון](/pricing/): חבילות ומחירים
- [שדרוג אתר קיים](/upgrade/): ...

llms.txt הוא הצעה של הקהילה ולא תקן רשמי, והמנועים הגדולים לא כולם התחייבו לקרוא אותו. הסורק של קלאודפלייר בכלל לא בודק אותו. אנחנו עדיין ממליצים עליו: הוא זול, לא מזיק, ויש מנועים שכן קוראים. טיפ מניסיון: לא לכתוב אותו ביד. אצלנו הוא נוצר אוטומטית מרשימת העמודים בכל בנייה, כי הגרסה הידנית הראשונה התיישנה בשבוע: הוספנו עמוד מחירים והקובץ לא ידע עליו.

קובץ 4: Link headers, הכתובות שמגיעות עם העמוד

זה לא קובץ אלא “כותרת” שהשרת שולח יחד עם דף הבית. הגולש לא רואה אותה. סוכן כן:

Link: </.well-known/api-catalog>; rel="api-catalog", </llms.txt>; rel="describedby"

בעברית: “יש לי קטלוג API בכתובת הזאת, ותיאור שלי בכתובת ההיא”. הסוכן לא צריך לנחש איפה לחפש. תקן ותיק (RFC 8288) בשימוש חדש.

קובץ 5: גרסת markdown לכל עמוד

זה, לדעתי, החלק החשוב ביותר בכל הרשימה, והוא היחיד שדורש עבודה אמיתית.

עמוד באתר הוא קובץ HTML. בתוכו: תפריט, כותרת עליונה, פוטר, סקריפטים לאנליטיקס, באנר עוגיות, וידג’ט צ’אט, עיצוב, ואיפשהו בתוך כל זה - הטקסט. סוכן AI משלם על כל מילה שהוא קורא (טוקנים), ויש לו תקציב מוגבל לכל עמוד. כשהוא נתקל ב-150 קילובייט של HTML, הוא עלול לקרוא חלק ולדלג, או לקרוא את התפריט ולפספס את המחיר.

התקן החדש (קלאודפלייר קוראת לו “Markdown for Agents”) אומר: כשסוכן שולח בקשה עם הכותרת Accept: text/markdown, השרת מחזיר לו גרסת טקסט נקייה של אותו עמוד. גולש רגיל, שלא מבקש את זה, ממשיך לקבל את ה-HTML הרגיל. אותה כתובת, שתי גרסאות.

מה מדדנו אצלנו אחרי שבנינו את זה:

בין 6% ל-8% מהגודל. קלאודפלייר מדווחת על חיסכון של עד 80% בטוקנים באתרים שלה; אצלנו זה יותר, כי אתרי תדמית עמוסים בעיצוב יחסית לטקסט.

איך זה נראה? ככה מתחיל עמוד המחירון שלנו בגרסת markdown:

---
title: "מחירון | Prime Stack"
url: https://primestack.co.il/pricing/
lang: he
---
# מחירון

מחירים שקופים, בלי הפתעות - המחיר שרואים הוא המחיר שמשלמים.

## הקמת אתר חדש
### אתר תדמית דף ארוך (1Pager)
...

רק התוכן. כותרות, פסקאות, טבלאות, קישורים. בלי תפריט, בלי פוטר, בלי סקריפט.

איך בונים את זה: אצלנו סקריפט שרץ בכל בנייה של האתר, לוקח את החלק המרכזי של כל עמוד (<main>), מסיר ממנו כל מה שהוא ניווט או קוד, וממיר לטקסט. השרת בודק אם הבקשה מבקשת markdown, ואם כן מגיש את הקובץ התאום. שני פרטים שחשוב לא לפספס: (1) כותרת Vary: Accept, שאומרת למטמון “התשובה הזאת משתנה לפי מה שביקשו”, אחרת גולש עלול לקבל markdown; (2) אם באתר יש מנגנון שחוסם דפים (אצלנו שער שבת), הוא חייב לתת לבקשות האלה לעבור.

⚠️ בקלאודפלייר יש לזה מתג מובנה, בלי קוד, אבל רק מתוכנית Pro ומעלה. בתוכנית החינמית בונים לבד, כמו שעשינו.

תיקייה 6: .well-known, הארון של המכונות

.well-known היא תיקייה סטנדרטית (עם נקודה בהתחלה) שבה מכונות מחפשות קבצים לפי שם ידוע מראש. אתם כבר משתמשים בה בלי לדעת: אימות תעודות SSL, אימות של אפל ל-Apple Pay, ועוד. עכשיו נוספו לה קבצים לסוכנים:

• api-catalog - רשימת ממשקי התכנות (API) שהאתר חושף, לפי תקן RFC 9727. אצלנו יש אחד: בדיקת המהירות. אם אין לכם API, אפשר לרשום את llms.txt כ”תיאור השירות”.
• agent-skills/index.json - אינדקס של קובצי “הוראות הפעלה” לסוכן, כל אחד עם חתימה דיגיטלית (sha256) שמוכיחה שהקובץ לא שונה. ההוראות שלנו אומרות, למשל: “מחירים לצטט רק מעמוד המחירון, הם סופיים; האתר סגור בשבת, אל תבטיח זמינות”.
• ai-catalog.json - קטלוג כללי של כל היכולות (תקן ARD, טיוטה). מצביע על הקבצים האחרים.
• openapi.json - תיאור טכני של ה-API, למי שיש.

וקובץ אחד מחוץ לתיקייה, בשורש: auth.md, שמסביר לסוכן במילים האם וכיצד צריך להתחבר. אצלנו הוא אומר: לא צריך. הכל פתוח, וה-API של בדיקת המהירות מוגבל ל-10 בדיקות ליום לכל כתובת.

שני דברים שלא ברשימה, בכוונה

DNS-AID - רשומת DNS שמכריזה על נקודת כניסה לסוכנים. הוספנו כי זו רשומה אחת, אבל זה תקן בטיוטה מוקדמת מאוד ואני לא הייתי שולח אף אחד לעשות את זה בשביל התוצאה. בשביל הציון בלבד.

WebMCP - כמה שורות JavaScript בדף שאומרות לדפדפן של סוכן “הנה פעולות שאפשר לעשות כאן”. אצלנו: חיפוש באתר, קריאת עמוד כ-markdown, פתיחת בדיקת המהירות. זה כבר גולש לפוסט הבא, על MCP, כי שם האתר מפסיק להיות דף ומתחיל להיות כלי.

רשימת בדיקה לבעלי אתר וורדפרס

מה לבקש מהמתחזק, לפי סדר עלות:

• ב-robots.txt: שורת Content-Signal (החליטו קודם מה להצהיר) ובלוקים מפורשים לבוטי AI. דרך תוסף ה-SEO.
• מפת אתר עם תאריכי עדכון אמיתיים, ושורת Sitemap ב-robots.txt. רוב תוספי ה-SEO עושים את זה.
• קובץ llms.txt בשורש האתר: פסקה על העסק ורשימת 8-12 העמודים החשובים. אפשר להתחיל ידנית, ולזכור לעדכן.
• גרסת markdown לעמודים: לשאול אם יש תוסף מתאים לגרסת הוורדפרס שלכם, או אם האתר בקלאודפלייר Pro (מתג מובנה). אם לא, זו עבודת פיתוח.
• תיקיית .well-known עם api-catalog ו-agent-skills: עבודת פיתוח, כשעה למי שכבר עשה את זה פעם.
• להריץ isitagentready.com לפני ואחרי, ולשמור צילום מסך.

מי שעושה את שלושת הראשונים מגיע לרמה 2. עם markdown לרמה 3. עם .well-known לרמה 4.

למה זה לקח לנו ערב אחד: מילה על אסטרו

כל מה שתואר כאן קרה באתר שבנוי ב-אסטרו (Astro), הטכנולוגיה שאנחנו בונים בה את כל האתרים שלנו. שווה להסביר למה זה משנה, כי ההבדל לא היה בידע אלא בכלי.

אתר אסטרו הוא אתר שנכתב בקוד ונבנה מחדש כקבצים מוכנים בכל פעם שמשנים בו משהו. אין שרת שמרכיב עמודים בזמן אמת, אין מסד נתונים, ואין תוספים שכל אחד מהם עולם בפני עצמו. כל העמודים, התפריטים והתוכן יושבים בקבצים שאפשר לקרוא, לשנות ולהריץ עליהם סקריפט.

מה זה נתן לנו כאן, בפועל:

• גרסת markdown לכל עמוד היא סקריפט אחד שרץ בשלב הבנייה, עובר על 140 העמודים המוכנים ומייצר לכל אחד תאום. כתבנו אותו פעם אחת. מהיום כל עמוד חדש מקבל תאום בלי שמישהו יזכור לעשות את זה.
• חתימת ה-digest של הוראות הסוכן מחושבת מהקובץ עצמו באותו שלב, ולכן היא לא יכולה להתיישן.
• קובץ llms.txt נוצר מרשימת העמודים האמיתית, ולא מקובץ שמישהו כתב ביד לפני חודש.
• הלוגיקה בשרת (לענות ל-markdown, לשלוח Link headers, לפטור את הקבצים משער השבת) היא כמה עשרות שורות בקובץ אחד שכבר קיים.

באתר וורדפרס אותה עבודה נראית אחרת. robots.txt ו-Content Signals עוברים דרך תוסף ה-SEO, וזה בסדר. אבל גרסת markdown לכל עמוד דורשת תוסף ייעודי (הם רק מתחילים להופיע) או קוד בשרת; קבצי .well-known מעלים ידנית דרך FTP או מגדירים ב-.htaccess; ואת ה-digest של הוראות הסוכן צריך לחשב מחדש ביד בכל פעם שמישהו נוגע בקובץ. כל פריט הוא משימה נפרדת, עם תוסף נפרד, שצריך גם להתעדכן בנפרד. זה לא בלתי אפשרי, זה פשוט יותר עבודה ויותר נקודות שבירה. השוונו את שתי הגישות לעומק בוורדפרס, Wix או אתר בקוד: השוואה כנה.

וזה חלק ממשהו רחב יותר שאנחנו רואים שוב ושוב: כשהאינטרנט משנה כללים, אתר שבנוי בקוד מסתגל בסקריפט ואתר שבנוי מתוספים מחכה לתוסף. ככה זה היה עם מהירות, ככה זה עם נגישות, וככה זה עכשיו עם סוכני AI. מי שרוצה להבין למה עברנו לאסטרו אחרי מאות אתרי וורדפרס, כתבנו על זה בלמה עברתי מ-WordPress ל-Astro, ומי שיש לו אתר קיים ורוצה לדעת מה המעבר כולל, זה עמוד השדרוג.

לסיכום

כל “הקבצים לסוכנים” הם בסך הכל תשובות כתובות לשאלות שסוכן שואל: מה מותר לי (robots.txt ו-Content Signals), מה יש כאן (sitemap, llms.txt, Link headers), איך לקרוא את זה בזול (markdown), ומה אני יכול להפעיל (.well-known). רובם קבצי טקסט של כמה שורות. אחד, ה-markdown, דורש יום עבודה ושווה אותו.

ההחלטה היחידה שהיא באמת שלכם, ולא של המתחזק, היא מה להצהיר ב-Content Signals. אם האתר שלכם הוא שיווק, התשובה כמעט תמיד “כן, כן, כן”. אם התוכן עצמו הוא המוצר, תחשבו רגע לפני.

בפוסט הבא, האחרון בסדרה: MCP, WebMCP ו-A2A. מה קורה כשסוכן לא רק קורא את האתר אלא מפעיל אותו, מה זה יכול לתת לעסק, ומה אנחנו חושבים לבנות מזה.