מה ההבדל בין אינדוקס לסריקה בגוגל ואיך זה משפיע על SEO?

אחד הנושאים שפחות מובנים לבעלי אתרים ומשווקים בכל הקשור ל- SEO, זה ההבדל בין אינדוקס לסריקה/זחילה.

כך יכול להיווצר מצב למשל שגוגל תאנדקס דף שהיא אפילו לא סרקה.  אם אתם חושבים שזה הזוי, מוזמנים לקרוא את המשך המאמר.

על מנת שדף מהאתר שלכם יוכל להופיע בתוצאות הראשונות בגוגל:

  1. בשלב ראשון גוגל צריכה לסרוק את הדף
  2. בשלב שני גוגל צריכה לאנדקס את הדף
  3. בשלב שלישי גוגל תדרג את הדף על סמך האלגוריתמים שלה.

מה זה זחילה / סריקת אתר?

דמיינו שהזחלן (נקרא גם בשם "עכביש") של גוגל הוא בן אדם שבא לבקר בדף מסוים באתר שלכם.  כל עוד לגוגל אין איסור לסרוק את הדף, אותו אדם יוכל להיכנס ולצפות בתוכן ובקוד (כולל קישורים) של אותו דף – אך לא בהכרח להציג אותו לאנשים אחרים (אינדוקס).

התפקיד של הזחלן של גוגל הוא למצוא כמה שיותר דפים ברשת ולסרוק אותם.  ברגע שהזחלן מגיע לדף שהוא סרק בעבר, הוא מחפש לראות אם היה בו שינוי. כשהוא מבחין בשינוי הוא מעדכן את הגרסה שקיימת באינדקס של גוגל.

אז למעשה זחילה זה האפשרות של הזחלן של גוגל לסרוק ולבחון דף.   עם זאת, זה שגוגל סרק את הדף לא אומר שהדף מאונדקס ושאפשר למצוא אותו בתוצאות החיפוש של גוגל.

יכולות להיות כל מני סיבות לכך שגוגל יגיע לדף ויסרוק אותו – אם למשל הדף שותף ברשתות חברתיות או שקושר מאתרים אחרים או שהופיע בקובץ מפת אתר XML של האתר למשל.   כדי שגוגל תחליט לאנדקס את הדף, היא צריכה לבדוק שהתוכן אכן חדש (ולא קיים כבר ברשת) ושאין עליו חסימה.

מה זה אינדוקס?

אינדוקס היא הפעולה שמתרחשת לאחר סריקת הדף. במידה וגוגל חושב שהדף אכן תורם ומחדש לאינדקס התוצאות, גוגל תוכל להציג את הדף בתוצאות החיפוש שלה (תאנדקס אותו).

איך גוגל מחליטה אילו דפים לאנדקס?

בהגדרה היבשה של גוגל, גוגל תאנדקס דפים שהיא חושבת שיכולים לתרום ולחדש לאינדקס החיפוש שלה – כל עוד לא נאסר עליה לעשות זאת.   כך למשל אם באתר שלכם יש תוכן שהועתק / כבר קיים ברשת – גוגל עלולה להחליט שלא להציג אותו בתוצאות החיפוש – על אף שהעמוד בפני עצמו – כן מאונדקס בגוגל (ניתן לבדוק זאת על ידי חיפוש הURL הישיר של עמוד בגוגל).

איך נבחין בין עמוד מאונדקס לעמוד שמוצג בתוצאות החיפוש?

בסריקה של גוגל – היא סורקת את כל האתר ומאנדקסת את כל מה שניתן (כלומר – מה שלא חסום או עמודים עם בעיות קוד שמונעות סריקה וכו'). ובאינדקס עצמו מתחיל תהליך ה"פלטור" כלומר – אחרי שגוגל אינדקסה את כל האתר – היא תתחיל לסנן את מה שהיא תציג בתוצאות ומה ישאר מאחור.

למשל – עמודים עם תגית קנוניקל: יסרקו, יאונדקסו – אך לא יוצגו (לרוב) כתוצאות חיפוש. יתרה מכך – אם העמוד שמכיל את תגית הקנוניקל יתאים לתוצאת החיפוש והעמוד המקור (שעליו מצביע הקנוניקל) לא מתאים – לפעמים העמוד המקורי יופיע ולא העמוד המצביע.

או עמוד עם תוכן מועתק מאתר אחר: העמוד יסרק ויאונדקס – אך לא יוצג בתוצאות החיפוש "הדיפולטית" אלא יוצג רק לאחר שהמשתמש ילחץ באופן אקטיבי על אפשרות "הצג תכנים שחוזרים על עצמם" שיש בסוף תוצאות החיפוש.

ולכן – חשוב להעזר בקונסול כדי לדעת במדויק אילו עמודים יוצגו בתוצאות החיפוש ואילו עמודים – מאונדקסים אך "מפולטרים" החוצה בשל בעיות כאלו ואחרות, ואילו עמודים לא מאונדקסים בכלל.

חסימת דפים מסריקה של גוגל

נתחיל בהסבר על הקובץ המוכר ביותר למקדמים –

קובץ Robots.txt

קובץ רובוטס נחשב לאחד הקבצים החשובים עבור מקדמי אתרים, היות והוא מנחה את גוגל אילו דפים אסור לו לסרוק.

רבים נוהגים לחשוב שעצם זה שחסמנו את גוגל מלסרוק את הדף, לא בהכרח אומר שגוגל לא תחליט בכל זאת לאנדקס אותו.   קובץ robots.txt הוא בסופו של דבר קובץ הנחיות והוא לא קובע באופן חד משמעי אם הדף יאונדקס או לא. אם הזחלן של גוגל מגיע לאתר והוא רואה בקובץ רובוטס הנחיה לא לסרוק דף – הוא לא ייכנס לדף ולא יכניס אותו לאינדקס. אבל, אם למשל אותו דף מקבל קישורים מאתרים אחרים – גוגל כן עשויה לאנדקס את הדף.  במקרה כזה התוצאה תוצג ללא תיאור בתוצאות החיפוש.

מטא דסקריפשן

למעשה, אם אנחנו רוצים לוודא באופן מוחלט שדף לא יופיע באינדקס של גוגל:

עלינו לחסום את הדף בתגית NOINDEX או לאחסן אותו בתיקייה בשרת שמוגנת באמצעות סיסמה (או בקובץ htaccess) או להסיר את הדף לגמרי.

הערה חשובה:

במידה ודף מהאתר שלכם כבר אונדקס ואתם רוצים להסיר אותו – מומלץ להשתמש בכלי של גוגל להסרת URL (ב- Search console) ובמקביל להוסיף NOINDEX בדף / בקובץ רובוטס.

במידה ודף מהאתר אונדקס על אף שהוא חסום בקובץ רובוטס, מצד אחד עליכם להוסיף תגית NOINDEX לדף ומצד שני אתם צריכים להסיר את החסימה בקובץ רובוטס. הסיבה היא שברגע שבקובץ רובוטס יש חסימה על הדף – גוגל לא תיכנס לסרוק את הדף וכך גם לא תראה את התגית NOINDEX החדשה שהוספתם.

למאמר מקיף בנושא הסרה וחסימת דפים מהאתר מאינדוקס בגוגל

 

איך יודעים כמה דפים מאונדקסים מהאתר שלנו?

יש 3 מקורות עיקריים שבהם ניתן לבדוק סטטוס אינדוקס/כיסוי של האתר בגוגל:

  1. פקודת Site בגוגל
  2. בדיקת דפים מאונדקסים לפי מפת אתר XML שנשלחה לגוגל ב- search console.
  3. בדיקת דו"ח כיסוי ב- search console

פקודת Site:

פקודת Site היא "הפתרון להמונים" של גוגל.  באמצעות הזנה של פקודה פשוטה בתוצאות החיפוש של גוגל ניתן לראות כמה דפים גוגל "אינדקסה" מתוך כל אתר.   (אני בכוונה רושם "אינדקסה" כי מדובר בגרסה שנותנת תמונת מצב אך לא את התשובה המדויקת).

אגב, במידה ואתם רוצים לבדוק אם דף ספציפי מאונדקס בגוגל , מומלץ לחפש באמצעות הפקודה info.  למשל:  info:www.hayde.co.il/hayde-english-page/

פקודת site

ותיקי המקדמים כבר מזמן לא מתייחסים במדויק למספר המתקבל וניתן לראות שינויים תכופים במספרים המתקבלים לכל אתר.

בנוסף, מומלץ לשים לב שבמידה ותנסו לצפות בכל הדפים בפקודת SITE, גוגל תחסום אתכם לצפות בכולם לאחר 600 דפים בממוצע.  אגב, זו דרך טובה לזהות דפים שמוגדרים כדפים דומים / כפולים בעיני גוגל

דפים דומים בתוצאות החיפוש בגוגל

 

 

מפת אתר XML:

קובץ מפת אתר XML זו אחת הדרכים שלנו לעדכן את גוגל אילו דפים לאנדקס באתר שלנו. מדובר בקובץ שמעלים לתיקייה הראשית בשרת (למשל בשרת עם מערכת ניהול Cpanel בתיקיית public_html) ומעדכנים בכל פעם שמתווספים דפים חדשים לאתר שאנו רוצים שגוגל תאנדקס. גוגל לא תמיד בוחרת לאנדקס את כל מה שאנחנו מגישים לה…  לעתים גם יש סתירות בין הדפים שאנחנו מגישים לאינדוקס בקובץ מפת אתר לבין הדפים שאנחנו מנחים לא לאנדקס בקובץ רובוטס – במקרה כזה גוגל תתן עדיפות לפקודת קובץ הRobots – ולא תאנדקס את העמוד (למרות שהוא מופיע במפת האתר) ואף תציג על כך אזהרה בGSC.

במרבית הפלטפורמות הפופולאריות לבניית אתרים כיום (כמו וורדפרס) יש ממשק אוטומטי שמייצר מפת אתר ומתעדכן באופן שוטף.

ב- Search console של גוגל ניתן להעלות קובץ מפת אתר ולקבל חיווי כמה דפים מהקובץ נוספו לאינדקס של גוגל.

מפת אתר XML

 

דו"ח כיסוי (Status index) ב- Search console:

המקור המדויק והאמין ביותר לבדיקת כמות הדפים שמאונדקסים מהאתר שלכם בגוגל.

דוח כיסוי סטטוס אינדקס search console

כמו שניתן לראות קיבלתי 3 מספרים שונים בבדיקה ב-3 הכלים השונים שהצגתי.  כאמור, האופציה האחרונה היא האמינה והמדויקת ביותר.

איך קוראים את הדו"ח סטטוס כיסוי אינדקס ב- Search console?

דוח כיסוי מציג את מספר הדפים מהאתר שנוספו לאינדקס. ככל שהאתר גדל עם תכנים חדשים, כך גם דוח זה צריך להציג מספרים גדולים יותר.

במידה ויש עלייה חדשה בדפים שנוספו לאינדקס זה עלול להעיד על בעייתיות בדפים שחסומים לסריקה.  כך למשל קרה לנו בעבר שאחד המתכנתים פתח את כל תוצאות החיפוש הפנימיות של אתר לאינדוקס – מה שהגדיל במאות אלפי דפים את האתר ופגע בעקיפין בקידום שלו (כי רוב דפי האתר המאונדקסים היו דפי זבל של תוצאות החיפוש).

גם אם יש ירידה חדה בדפים המאונדקסים זה עלול להעיד על בעיה של חסימת חלק גדול מהאתר (שלא בהכרח נעשתה במכוון ושווה לבדוק את הקובץ רובוטס בהתאם).

 

דו"ח בדיקת דף  – Url status  ב- Search console

דו"ח יחסית חדש שגוגל הכניסו ב- Search console  החדש ומאפשר לנו לבדוק לעומק סטטוס אינדוקס של כל כתובת URL באתר שלנו.

בדיקת אינדוקס דף בגוגל search console

 

בדו"ח זה נוכל להזין כתובת URL ולקבל את אחד מהחיוויים הבאים:

  • תקין:

    • הדף נשלח ונוסף לאינדקס והפעולה בוצעה בהצלחה
    • נוסף לאינדקס אך לא נשלח באמצעות מפת אתר (במקרה כזה מומלץ לעדכן את קובץ מפת האתר בהתאם)
    • נוסף לאינדקס, מומלץ לסמן ככתובת אתר קנונית: במקרה כזה גוגל מתריאה לנו שהכתובת אמנם נוספה לאינדקס, אך גוגל מזהה דפים דומים לדף זה ונדרשת החלטה מיהו הדף הקנוני (המקורי שכל השאר הם העתקים שלו).

 

  • לא נכלל: דפים שלא נוספו לאינדקס של גוגל

    • נחסם ע"י תגית NOINDEX גוגל מתריאה שהיא ניסתה להוסיף את הדף לאינדקס אך נתקלה בתגית NOINDEX בדף.
    • נחסם ע"י הכלי להסרת דפים: גוגל מתריאה שהדף חסום לגלישה לאחר שבוצעה בקשה להסרת כתובת ה- URL באמצעות הכלי הייעודי של גוגל
    • נחסם ע"י קובץ txt: גוגל מתריאה שהדף נחסם ע"י קובץ רובוטס. תוכלו לבדוק במקרה זה את הקובץ ולראות אם אכן קיימת חסימה. אגב, כפי שהצגתי קודם, זה שהקובץ חסום בקובץ רובוטס – לא בהכרח ימנע ממנו להתאנדקס בגוגל.
    • נסרק אך לא נוסף לאינדקס בשלב זה: הדף נסרק ע"י גוגל אך עדיין לא נוסף לאינדקס. ייתכן (וייתכן שלא) יתווסף בעתיד.  אין צורך לשלוח שוב לאינדוקס.
    • התגלה, אך לא נוסף לאינדקס בשלב זה: גוגל גילתה את הדף (עוד לא סרקה אותו ותנסה שוב לסרוק אותו בהמשך).
    • לא נמצא (404): גוגל ניסתה להגיע לכתובת מסוימת אך נתקלה בדף שגיאה. במקרה זה עלינו לבדוק את מקור הקישור הבעייתי ולתקן אותו.
    • Soft 404: כשגוגל מנסה להגיע לדף היא מקבלת תגובה ממערכת האתר שהדף לא נמצא אבל העמוד לא מחזיר קוד 404 תואם (מחזירה במקום קוד 200 כאילו הכול תקין). הפתרון במקרה זה, במידה ואכן הדף לא פעיל/לא קיים – הוא להחזיר דף שגיאה 404 או קוד 410 (במידה והדף לא קיים ולא יחזור יותר) או לייצר הפניית 301 לדף התקין המתאים. מוזמנים לקרוא בהרחבה על סוגיות SEO לגבי מוצרים שאזלו מהמלאי
    • הדף הוסר עקב תלונה משפטית
    • דף ממתין בתור לסריקה
    • דף עם הפניה לכתובת אתר אחרת: הכתובת שגוגל ניסה לסרוק מפנה לדף אחר ולכן גוגל לא אינדקס את הדף.
    • שגיאות סריקה / בעיות בתגים קנוניים ודפים משוכפלים: בחלק זה יש מספר אפשרויות שמציגות בעיות באינדוקס הדף בשל שגיאות סריקה, שגיאות שרת והכפלות תוכן.

 

מקווה שהצלחתם להגיע עד לכאן ולהבין סוף סוף מתי הדף נסרק, מתי הדף מתאנדקס ומתי הדף מופיע בתוצאותה החיפוש של גוגל.

אם יש לכם תוספות / שאלות  , מוזמנים להשאיר בתגובות

במסגרת כתיבת המאמר השתתף מומחה האופטימיזציה ומאסטר טרול ראשי  – אסף כהן

אהבתם? מוזמנים לשתף

2018-12-05T13:09:11+00:00

אודות המחבר:

מייסד ומנכ"ל היידה. מהנדס תעו"נ, משווק באינטרנט משנת 2006, בלוגר ומרצה מבוקש בשיווק דיגיטלי. משמש גם כבעלים ומנכ"ל של חברת התוכן AD תוכן ומדיה.

השאר תגובה

logo
צרו איתנו קשר מיידי!
אתם לא יוצאים מכאן בידיים ריקות
תודה! קידלנו את הפרטים ונחזור אליכם בהקדם!
יש לנו הצעה שאסור לכם לפספס!!!
  • קידום אתרים אורגני בגוגל
  • קידום ממומן בגוגל
  • קידום ממומן בפייסבוק
  • פתרונות פרסום דיגיטלי מתקדמים
  • פתרונות תוכן מקיפים
אנחנו נותנים מענה לכל אפיקי הפרסום הדיגיטלי ברשת
השאירו פרטים ונחזור אליכם בהקדם
אהבתם? עכשיו יש לכם הזדמנות לעבוד איתנו
תודה! קיבלנו את הפרטים ונחזור אליכם בהקדם!
  • קידום אתרים אורגני בגוגל
  • קידום ממומן בגוגל
  • קידום ממומן בפייסבוק
  • פתרונות פרסום דיגיטלי מתקדמים
  • פתרונות תוכן מקיפים
השאירו פרטים ונחזור אליכם בהקדם
אם הגעתם עד כאן כנראה שאתם מבינים עניין, ועכשיו לעבודה!
תודה! קיבלנו את הפרטים ונחזור אליכם בהקדם!
  • קידום אתרים אורגני בגוגל
  • קידום ממומן בגוגל
  • קידום ממומן בפייסבוק
  • פתרונות פרסום דיגיטלי מתקדמים
  • פתרונות תוכן מקיפים
השאירו פרטים ונחזור אליכם בהקדם
רגע לפני שאתם עוזבים
תודה! קידלנו את הפרטים ונחזור אליכם בהקדם!
יש לנו הצעה שאסור לכם לפספס!!!
  • קידום אתרים אורגני בגוגל
  • קידום ממומן בגוגל
  • קידום ממומן בפייסבוק
  • פתרונות פרסום דיגיטלי מתקדמים
  • פתרונות תוכן מקיפים
אנחנו נותנים מענה לכל אפיקי הפרסום הדיגיטלי ברשת
השאירו פרטים ונחזור אליכם בהקדם
זהו? כבר אתם עוזבים?
עוד לא ראיתם כלום!
תודה! קידלנו את הפרטים ונחזור אליכם בהקדם!
יש לנו הצעה שאסור לכם לפספס!!!
  • קידום אתרים אורגני בגוגל
  • קידום ממומן בגוגל
  • קידום ממומן בפייסבוק
  • פתרונות פרסום דיגיטלי מתקדמים
  • פתרונות תוכן מקיפים
אנחנו נותנים מענה לכל אפיקי הפרסום הדיגיטלי ברשת
השאירו פרטים ונחזור אליכם בהקדם