حتى يتم فهرسة صفحات موقعك في جوجل بالشكل الصحيح، تحتاج إلى إنشاء خريطة للموقع (Sitemap) لموقعك وتقديم هذه الصفحة إلى جوجل لفهرسات صفحات موقعك، سواءًا كانت مقالات (كما هو في مواقع الأخبار والمدونات)، أو كانت منتجات (كما هو في المتاجر الإلكترونية).
في هذه المقالة سنتعرف على شرح Sitemap وكيف تقوم بإضافتها إلى موقعك حتى يتم فهرسة موقعك بالشكل الصحيح، ويكون مهيئًا للظهور في نتائج البحث.
محتويات المقالة:
ما هو ملف sitemap ؟
خريطة الموقع (sitemap) هي عبارة عن ملف XML يحتوي على كل روابط صفحات وصور وفيديوهات الموقع واي ملفات اخرى ، ويقوم بتنظيمها بشكل يسهل فهمه لأي محرك بحث مثل جوجل، حيث يقرأ محرك البحث الملف ويقوم بالوصول لكل صفحات موقعك بناء على المعلومات التي بهذا الملف .
ملفات XML بصفة عامة صممت لنقل وتخزين البيانات وهي ملفات تشبه ملفات HTML التي تظهر صفحاتك على المتصفح، ولكن الفرق بين XML و HTML انها ملفات ناقلة للمعلومات بصورة منظمة وليست مسؤولة عن ظهورها بشكل رسومي ( مثل شكل صفحة هذا المقال).
وبالتالي فإن ملفات XML تظهر نفس ذات المحتويات الخاصة بالموقع ولكن بشكل منظم لمحركات البحث.
أقصى عدد من الروابط يمكن أن يحتويها ملف الـ sitemap الواحد 50 ألف رابط، ولمعرفة شكل الروابط داخل ملف sitemap لموقعنا مثلا انظر الشكل التالي، وهنا تجدر الإشارة أنه يمكن أن يكون هناك اكثر من ملف لخريطة الموقع بسبب عدم السماح إلا بـ 50 الف رابط في الملف الواحد فيتم التحايل وعمل أكثر من ملف..
إذا قمت بمعاينة ملف المصدر لملف XML بالضغط على زر الماوس الأيمن، ثم ضغطت على View Page source
ستجد أن شكل ملف المصدر لخريطة الموقع كالتالي
لاحظ أنه بسبب كون الحد الاقصى للروابط التي يمكن أن توجد في ملف خريطة الموقع الواحد لا يمكن أن تتعدى خمسين ألف رابط فيتم تقسيم خريطة الموقع على عدة ملفات انظر الشكل التالي كمثال على تقسيم الملفات في موقعنا
شرح ملف robots.txt
حتى يتم فهرسة صفحات موقعك من قبل محرك البحث، فإنه يتم إرسال عناكب الويب ( bot أو robot أو spider ) للوصول إلى المواقع لمعرفة محتواها وفهرستها في قواعد بياناتها لتظهر لنا عند البحث في المحرك عن أي موضوع.
يساعد ملف robots.txt لعمل هذه المهمة، حيث يستخدم للإشارة إلى محركات البحث بالصفحات التي يجب الزحف لها (crawl) والصفحات التي لا تحتاج إلى فهرستها بمحرك البحث، بمعنى آخر ماهي الصفحات المسموح لجوجل بعمل فهرسة لها والممنوع عمل فهرسة لها.
يمتلك كل محرك بحث العناكب الخاصة به، فموقع جوجل له العناكب الخاصة به، ومحرك Bing له العناكب الخاصة به، ونفس الأمر بالنسبة لأدوات التحليل والفهرسة (Alexa مثلًا) فهي تمتلك ايضا عناكب خاصة به.
في بعض الأحيان قد تحتاج إلى حجب عناكب الزحف والفهرسة لبعض المواقع لأجل زيادة أمان موقعك من تحليله لدى المنافسين، أو لعدم الوصول لبعض الصفحات التي لا تريد فهرستها في محرك البحث.
يتم كتابة اكواد خاصة داخل ملف robots.txt كالمثال التالي وهو كود يمنع أي عملية زحف للموقع وفهرسة ما به
#Code to not allow any search engines! User-agent: * Disallow: /
لإيقاف الزحف عن مجلد معين يكتب الكود التالي
# Blocks robots from specific folder / directory User-agent: * Disallow: /wp-includes/
كيفية إنشاء sitemap لموقعك
إذا كان موقعك يعتمد على الووردبريس، فتستطيع إنشاء Sitemap بسهولة من خلال بعض الإضافات مثل Google XML Sitemaps أو اضافة SEO by Yoast.
سنشرح هذه المهمة من خلال إضافة yoast التي تستخدمها غالبًا لتحسين سيو موقعك، فيمكنك بنفس الإضافة عمل خريطة للموقع بأسلوب سهل ومباشر.
بعد تنصيب وتفعيل الإضافة على موقعك، ستذهب إلى القائمة الجانبية للوحة تحكم الأدمن، ثم تقوم بالنقر فوق تبويبة الإضافة SEO، ثم تختار عام كما يلي:
سيظهر لك عدة تبويبات نختار منها التبويب مميزات كالشكل التالي
يظهر لك عدة أزرار قم باختيار تشغيل خرائط الموقع sitemap لتفعيلها كالتالي
لمعرفة ماهي خرائط الموقع التي تم إنشاؤها اضغط علامة الاستفهام بجانب عبارة خرائط الموقع XML Sitemap
يظهر لك رابط لرؤية خرائط الموقع كاملة كما يلي
اضغط على هذا الرابط كي تظهر لك الملفات كاملة على متصفحك
وبهذا تكون قد أنشأت ملف Sitemap لموقعك بكل سهولة من خلال إضافة YOAST
كيفية إنشاء ملف robots.txt لموقعك
كنا قد تحدثنا عن أهمية هذا الملف واستخداماته، فيمكنك أيضًا إنشاء الملف بالإعتماد على إضافة Virtual Robots.txt أو إضافة SEO by yoast و سنشرح لك الطريقة أيضًا باستخدام إضافة yoast نفسها فبعد تفعيل الإضافة، اذهب الى القائمة الجانبية للوحة التحكم واختر SEO ثم اختر أدوات كما هو موضح في الشكل التالي
سوف تظهر لك الشاشة التالية وتحتوي على رابط باسم محرر الملف قم بالضغط عليه.
الآن قم بالضغط على زر إنشاء ملف robots.txt
يظهر لك المحرر ومنه يمكنك إضافة الاكواد التي تريد ثم الضغط فوق زر حفظ التغييرات إلى robots.txt
ملحوظة: لا تستخدم أكثر من إضافة تقوم بتفعيل XML site map لموقعك، لأن هذا قد يحدث تعارض بين هذه الإضافات، أو يكون لموقعك أكثر من خريطة مما يربك محركات البحث في فهم موقعك.
ربط خريطة الموقع بجوجل
لأرشفة الموقع بالطريقة الصحيحة يتم اضافة الموقع من خلال أدوات مشرفي المواقع (google search console) بطريقة سهلة.
اذهب إلى Google Search Console ثم ستظهر لك شاشة الترحيب، ومنها يمكنك الضغط على البدء الآن
تظهر لك أدوات مشرفي المواقع جوجل كالتالي قم بعمل إضافة لموقعك حتى تتمكن من ربطه مع خريطة الموقع
تظهر لك شاشة ربط النطاق (اسم موقعك بالكامل) قم بادخال اسم الموقع ثم اضغط متابعة
من الشريط الجانبي اختر ملفات sitemap كالتالي
ستظهر لك شاشة إدخال اسم الخريطة وإرسالها لجوجل حتى يتم الربط
يستطيع جوجل الآن الزحف إلى موقعك ومعرفة كل الصفحات التي يجب عليه أرشفتها (تذكر أنه عندما تقوم باضافة صفحة جديدة مثل مقال جديد أو منتج جديد يجب عليك إدخالها يدويًا من Google Search Console لتسريع أرشفته وعدم انتظار معرفة عناكب جوجل لما هو جديد في موقعك).
الأسئلة الشائعة
هل يمكن عمل ملف sitemap يدويًا؟
يمكن عمل ذلك ولكن هذا سيأخذ منك وقتًا ومجهودًا أكبر حسب حجم موقعك، في حال اعتمادك على الووردبريس يفضّل استخدام الإضافات الجاهزة كما أعطينا بعض الأمثلة (Google xml sitemap أو Yoast)
أين يمكن وضع ملف robots.txt؟
الملف يتم وضعه عادة داخل المجلد الرئيسي public_html الموجود على الخادم (يتم ذلك من خلال الذهاب الى لوحة تحكم الموقع cpanel ثم الى مدير الملفات File Manager ثم رفع الملف داخل المجلد public_html). أما في حالة استخدام إحدى الإضافات فيتم إضافتها تلقائيًا في المكان المذكور.
هل الملف robots.txt يمنع وصول أي أحد للملفات والمجلدات ؟
لا هو فقط يمنع أرشفتها ولمنع الوصول لأي ملف او مجلد يستخدم ملف آخر يسمى .htaccess
وفي الختام ندعوك للمشاركة معنا في الحوار على منتدى عرب ووردبريس: هل تقوم بإضافة ملف sitemap بشكل يدوي أم باستخدام الإضافات؟ وفي حال كان لديك أي تساؤل حول هذا الملف لا تتردد في كتابته في قسم التعليقات أسفل المقال