ما هو برنامج العنكبوت؟

'برنامج العنكبوت' هو برنامج غير مأهول يتم تشغيله بواسطة محرك بحث يتصفح الويب كما تفعل تمامًا. أثناء زيارته لكل موقع ويب ، يسجل (يحفظ على محرك الأقراص الثابتة) جميع الكلمات الموجودة على كل موقع ويلاحظ كل ارتباط إلى مواقع أخرى. ثم 'ينقر' على ارتباط ، ويخرج منه لقراءة موقع ويب آخر وفهرسته وتخزينه.

لينسي ديفيس وبول روبرتس

غالبًا ما يقوم برنامج العنكبوت بقراءة النص الكامل لكل موقع ويب يزوره ثم فهرسته في قاعدة البيانات الرئيسية لمحرك البحث الذي يعمل من أجله. في الآونة الأخيرة ، بدأت العديد من المحركات مثل AltaVista في فهرسة ما يصل إلى عدد معين من صفحات الموقع ، وغالبًا ما يكون إجمالي 500 صفحة ، ثم تتوقف. على ما يبدو ، هذا لأن الويب أصبح كبيرًا لدرجة أنه من غير المجدي فهرسة كل شيء. عدد الصفحات التي سيفهرسها العنكبوت لا يمكن التنبؤ به تمامًا. لذلك ، من الجيد إرسال كل صفحة مهمة في موقعك تريد فهرستها على وجه التحديد ، مثل تلك التي تحتوي على كلمات رئيسية مهمة.

يشبه عنكبوت البرامج أمين المكتبة الإلكتروني الذي يقص جدول محتويات كل كتاب في كل مكتبة في العالم ، ويصنفها في فهرس رئيسي ضخم ، ثم يبني ببليوغرافيا إلكترونية تخزن المعلومات التي تشير إليها النصوص والنصوص الأخرى. يمكن لبعض برامج العناكب أن تفهرس أكثر من مليون مستند في اليوم! من المهم أن نفهم أن عناكب محركات البحث تقوم بأمرين فقط:

يقومون بفهرسة النص.
يتابعون الروابط.

في مؤتمر استراتيجيات محرك البحث الأخير الذي نظمته SearchEngineWatch.com ، أوضح أحد المتحدثين الضيوف ، Shari Thurow of Grantastic Designs ، هذه النقطة وكررها عدة مرات لتوضيح أهميتها: `` فهرس نص محركات البحث واتبع الروابط. يقومون بفهرسة النص وتتبع الروابط. هذا كل ما يفعلونه.

وجهة نظرها مهمة ومحورية لفهم طبيعة عناكب محركات البحث. إذا كان نص موقع الويب الخاص بك موجودًا في رسم ، فلن تتمكن محركات البحث من فهرسته. إذا تم تضمين جميع الكلمات الرئيسية المهمة التي ترغب في الحصول على تصنيفات لها في الرسومات ، وليس في نص HTML ، فلن يحصل موقعك على التصنيفات. تذكر أن محركات البحث لا تقوم بفهرسة الصور أو قراءة الصور ، بل تقوم بفهرسة النص وتتبع الروابط. هذا كل شئ. إذا لم يكن لديك نص في صفحتك القابلة للعرض ، فلن يساعدك أي عدد من الكلمات الرئيسية في العلامة الوصفية للكلمات الرئيسية في الوصول إلى التصنيفات.

ما يراه العنكبوت على موقعك سيحدد كيفية إدراج موقعك في فهرسه. تحدد محركات البحث مدى ملاءمة الموقع بناءً على نظام تسجيل معقد تحاول محركات البحث الحفاظ عليه سراً. يضيف هذا النظام النقاط أو يطرحها بناءً على أشياء مثل عدد المرات التي ظهرت فيها الكلمة الرئيسية على الصفحة ، ومكان ظهورها على الصفحة ، وعدد الكلمات الإجمالية التي تم العثور عليها. يتم إرجاع الصفحات التي تحقق أكبر عدد من النقاط أعلى نتائج البحث ؛ يتم دفن البقية في القاع ، ولن يتم العثور عليهم أبدًا.

عندما يقوم برنامج عنكبوت بزيارة موقعك ، فإنه يلاحظ أي روابط على صفحتك تؤدي إلى مواقع أخرى. في أي قاعدة بيانات واسعة لمحرك البحث يتم تسجيل جميع الروابط بين المواقع. يعرف محرك البحث المواقع التي قمت بربطها ، والأهم من ذلك ، المواقع المرتبطة بك. ستستخدم العديد من المحركات عدد الروابط المؤدية إلى موقعك كمؤشر على الشعبية ، ومن ثم ستعزز ترتيبك بناءً على هذا العامل.