আজকের আর্টিকেলে, আপনি সার্চ র‍্যাংকিংয়ে উনতি করতে Robots.txt এর গুরুত্বপূর্ণ সেটিং শিখতে পারবেন এবং আমরা আরো শিখব যেভাবে ব্লগার ব্লগে Robots.txt Add করবেন।

Robots.txt কি?

Robots.txt ওয়েব ক্রাউলারকে বলে (যেমন google bot) কিভাবে আপনার ব্লগ অথবা ওয়েবসাইট Index করবে এবং সার্চ রেজাল্টে দেখাবে। এটি একটি নির্দেশনা কোড যা আপনার সাইটের রুট ডাইরেক্টরিতে থাকে।

[নোটঃ Web Crawlers (bots,spiders,নামেও পরিচিত) হল প্রোগ্রাম যা সার্চ ইঞ্জিন ইন্টারনেটে থাকা  আপনার ওয়েবসাইটের তথ্য সংগ্রহ করতে ব্যবহার করে, যেমন Googlebot]

এর মানে হল আপনি সার্চ ইঞ্জিনকে পেজ,ফাইল,পোস্ট ইন্ডেক্স করার অনুমতি দিতে পারেন আবার বন্ধ করতে পারেন।

উপরে দেওয়া Robots.txt এর বর্ননা অনুযায়ী, যখন ওয়েব ক্রাউলার আপনার ওয়েবসাইট অথবা ব্লগে আসে, প্রথমে এটি আপনার ব্লগ বা ওয়েবসাইটের  Robots.txt ফাইল স্কান করে,পরে আপনার ব্লগ অথবা ওয়েবসাইট ক্রাউলিং শুরু করে।

Add custom robots.txt File in Blogger blog

প্রতিটি host partner ব্লগার সাইটের একটি ডিফল্ট Robots.txt রয়েছে। কিছুটা এই রকম:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Set-Up করার আগে এর সম্পর্কে বিস্তারিত জেনে নেওয়া যাক,

এই Robots.txt ফাইল তিনভাগে বিভক্ত। প্রথমে এর সম্পর্কে জেনে নেই,তারপর আমরা শিখব কিবাবে ব্লগার ব্লগে Robots.txt add করতে হয়।

User-agent: Mediapartners-Google:

এটি হল গুগল অ্যাডসেন্স রোবট,এটি আপনাকে ব্লগে সুন্দর অ্যাডস পরিবেশন করতে সাহায্য করবে। যদি আপনি অ্যাডসেন্স পেয়ে থাকেন তাহলে এটি ব্যবহার করতে পারেন, আর না হলে এটি বাদ দিন।

User-agent:*

এটি তারকাচিহ্ন (*) দ্বারা চিহ্নিত সমস্ত রোবটগুলির জন্য।ডিফল্ট সেটিং -এ আমাদের ব্লগের লেবেলগুলি ইন্ডেক্স করেনা।এর মানে হল নিচের কোড এর জন্য আমাদের ব্লগের লেবেল ইন্ডেক্স করবে না।

Disallow: /search

তার অর্থ ডোমেন নামের ঠিক পরে কীওয়ার্ড অনুসন্ধানের লিঙ্কগুলিকে উপেক্ষা করা হবে। উদাহরণস্বরূপ, একটি লেবেল seo,

www.seratune.com/search/label/SEO

যদি আমরা উপরের কোড থেকে Disallow: /search

সরিয়ে দেই, তাহলে crawlers আমাদের ওয়েবপেইজের সব কন্টেন্ট ক্রাউল এবং ইন্ডেক্স করার অনুমতি পেয়ে যাবে।

এখানে Allow: / বোঝায় ওয়েন ক্রলারস আমাদের ব্লগের homepage ক্রল এবং ইন্ডেক্স করবে।

Disallow নির্দিষ্ট পোস্ট

মনে করেন আমরা একটি নির্দিষ্ট পোস্ট ইন্ডেক্স করতে চাই না এজন্য নিচের কোডটি ব্যবহার করতে পারেন।

Disallow: /yyyy/mm/post-url.html

যেমন ২০১৯ সালের ৫ মাসের সময় পোস্ট পাবলিশ করেছেন তাহলে কোডটি এভাবে দিবেন।

Disallow: /2019/05/post-url.html

Disallow নির্দিষ্ট page

যদি নির্দিষ্ট পেজ disallow করতে চান তাহলে উপরের মত একই পদ্ধতি ব্যবহার করতে পারেন।

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

এই কোডটি আমাদের ব্লগের সাইটম্যাপ নির্দেশ করে। যখন ওয়েবক্রলার আমাদের ব্লগ বা ওয়েবসাইটে আসবে তখন সাইটম্যাপ খুজবে যেখানে সব পোস্ট এর লিংক রয়েছে।

নোটঃঃ এটি শুধু আমাদের ব্লগের প্রথম ২৫ টি পোস্ট ইন্ডেক্স করবে তাই যখন ২৫ টি এর বেশি হয় তখন নিচের সাইটম্যাপ ব্যবহার করবেন।

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

যদি ৫০০ এর বেশি পোস্ট হয় তাহলে নিচের সাইটম্যাপ ব্যবহার করবেন।

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

ব্লগস্পট ব্লগে Robots.txt যুক্ত করার নিয়ম

ব্লগার ব্লগে লগইন করুন।

তারপর setting অপশনে যাবেন।

Setting>>>search preference>>>robots.txt>>>Edit

এখন আপনার Robots.txt ফাইল বক্সে পেস্ট করুন।

এবং save এ ক্লিক করুন।

যেভাবে  Robots.txt file check করবেন

আপনার ব্লগের url এর শেষে /robots.txt লিখে ভিজিট করলে robots.txt ফাইল দেখতে পাবেন।

যেমন,

www.yourblog.blogspot.con/robots.txt

উপসংহারঃ

ব্লগার ব্লগে robots.txt ফাইল অ্যাড করার টিউটোরিয়ালটি আপনাদের বোঝানোর যথাসম্ভব সহজ এবং আমার সেরা চেস্টা করেছি। তার পরেও যদি কোন সন্দেহ বা বুঝতে সমস্যা হয় তাহলে কমেন্টে জানাবেন।

নিশ্চিত না হয়ে এবং না বুঝে আপনার robots.txt ফাইলে কোন কোড যুক্ত করবেন না।

এই বিষয়ে অনুসন্ধানের জন্য জিজ্ঞাসা করতে পারেন আমি বিস্তারিত বলে দেব।

ধন্যবাদ পোস্টটি পড়ার জন্য।