カテゴリ：
SEO対策の雑学記事

SEO対策の知識を得る中で「robots.txt」の用語を見かける事があると言う人は多いのではないでしょうか。

robotsとは検索エンジンのクローラーのウェブページのへのアクセス制限を行うためにファイル名です。

「txt」はファイルの拡張子で、テキストベースのファイルになるのでテキストエディターを利用して修正や閲覧が出来ますし、このファイルをブラウザにドラッグ＆ドロップしても表示が出来ます。

SEO対策の中には色々な用語があるので、対策を行うためには用語をしっかりとマスターしておくのがお勧めです。

尚、ウェブページへのアクセス制御を行うこのファイルは、クローラーに対しての命令文で、アクセスを許可する、もしくは許可しない事を記述しておくファイルになります。
さらに、このファイルはクロール最適化の一種、SEO対策の中でも重要なものとなります。
ちなみ、クロール最適化と言う用語もSEOを学習する中で学んでおかなければならないものの一つで、自らのウェブページの中でも重要なページ、例えばトップページにクローラーの訪問数を増やすなどの最適化を意味しています。

クローラーは内部リンクもしくは被リンクを辿り流入するのが特徴です。
内部リンクはウェブサイト内のリンクで、サイトマップや他のウェブページへのリンクを意味しています。

これに対して被リンクは他のウェブサイトから自分が所有するウェブサイトに張られているリンクで、クローラーは他のウェブサイトの被リンクを辿って流入する事もあるわけです。
そのため、サイト内で多くのリンクを持つウェブページはクローラーが流入する確率が高くなるわけです。

但し、注意をしなければならない事は、クローラーはドメイン毎に訪問するページ数に制限が設けられています。

すべてのページを流入して巡回するのではなく、特定のページに流入する事になるため、重要なページにクローラーが流入するように「robots.txt」でコントロールする必要があるわけです。

被リンクの場合は、ウェブページのトップページにリンクが張ってある事もあれば、それほど重要なページではない部分に張ってあるケースもあるため、重要視して欲しいページにクローラ－の巡回を期待する目的で、「robots.txt」で命令を行えば良いのです。