第４章 内部最適化のポイント
robots.txtに該当ページをインデックスさせない記述を行う
該当ページをインデックスさせない記述を行って、検索結果に表示しない様にする方法です。
Googleなどの検索エンジンのクローラーのアクセスを管理する方法です。これにより、クロールを実行しないディレクトリを指定できます。
つまり、検索エンジンに表示されないページを指定する事ができます。
http://あなたのサイトURL/
このサイトの中で、
http://あなたのサイトURL/secret/
このサブディレクトリのページがすべて、秘密の内容、またはあまり必要のないページの場合。
「robots.txt」を作成して、サーバーにアップロードすれば、検索結果から表示されない様に指定できます。
基本的に、robots.txtは、index.htmlなどのルート部分にアップロードします。注意点として、トップページへのGooglebotのクローラが、誤ってブロックされないようにしてください。
これには、Googleだと、サ－チコンソールのrobots.txt 分析ツールを活用してテストする方法があります。
その他の方法としては、.htaccessファイルを置く事で、アクセス制限をかける事もできます。
>> SEOライティングとトーク力が最重要