ultimate-bad-bot-blocker の bat bot を robots.txt に追加する

Spam や、ゴーストリファラの除外の各種設定ファイルが存在する mitchellkrogza/apache-ultimate-bad-bot-blocker: Apache Block Bad Bots, Spam Referrer Blocker, Vulnerability Scanners, Malware, Adware, Ransomware, Malicious Sites, Wordpress Theme Detectors and Fail2Ban Jail for Repeat Offenders には、robots.txt のテンプレートも存在します。

このテンプレートファイルと、手で作成した robots.txt をマージしてみました。
実施したことを記載します。

Robots.txt について

Robots.txt とは何か?

以下、Google Developers の Robots.txt のドキュメントが参考になりました。
* Robots.txt の仕様  |  検索  |  Google Developers
* Robots メタタグと X-Robots-Tag HTTP ヘッダーの仕様  |  検索  |  Google Developers

一言でいうと、検索エンジン等のクローラの動作を制御するファイルです。

一般的にどのように記載されているか?

• 大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴 | 齊藤貴義の唯物論
  バッドノウハウかもしれませんが、参考になりました。

• イケてるパイソンエンジニアを無料で集める方法(神田敏晶) - 個人 - Yahoo!ニュース
  robots.txt でリクルーティングをするサイトを紹介しています。

• Fun with robots.txt - Search Engine Land
  NIKE の サイトの robots.txt には、ロゴのアスキーアートが記載されています。

• The Ultimate Robots.txt Guide to Improve Crawl Efficiency
  robots.txt の記載例が参考になります。

ultimate-bad-blocker の robots.txt の内容について

以下のような記述が、ひたすら記載されています。
対象のユーザーエージェント のクローリングを、domain配下で全て除外する設定になります。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: 173.212soso
Disallow:/
User-agent: 192.comagent
Disallow:/
User-agent: 1noonbot
Disallow:/
User-agent: 1on1searchbot
Disallow:/
User-agent: 360Spider

wordpress の admin 画面を除外する記述は全てを除外する設定になっています。
robots.txt の記述をたよりに、wordpress 管理画面を見つけようとするボットもいる、robots.txt の内容が効かないボットもいるかと思いますので、管理画面に noindex を付与する、会社内でのアクセスのみ許容する といった制御は別途必要かと思います。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

また、それなりに行数があるのでボット、クローラがファイルを参照する際にボット側の負荷が上がる可能性があります。

前提 このブログでの、robots.txt の生成方法

django-robots を使用しています。過去に関連する記事を記載していますので、よろしければご確認ください。

• Django robots.txt を配置する方法、考慮点について | Monotalk

robots.txt の取得、マージ

既存の robots.txt に、取得した robots.txt ファイルをマージします。

• オリジナル robots.txt
  robots.txt のファイルの内容は以下の通りです。
  

  # sitemap.xml
  Sitemap: https://mutter.monotalk.xyz/sitemap.xml
  

• オリジナル robots.txt を 書き込む
  

  cat /var/www/templates/robots.txt.org > robots.txt
  

• ファイルを取得して、追記する
  

  wget -O robots.txt.bot_block https://raw.githubusercontent.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/master/robots.txt/robots.txt   
  cat robots.txt.bot_block >> robots.txt
  

• 作成した robots.txt
  以下のようになりました。
  

  # sitemap.xml
  Sitemap: https://mutter.monotalk.xyz/sitemap.xml
  ###################################################################
  # The Ultimate robots.txt Bot and User-Agent Blocker
  # Copyright:
  # https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker
  ###################################################################
  
  ### Version Information #
  ###################################################
  ### Version: V3.2018.08.1015
  ### Updated: Wed Aug 22 09:50:24 SAST 2018
  ### Bad Bot Count: 1772
  ###################################################
  ### Version Information ##
  
  User-agent: *
  Disallow: /wp-admin/
  Allow: /wp-admin/admin-ajax.php
  User-agent: 173.212soso
  Disallow:/
  User-agent: 192.comagent
  

Sitemap: の記述が一番上でこの後、読み込みが打ち切られないか気になりますが、これで様子をみようかと思います。

スケジュール実行

apache-ultimate-bad-bot-blocker/update-apacheblocker.sh at master · mitchellkrogza/apache-ultimate-bad-bot-blocker を参考に、作れそうに思いました。

気が向いたら作ってみようかと思います。

以上です。