bot制限

世界中には多くの検索ロボットが動いています。
先日、アクセス障害が発生し、サポートに連絡をしたところ、ドメインファイルを置いてある/pbulic_html/のルートへ.htaccessを置いて国外からのアクセス拒否設定をしてくれました。
.htaccessの内容は

### begin VALUE-DOMAIN.COM
SetEnvIf MM_COUNTRY_CODE JP AllowCountry
order deny,allow
deny from all
allow from env=AllowCountry
### end VALUE-DOMAIN.COM

これだと国外からのアクセス拒否設定になってしまいます。
昨日一日、アクセス拒否設定を止め、サーバーログを詳細に確認をしました。

アクセスログを調べたところ、「wordpress」が一位ですが、これはWordPressに組み込んでいる解析プラグインだと思います。
2位の「MJ12bot」と言うbotが8月から異常なアクセスをしていました。
これが原因なのかなといろいろと調べてみたところ、こいつのお陰でアクセスエラーとなったと言う記事が多数ありました。
そこで、下記の.htaccessに置き換えて、様子見をしてみましょう。
フランスとかロシアとか自分にとっては無用のbotをブロックするものです。
他のサイトから引用し、botをプラスしました。
FeedWordPressはWordPressのプラグインで、他サイトからFeedを取得し、記事を盗用するプラグインです。


bot制限への11件のコメント

  1. アバター 呑兵衛あな
    呑兵衛あな コメント投稿者

    試験投稿されたとのこと称しました。
    しかし、先に報告した二つのRSS Feedでキャッチできない状況に変化はありませんでした。
    もう一つ使っている以下の「livedoor 相互RSS」ではキャッチできました。
    https://blogroll.livedoor.com/
    愚呑さんの「DropFeeds」では問題無いとのことですので、24t程度模様眺めします

    • アバター 愚呑庵 歩太郎
      愚呑庵 歩太郎 コメント投稿者

      変化ないとのことですが、アクセス障害のあとにはこの.htaccessをしばらく置いていました。
      日本国内からのアクセスなので問題ないはずなんですが?

      現在、.htaccessをこちらに変更しまたので確認をお願いします。
      .htaccessの内容は下記のページから確認が出来ます。
      http://www.cgis.biz/tools/access/

      • アバター 呑兵衛あな
        呑兵衛あな コメント投稿者

        09/24 10時にて再確認しましたが、変化はありませんでした。
        私の環境でRSS Feed設定できるのは、FirefoxとChromeだけです。また、RSS Feederとしては「inoreader」と「feedly」が主ですがキャッチできない事は以前申し上げたとおりです。また、副で使っている「livedoor 相互RSS」ではキャッチできます。

        更にFirefox付録の「Feed Watcher」を利用できそうですが、ユーザー登録が必要なので使用について気乗りしていませんが、ご希望であれば試行してみます。
        https://feedwatcher.net/

        こちらのブログからは「記事本文」と「コメント」のRSSが発信されているようですが、私の環境ではいずれも取得できません。
        「.htaccess」の内容は無知です。

        • アバター 愚呑庵 歩太郎
          愚呑庵 歩太郎 コメント投稿者

          このコメントを確認し、取り敢えずアクセスフリーにしましたので、確認をお願いします。
          またFirefoxやChromeのバージョンアップに伴い使用出来なくなるアドオンなどがありますのでご注意願います。

          • アバター 呑兵衛あな
            呑兵衛あな コメント投稿者

            外出しておりました。
            只今(11:58)確認しましたが、これまでの不具合は全て改善されています

            • アバター 愚呑庵 歩太郎
              愚呑庵 歩太郎 コメント投稿者

              了解です。
              う~、国外からのアクセス拒否設定で、国内からのアクセスが・・
              何だろう?

              • アバター 呑兵衛あな
                呑兵衛あな コメント投稿者

                >国外からのアクセス拒否設定で、国内からのアクセスが・・

                私は難しいことは知りませんが...「inoreader」も「feedly」も外国企業だと思います。したがって、国外にサーバーがあるのだと思います。ちなみに下記サイトによれば「inoreaderには日本向けサーバーが有る」用です。
                https://freesoft.tvbok.com/freesoft/internet/inoreader.html
                何れにしても、国外からのアクセス拒否設定していればinoreaderやfeedlyは対象になるのではないでしょうか。
                同様に、某ブログに書かれたリンクを辿ってこのブログにアクセスを試みた場合、某ブログが海外に在るサーバーであった場合はアクセス拒否の対象になってしまうのではないでしょうか?

                • アバター 愚呑庵 歩太郎
                  愚呑庵 歩太郎 コメント投稿者

                  inoreaderですが、登録して利用する様ですので、海外からのアクセスになるのかも知れませんね。
                  了解です。
                  現在、悪質な検索botのMJ12botのアクセス拒否設定のみをしています。
                  一概に国外拒否すると、いろいろありそうなので、いろいろ試行錯誤してみたいと思います。
                  何かありましたら、適当な投稿にコメントをお願い致します。
                  ありがとうございます。

          • アバター 呑兵衛あな
            呑兵衛あな コメント投稿者

            「使用出来なくなるアドオン」の件、承知しています。
            ちなみに私が使用しているのは以下のとおりです。
            http://nonn634.blog.jp/archives/77011963.html

  2. アバター 呑兵衛あな
    呑兵衛あな コメント投稿者

    私は、inoreaderとfeedlyでRSS Feedをキャッチしています。
    本日の先ほど気が付きましたが、Firefox、Chromeともに、キャッチできない状態になりましたので御連絡します。
    どうやら09/23 12時頃からの事象のようです。
    feedlyでは「Feed not found Wrong feed URL or dead feed」のエラーです。

    何か新しい記事を書いてみてください

    • アバター 愚呑庵 歩太郎
      愚呑庵 歩太郎 コメント投稿者

      本日は朝5時から出掛けていまして、ただいま戻って来た次第です。
      そう言うことで、何もしていません。

      現在の.htaccessの記述はJP以外からのサーバーへのアクセスを止めています。
      ### begin VALUE-DOMAIN.COM
      SetEnvIf MM_COUNTRY_CODE JP AllowCountry
      order deny,allow
      deny from all
      allow from env=AllowCountry
      ### end VALUE-DOMAIN.COM

      あれこれ試行錯誤しながらやっています。
      こちらのFirefoxアドオンの「DropFeeds」は問題無く動作しています。
      試しに投稿を入れてみます。