fba/helpers/blacklist.py

   1 # Fedi API Block - An aggregator for fetching blocking data from fediverse nodes
   2 # Copyright (C) 2023 Free Software Foundation
   3 #
   4 # This program is free software: you can redistribute it and/or modify
   5 # it under the terms of the GNU Affero General Public License as published
   6 # by the Free Software Foundation, either version 3 of the License, or
   7 # (at your option) any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU Affero General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU Affero General Public License
  15 # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  16
  17 import logging
  18
  19 import validators
  20
  21 logging.basicConfig(level=logging.INFO)
  22 logger = logging.getLogger(__name__)
  23
  24 # Don't check these, known trolls/flooders/testing/developing
  25 blacklist = [
  26     # Floods federation with fake nodes as "research" project
  27     "activitypub-troll.cf",
  28     # Similar troll
  29     "gab.best",
  30     # Similar troll
  31     "4chan.icu",
  32     # Flooder (?)
  33     "social.shrimpcam.pw",
  34     # Flooder (?)
  35     "mastotroll.netz.org",
  36     # Testing/developing installations
  37     "ngrok.io",
  38     "ngrok-free.app",
  39     "misskeytest.chn.moe",
  40     # block flooder
  41     "everyoneattack.com",
  42 ]
  43
  44 def is_blacklisted(domain: str) -> bool:
  45     logger.debug("domain(%d)='%s' - CALLED!", len(domain), domain)
  46     if not isinstance(domain, str):
  47         raise ValueError(f"Parameter domain[]='{type(domain)}' is not 'str'")
  48     elif domain == "":
  49         raise ValueError("Parameter 'domain' is empty")
  50     elif domain.lower() != domain:
  51         raise ValueError(f"Parameter domain='{domain}' must be all lower-case")
  52     elif not validators.domain(domain.split("/")[0]):
  53         raise ValueError(f"domain='{domain}' is not a valid domain")
  54     elif domain.endswith(".arpa"):
  55         raise ValueError(f"domain='{domain}' is a domain for reversed IP addresses, please don't crawl them!")
  56     elif domain.endswith(".tld"):
  57         raise ValueError(f"domain='{domain}' is a fake domain, please don't crawl them!")
  58
  59     blacklisted = False
  60     for peer in blacklist:
  61         logger.debug(f"Checking peer='{peer}' ...")
  62         if peer in domain:
  63             logger.debug(f"domain='{domain}' is blacklisted.")
  64             blacklisted = True
  65
  66     logger.debug(f"blacklisted='{blacklisted}' - EXIT!")
  67     return blacklisted