fba/networks/peertube.py

   1 # Fedi API Block - An aggregator for fetching blocking data from fediverse nodes
   2 # Copyright (C) 2023 Free Software Foundation
   3 #
   4 # This program is free software: you can redistribute it and/or modify
   5 # it under the terms of the GNU Affero General Public License as published
   6 # by the Free Software Foundation, either version 3 of the License, or
   7 # (at your option) any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU Affero General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU Affero General Public License
  15 # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  16
  17 import logging
  18
  19 from fba import csrf
  20
  21 from fba.helpers import config
  22 from fba.helpers import domain as domain_helper
  23
  24 from fba.http import network
  25
  26 from fba.models import instances
  27
  28 logging.basicConfig(level=logging.INFO)
  29 logger = logging.getLogger(__name__)
  30
  31 def fetch_peers(domain: str) -> list:
  32     logger.debug(f"domain({len(domain)})='{domain}',software='peertube' - CALLED!")
  33     domain_helper.raise_on(domain)
  34
  35     logger.debug(f"domain='{domain}' is a PeerTube, fetching JSON ...")
  36     peers   = list()
  37     start   = 0
  38
  39     # No CSRF by default, you don't have to add network.api_headers by yourself here
  40     headers = tuple()
  41
  42     try:
  43         logger.debug("Checking CSRF for domain='%s'", domain)
  44         headers = csrf.determine(domain, dict())
  45     except network.exceptions as exception:
  46         logger.warning(f"Exception '{type(exception)}' during checking CSRF (fetch_peers,{__name__}) - EXIT!")
  47         instances.set_last_error(domain, exception)
  48         return peers
  49
  50     for mode in ["followers", "following"]:
  51         logger.debug(f"domain='{domain}',mode='{mode}'")
  52         while True:
  53             data = network.get_json_api(
  54                 domain,
  55                 f"/api/v1/server/{mode}?start={start}&count=100",
  56                 headers,
  57                 (config.get("connection_timeout"), config.get("read_timeout"))
  58             )
  59
  60             logger.debug("data[]='%s'", type(data))
  61             if "error_message" not in data:
  62                 logger.debug(f"Success, data[json]()={len(data['json'])}")
  63                 if "data" in data["json"]:
  64                     rows = data["json"]["data"]
  65
  66                     logger.debug(f"Found {len(rows)} record(s).")
  67                     for record in rows:
  68                         logger.debug(f"record()={len(record)}")
  69                         for mode2 in ["follower", "following" ]:
  70                             logger.debug(f"mode2='{mode2}'")
  71                             if mode2 in record and "host" in record[mode2]:
  72                                 logger.debug(f"Found host='{record[mode2]['host']}', adding ...")
  73                                 peers.append(record[mode2]["host"])
  74                             else:
  75                                 logger.warning(f"record from '{domain}' has no '{mode2}' or 'host' record: {record}")
  76
  77                     if len(rows) < 100:
  78                         logger.debug(f"Reached end of JSON response, domain='{domain}'")
  79                         break
  80
  81                 # Continue with next row
  82                 start = start + 100
  83             else:
  84                 logger.warning(f"domain='{domain}' causes error during API query: '{data['error_message']}' - SKIPPED!")
  85                 break
  86
  87     logger.debug(f"Adding '{len(peers)}' for domain='{domain}'")
  88     instances.set_total_peers(domain, peers)
  89
  90     logger.debug(f"Returning peers[]='{type(peers)}'")
  91     return peers