api.py

   1 # Fedi API Block - An aggregator for fetching blocking data from fediverse nodes
   2 # Copyright (C) 2023 Free Software Foundation
   3 #
   4 # This program is free software: you can redistribute it and/or modify
   5 # it under the terms of the GNU Affero General Public License as published
   6 # by the Free Software Foundation, either version 3 of the License, or
   7 # (at your option) any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU Affero General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU Affero General Public License
  15 # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  16
  17 from datetime import datetime
  18 from email import utils
  19
  20 import re
  21
  22 from fastapi import Request, HTTPException, Query
  23 from fastapi.responses import JSONResponse
  24 from fastapi.responses import PlainTextResponse
  25 from fastapi.templating import Jinja2Templates
  26
  27 import fastapi
  28 import uvicorn
  29 import requests
  30 import validators
  31
  32 from fba import config
  33 from fba import fba
  34 from fba import network
  35
  36 from fba.helpers import tidyup
  37
  38 router = fastapi.FastAPI(docs_url=config.get("base_url") + "/docs", redoc_url=config.get("base_url") + "/redoc")
  39 templates = Jinja2Templates(directory="templates")
  40
  41 @router.get(config.get("base_url") + "/api/info.json", response_class=JSONResponse)
  42 def api_info():
  43     fba.cursor.execute("SELECT (SELECT COUNT(domain) FROM instances), (SELECT COUNT(domain) FROM instances WHERE software IN ('pleroma', 'mastodon', 'lemmy', 'friendica', 'misskey', 'bookwyrm', 'takahe', 'peertube')), (SELECT COUNT(blocker) FROM blocks), (SELECT COUNT(domain) FROM instances WHERE last_error_details IS NOT NULL)")
  44     row = fba.cursor.fetchone()
  45
  46     return {
  47         "known_instances"   : row[0],
  48         "indexed_instances" : row[1],
  49         "blocks_recorded"   : row[2],
  50         "errorous_instances": row[3],
  51         "slogan"            : config.get("slogan")
  52     }
  53
  54 @router.get(config.get("base_url") + "/api/top.json", response_class=JSONResponse)
  55 def api_top(mode: str, amount: int):
  56     if amount > 500:
  57         raise HTTPException(status_code=400, detail="Too many results")
  58
  59     if mode == "blocked":
  60         fba.cursor.execute("SELECT blocked, COUNT(blocked) AS score FROM blocks WHERE block_level = 'reject' GROUP BY blocked ORDER BY score DESC LIMIT ?", [amount])
  61     elif mode == "blocker":
  62         fba.cursor.execute("SELECT blocker, COUNT(blocker) AS score FROM blocks WHERE block_level = 'reject' GROUP BY blocker ORDER BY score DESC LIMIT ?", [amount])
  63     elif mode == "reference":
  64         fba.cursor.execute("SELECT origin, COUNT(domain) AS score FROM instances WHERE software IS NOT NULL GROUP BY origin ORDER BY score DESC LIMIT ?", [amount])
  65     elif mode == "software":
  66         fba.cursor.execute("SELECT software, COUNT(domain) AS score FROM instances WHERE software IS NOT NULL GROUP BY software ORDER BY score DESC, software ASC LIMIT ?", [amount])
  67     elif mode == "command":
  68         fba.cursor.execute("SELECT command, COUNT(domain) AS score FROM instances WHERE command IS NOT NULL GROUP BY command ORDER BY score DESC, command ASC LIMIT ?", [amount])
  69     elif mode == "error_code":
  70         fba.cursor.execute("SELECT last_status_code, COUNT(domain) AS score FROM instances WHERE last_status_code IS NOT NULL AND last_status_code != '200' GROUP BY last_status_code ORDER BY score DESC LIMIT ?", [amount])
  71     else:
  72         raise HTTPException(status_code=400, detail="No filter specified")
  73
  74     scores = list()
  75
  76     for domain, score in fba.cursor.fetchall():
  77         scores.append({
  78             "domain": domain,
  79             "score" : score
  80         })
  81
  82     return scores
  83
  84 @router.get(config.get("base_url") + "/api/index.json", response_class=JSONResponse)
  85 def api_blocked(domain: str = None, reason: str = None, reverse: str = None):
  86     if domain is None and reason is None and reverse is None:
  87         raise HTTPException(status_code=400, detail="No filter specified")
  88
  89     if reason is not None:
  90         reason = re.sub("(%|_)", "", tidyup.reason(reason))
  91         if len(reason) < 3:
  92             raise HTTPException(status_code=400, detail="Keyword is shorter than three characters")
  93
  94     if domain is not None:
  95         domain = tidyup.domain(domain)
  96         if not validators.domain(domain):
  97             raise HTTPException(status_code=500, detail="Invalid domain")
  98
  99         wildchar = "*." + ".".join(domain.split(".")[-domain.count("."):])
 100         punycode = domain.encode('idna').decode('utf-8')
 101
 102         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? ORDER BY first_seen ASC",
 103                   (domain, "*." + domain, wildchar, fba.get_hash(domain), punycode, "*." + punycode))
 104     elif reverse is not None:
 105         reverse = tidyup.domain(reverse)
 106         if not validators.domain(reverse):
 107             raise HTTPException(status_code=500, detail="Invalid domain")
 108
 109         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocker = ? ORDER BY first_seen ASC", [reverse])
 110     else:
 111         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE reason like ? AND reason != '' ORDER BY first_seen ASC", ["%" + reason + "%"])
 112
 113     blocklist = fba.cursor.fetchall()
 114
 115     result = {}
 116     for blocker, blocked, block_level, reason, first_seen, last_seen in blocklist:
 117         if reason is not None and reason != "":
 118             reason = reason.replace(",", " ").replace("  ", " ")
 119
 120         entry = {
 121             "blocker"   : blocker,
 122             "blocked"   : blocked,
 123             "reason"    : reason,
 124             "first_seen": first_seen,
 125             "last_seen" : last_seen
 126         }
 127
 128         if block_level in result:
 129             result[block_level].append(entry)
 130         else:
 131             result[block_level] = [entry]
 132
 133     return result
 134
 135 @router.get(config.get("base_url") + "/api/mutual.json", response_class=JSONResponse)
 136 def api_mutual(domains: list[str] = Query()):
 137     """Return 200 if federation is open between the two, 4xx otherwise"""
 138     fba.cursor.execute(
 139         "SELECT block_level FROM blocks " \
 140         "WHERE ((blocker = :a OR blocker = :b) AND (blocked = :b OR blocked = :a OR blocked = :aw OR blocked = :bw)) " \
 141         "AND block_level = 'reject' " \
 142         "LIMIT 1",
 143         {
 144             "a" : domains[0],
 145             "b" : domains[1],
 146             "aw": "*." + domains[0],
 147             "bw": "*." + domains[1],
 148         },
 149     )
 150     response = fba.cursor.fetchone()
 151
 152     if response is not None:
 153         # Blocks found
 154         return JSONResponse(status_code=418, content={})
 155
 156     # No known blocks
 157     return JSONResponse(status_code=200, content={})
 158
 159 @router.get(config.get("base_url") + "/scoreboard")
 160 def scoreboard(request: Request, mode: str, amount: int):
 161     response = None
 162
 163     if mode == "blocker" and amount > 0:
 164         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=blocker&amount={amount}")
 165     elif mode == "blocked" and amount > 0:
 166         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=blocked&amount={amount}")
 167     elif mode == "reference" and amount > 0:
 168         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=reference&amount={amount}")
 169     elif mode == "software" and amount > 0:
 170         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=software&amount={amount}")
 171     elif mode == "command" and amount > 0:
 172         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=command&amount={amount}")
 173     elif mode == "error_code" and amount > 0:
 174         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=error_code&amount={amount}")
 175     else:
 176         raise HTTPException(status_code=400, detail="No filter specified")
 177
 178     if response is None:
 179         raise HTTPException(status_code=500, detail="Could not determine scores")
 180     elif not response.ok:
 181         raise HTTPException(status_code=response.status_code, detail=response.text)
 182
 183     return templates.TemplateResponse("views/scoreboard.html", {
 184         "base_url"  : config.get("base_url"),
 185         "slogan"    : config.get("slogan"),
 186         "request"   : request,
 187         "scoreboard": True,
 188         "mode"      : mode,
 189         "amount"    : amount,
 190         "scores"    : network.json_from_response(response)
 191     })
 192
 193 @router.get(config.get("base_url") + "/")
 194 def index(request: Request):
 195     # Get info
 196     response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/info.json")
 197
 198     if not response.ok:
 199         raise HTTPException(status_code=response.status_code, detail=response.text)
 200
 201     return templates.TemplateResponse("views/index.html", {
 202         "request": request,
 203         "info"   : response.json()
 204     })
 205
 206 @router.get(config.get("base_url") + "/top")
 207 def top(request: Request, domain: str = None, reason: str = None, reverse: str = None):
 208     if domain == "" or reason == "" or reverse == "":
 209         raise HTTPException(status_code=500, detail="Insufficient parameter provided")
 210
 211     response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/info.json")
 212
 213     if not response.ok:
 214         raise HTTPException(status_code=response.status_code, detail=response.text)
 215
 216     info = response.json()
 217     response = None
 218
 219     if domain is not None:
 220         domain = tidyup.domain(domain)
 221         if not validators.domain(domain):
 222             raise HTTPException(status_code=500, detail="Invalid domain")
 223
 224         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?domain={domain}")
 225     elif reason is not None:
 226         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?reason={reason}")
 227     elif reverse is not None:
 228         reverse = tidyup.domain(reverse)
 229         if not validators.domain(reverse):
 230             raise HTTPException(status_code=500, detail="Invalid domain")
 231
 232         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?reverse={reverse}")
 233
 234     if response is not None:
 235         if not response.ok:
 236             raise HTTPException(status_code=response.status_code, detail=response.text)
 237
 238         blocklist = response.json()
 239
 240         for block_level in blocklist:
 241             for block in blocklist[block_level]:
 242                 block["first_seen"] = datetime.utcfromtimestamp(block["first_seen"]).strftime(config.get("timestamp_format"))
 243                 block["last_seen"]  = datetime.utcfromtimestamp(block["last_seen"]).strftime(config.get("timestamp_format"))
 244
 245     return templates.TemplateResponse("views/top.html", {
 246         "request": request,
 247         "domain" : domain,
 248         "blocks" : blocklist,
 249         "reason" : reason,
 250         "reverse": reverse,
 251         "info"   : info
 252     })
 253
 254 @router.get(config.get("base_url") + "/rss")
 255 def rss(request: Request, domain: str = None):
 256     if domain is not None:
 257         domain = tidyup.domain(domain)
 258
 259         wildchar = "*." + ".".join(domain.split(".")[-domain.count("."):])
 260         punycode = domain.encode("idna").decode("utf-8")
 261
 262         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? ORDER BY first_seen DESC LIMIT ?", [
 263             domain,
 264             "*." + domain, wildchar,
 265             fba.get_hash(domain),
 266             punycode,
 267             "*." + punycode,
 268             config.get("rss_limit")
 269         ])
 270     else:
 271         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks ORDER BY first_seen DESC LIMIT ?", [config.get("rss_limit")])
 272
 273     result = fba.cursor.fetchall()
 274
 275     blocklist = []
 276     for blocker, blocked, block_level, reason, first_seen, last_seen in result:
 277         first_seen = utils.format_datetime(datetime.fromtimestamp(first_seen))
 278         if reason is None or reason == "":
 279             reason = "No reason provided."
 280         else:
 281             reason = "Provided reason: '" + reason + "'"
 282
 283         blocklist.append({
 284             "blocker"    : blocker,
 285             "blocked"    : blocked,
 286             "block_level": block_level,
 287             "reason"     : reason,
 288             "first_seen" : first_seen,
 289             "last_seen"  : last_seen,
 290         })
 291
 292     return templates.TemplateResponse("rss.xml", {
 293         "request"  : request,
 294         "timestamp": utils.format_datetime(datetime.now()),
 295         "domain"   : domain,
 296         "hostname" : config.get("hostname"),
 297         "blocks"   : blocklist
 298     }, headers={
 299         "Content-Type": "routerlication/rss+xml"
 300     })
 301
 302 @router.get(config.get("base_url") + "/robots.txt", response_class=PlainTextResponse)
 303 def robots(request: Request):
 304     return templates.TemplateResponse("robots.txt", {
 305         "request" : request,
 306         "base_url": config.get("base_url")
 307     })
 308
 309 if __name__ == "__main__":
 310     uvicorn.run("api:router", host=config.get("host"), port=config.get("port"), log_level=config.get("log_level"))