api.py

   1 # Fedi API Block - An aggregator for fetching blocking data from fediverse nodes
   2 # Copyright (C) 2023 Free Software Foundation
   3 #
   4 # This program is free software: you can redistribute it and/or modify
   5 # it under the terms of the GNU Affero General Public License as published
   6 # by the Free Software Foundation, either version 3 of the License, or
   7 # (at your option) any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU Affero General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU Affero General Public License
  15 # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  16
  17 from fastapi import Request, HTTPException, Query
  18 from fastapi.responses import JSONResponse
  19 from fastapi.responses import PlainTextResponse
  20 from fastapi.templating import Jinja2Templates
  21 from datetime import datetime
  22 from email import utils
  23
  24 import fastapi
  25 import uvicorn
  26 import requests
  27 import re
  28 import validators
  29
  30 from fba import *
  31
  32 router = fastapi.FastAPI(docs_url=config.get("base_url") + "/docs", redoc_url=config.get("base_url") + "/redoc")
  33 templates = Jinja2Templates(directory="templates")
  34
  35 @router.get(config.get("base_url") + "/api/info.json", response_class=JSONResponse)
  36 def info():
  37     fba.cursor.execute("SELECT (SELECT COUNT(domain) FROM instances), (SELECT COUNT(domain) FROM instances WHERE software IN ('pleroma', 'mastodon', 'misskey', 'gotosocial', 'friendica', 'bookwyrm', 'takahe', 'peertube')), (SELECT COUNT(blocker) FROM blocks), (SELECT COUNT(domain) FROM instances WHERE last_status_code IS NOT NULL)")
  38     known, indexed, blocks, errorous = fba.cursor.fetchone()
  39
  40     return {
  41         "known_instances"   : known,
  42         "indexed_instances" : indexed,
  43         "blocks_recorded"   : blocks,
  44         "errorous_instances": errorous,
  45         "slogan"            : config.get("slogan")
  46     }
  47
  48 @router.get(config.get("base_url") + "/api/top.json", response_class=JSONResponse)
  49 def top(blocked: int = None, blockers: int = None, reference: int = None, software: int = None, originator: int = None):
  50     if blocked != None:
  51         if blocked > 500:
  52             raise HTTPException(status_code=400, detail="Too many results")
  53         fba.cursor.execute("SELECT blocked, COUNT(blocked) FROM blocks WHERE block_level = 'reject' GROUP BY blocked ORDER BY COUNT(blocked) DESC LIMIT ?", [blocked])
  54     elif blockers != None:
  55         if blockers > 500:
  56             raise HTTPException(status_code=400, detail="Too many results")
  57         fba.cursor.execute("SELECT blocker, COUNT(blocker) FROM blocks WHERE block_level = 'reject' GROUP BY blocker ORDER BY COUNT(blocker) DESC LIMIT ?", [blockers])
  58     elif reference != None:
  59         if reference > 500:
  60             raise HTTPException(status_code=400, detail="Too many results")
  61         fba.cursor.execute("SELECT origin, COUNT(domain) FROM instances WHERE software IS NOT NULL GROUP BY origin ORDER BY COUNT(domain) DESC LIMIT ?", [reference])
  62     elif software != None:
  63         if software > 500:
  64             raise HTTPException(status_code=400, detail="Too many results")
  65         fba.cursor.execute("SELECT software, COUNT(domain) FROM instances WHERE software IS NOT NULL GROUP BY software ORDER BY COUNT(domain) DESC, software ASC LIMIT ?", [software])
  66     elif originator != None:
  67         if originator > 500:
  68             raise HTTPException(status_code=400, detail="Too many results")
  69         fba.cursor.execute("SELECT originator, COUNT(domain) FROM instances WHERE originator IS NOT NULL GROUP BY originator ORDER BY COUNT(domain) DESC, originator ASC LIMIT ?", [originator])
  70     else:
  71         raise HTTPException(status_code=400, detail="No filter specified")
  72
  73     scores = fba.cursor.fetchall()
  74
  75     scoreboard = []
  76
  77     for domain, highscore in scores:
  78         scoreboard.append({
  79             "domain"   : domain,
  80             "highscore": highscore
  81         })
  82
  83     return scoreboard
  84
  85 @router.get(config.get("base_url") + "/api/index.json", response_class=JSONResponse)
  86 def blocked(domain: str = None, reason: str = None, reverse: str = None):
  87     if domain == None and reason == None and reverse == None:
  88         raise HTTPException(status_code=400, detail="No filter specified")
  89
  90     if reason != None:
  91         reason = re.sub("(%|_)", "", reason)
  92         if len(reason) < 3:
  93             raise HTTPException(status_code=400, detail="Keyword is shorter than three characters")
  94
  95     if domain != None:
  96         wildchar = "*." + ".".join(domain.split(".")[-domain.count("."):])
  97         punycode = domain.encode('idna').decode('utf-8')
  98         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? ORDER BY first_seen ASC",
  99                   (domain, "*." + domain, wildchar, fba.get_hash(domain), punycode, "*." + punycode))
 100     elif reverse != None:
 101         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocker = ? ORDER BY first_seen ASC", [reverse])
 102     else:
 103         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE reason like ? AND reason != '' ORDER BY first_seen ASC", ["%" + reason + "%"])
 104
 105     blocks = fba.cursor.fetchall()
 106
 107     result = {}
 108     for blocker, blocked, block_level, reason, first_seen, last_seen in blocks:
 109         entry = {
 110             "blocker"   : blocker,
 111             "blocked"   : blocked,
 112             "reason"    : reason,
 113             "first_seen": first_seen,
 114             "last_seen" : last_seen
 115         }
 116         if block_level in result:
 117             result[block_level].append(entry)
 118         else:
 119             result[block_level] = [entry]
 120
 121     return result
 122
 123 @router.get(config.get("base_url") + "/api/mutual.json", response_class=JSONResponse)
 124 def mutual(domains: list[str] = Query()):
 125     """Return 200 if federation is open between the two, 4xx otherwise"""
 126     fba.cursor.execute(
 127         "SELECT block_level FROM blocks " \
 128         "WHERE ((blocker = :a OR blocker = :b) AND (blocked = :b OR blocked = :a OR blocked = :aw OR blocked = :bw)) " \
 129         "AND block_level = 'reject' " \
 130         "LIMIT 1",
 131         {
 132             "a" : domains[0],
 133             "b" : domains[1],
 134             "aw": "*." + domains[0],
 135             "bw": "*." + domains[1],
 136         },
 137     )
 138     response = fba.cursor.fetchone()
 139
 140     if response is not None:
 141         # Blocks found
 142         return JSONResponse(status_code=418, content={})
 143
 144     # No known blocks
 145     return JSONResponse(status_code=200, content={})
 146
 147 @router.get(config.get("base_url") + "/scoreboard")
 148 def index(request: Request, blockers: int = None, blocked: int = None, reference: int = None, software: int = None, originator: int = None):
 149     scores = None
 150
 151     if blockers != None and blockers > 0:
 152         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?blockers={blockers}")
 153     elif blocked != None and blocked > 0:
 154         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?blocked={blocked}")
 155     elif reference != None and reference > 0:
 156         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?reference={reference}")
 157     elif software != None and software > 0:
 158         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?software={software}")
 159     elif originator != None and originator > 0:
 160         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?originator={originator}")
 161     else:
 162         raise HTTPException(status_code=400, detail="No filter specified")
 163
 164     if response == None:
 165         raise HTTPException(status_code=500, detail="Could not determine scores")
 166     elif not response.ok:
 167         raise HTTPException(status_code=response.status_code, detail=response.text)
 168
 169     return templates.TemplateResponse("scoreboard.html", {
 170         "base_url"  : config.get("base_url"),
 171         "slogan"    : config.get("slogan"),
 172         "request"   : request,
 173         "scoreboard": True,
 174         "blockers"  : blockers,
 175         "blocked"   : blocked,
 176         "reference" : reference,
 177         "software"  : software,
 178         "originator": originator,
 179         "scores"    : fba.json_from_response(response)
 180     })
 181
 182 @router.get(config.get("base_url") + "/")
 183 def index(request: Request, domain: str = None, reason: str = None, reverse: str = None):
 184     if domain == "" or reason == "" or reverse == "":
 185         return fastapi.responses.RedirectResponse("/")
 186
 187     response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/info.json")
 188
 189     if not response.ok:
 190         raise HTTPException(status_code=response.status_code, detail=response.text)
 191
 192     info = response.json()
 193     blocks = None
 194
 195     if domain != None:
 196         if not validators.domain(domain):
 197             raise HTTPException(status_code=500, detail="Invalid domain")
 198
 199         blocks = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?domain={domain}")
 200     elif reason != None:
 201         blocks = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?reason={reason}")
 202     elif reverse != None:
 203         if not validators.domain(reverse):
 204             raise HTTPException(status_code=500, detail="Invalid domain")
 205
 206         blocks = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?reverse={reverse}")
 207
 208     if blocks != None:
 209         if not blocks.ok:
 210             raise HTTPException(status_code=blocks.status_code, detail=blocks.text)
 211         blocks = blocks.json()
 212         for block_level in blocks:
 213             for block in blocks[block_level]:
 214                 block["first_seen"] = datetime.utcfromtimestamp(block["first_seen"]).strftime(config.get("timestamp_format"))
 215                 block["last_seen"] = datetime.utcfromtimestamp(block["last_seen"]).strftime(config.get("timestamp_format"))
 216
 217     return templates.TemplateResponse("index.html", {
 218         "request": request,
 219         "domain" : domain,
 220         "blocks" : blocks,
 221         "reason" : reason,
 222         "reverse": reverse,
 223         "info"   : info
 224     })
 225
 226 @router.get(config.get("base_url") + "/rss")
 227 def rss(request: Request, domain: str = None):
 228     if domain != None:
 229         wildchar = "*." + ".".join(domain.split(".")[-domain.count("."):])
 230         punycode = domain.encode('idna').decode('utf-8')
 231         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? ORDER BY first_seen DESC LIMIT 50",
 232                   (domain, "*." + domain, wildchar, fba.get_hash(domain), punycode, "*." + punycode))
 233     else:
 234         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks ORDER BY first_seen DESC LIMIT 50")
 235
 236     result = fba.cursor.fetchall()
 237
 238     blocks = []
 239     for blocker, blocked, block_level, reason, first_seen, last_seen in result:
 240         first_seen = utils.format_datetime(datetime.fromtimestamp(first_seen))
 241         if reason == None or reason == '':
 242             reason = "No reason provided."
 243         else:
 244             reason = "Provided reason: '" + reason + "'"
 245
 246         blocks.append({
 247             "blocker"    : blocker,
 248             "blocked"    : blocked,
 249             "block_level": block_level,
 250             "reason"     : reason,
 251             "first_seen" : first_seen
 252         })
 253
 254     return templates.TemplateResponse("rss.xml", {
 255         "request"  : request,
 256         "timestamp": utils.format_datetime(datetime.now()),
 257         "domain"   : domain,
 258         "hostname" : config.get("hostname"),
 259         "blocks"   : blocks
 260     }, headers={
 261         "Content-Type": "routerlication/rss+xml"
 262     })
 263
 264 @router.get(config.get("base_url") + "/robots.txt", response_class=PlainTextResponse)
 265 def robots(request: Request):
 266     return templates.TemplateResponse("robots.txt", {
 267         "request" : request,
 268         "base_url": config.get("base_url")
 269     })
 270
 271 if __name__ == "__main__":
 272     uvicorn.run("api:router", host=config.get("host"), port=config.get("port"), log_level=config.get("log_level"))