api.py

   1 # Fedi API Block - An aggregator for fetching blocking data from fediverse nodes
   2 # Copyright (C) 2023 Free Software Foundation
   3 #
   4 # This program is free software: you can redistribute it and/or modify
   5 # it under the terms of the GNU Affero General Public License as published
   6 # by the Free Software Foundation, either version 3 of the License, or
   7 # (at your option) any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU Affero General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU Affero General Public License
  15 # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  16
  17 from datetime import datetime
  18 from email import utils
  19
  20 import re
  21
  22 from fastapi import Request, HTTPException, Query
  23 from fastapi.responses import JSONResponse
  24 from fastapi.responses import PlainTextResponse
  25 from fastapi.templating import Jinja2Templates
  26
  27 import fastapi
  28 import uvicorn
  29 import requests
  30 import validators
  31
  32 from fba import config
  33 from fba import fba
  34 from fba import network
  35
  36 from fba.helpers import tidyup
  37
  38 router = fastapi.FastAPI(docs_url=config.get("base_url") + "/docs", redoc_url=config.get("base_url") + "/redoc")
  39 templates = Jinja2Templates(directory="templates")
  40
  41 @router.get(config.get("base_url") + "/api/info.json", response_class=JSONResponse)
  42 def api_info():
  43     fba.cursor.execute("SELECT (SELECT COUNT(domain) FROM instances), (SELECT COUNT(domain) FROM instances WHERE software IN ('pleroma', 'mastodon', 'lemmy', 'friendica', 'misskey', 'peertube')), (SELECT COUNT(blocker) FROM blocks), (SELECT COUNT(domain) FROM instances WHERE last_error_details IS NOT NULL)")
  44     row = fba.cursor.fetchone()
  45
  46     return {
  47         "known_instances"   : row[0],
  48         "indexed_instances" : row[1],
  49         "blocks_recorded"   : row[2],
  50         "errorous_instances": row[3],
  51         "slogan"            : config.get("slogan")
  52     }
  53
  54 @router.get(config.get("base_url") + "/api/top.json", response_class=JSONResponse)
  55 def api_top(mode: str, amount: int):
  56     if amount > 500:
  57         raise HTTPException(status_code=400, detail="Too many results")
  58
  59     if mode == "blocked":
  60         fba.cursor.execute("SELECT blocked, COUNT(blocked) AS score FROM blocks WHERE block_level = 'reject' GROUP BY blocked ORDER BY score DESC LIMIT ?", [amount])
  61     elif mode == "blocker":
  62         fba.cursor.execute("SELECT blocker, COUNT(blocker) AS score FROM blocks WHERE block_level = 'reject' GROUP BY blocker ORDER BY score DESC LIMIT ?", [amount])
  63     elif mode == "reference":
  64         fba.cursor.execute("SELECT origin, COUNT(domain) AS score FROM instances WHERE software IS NOT NULL GROUP BY origin ORDER BY score DESC LIMIT ?", [amount])
  65     elif mode == "software":
  66         fba.cursor.execute("SELECT software, COUNT(domain) AS score FROM instances WHERE software IS NOT NULL GROUP BY software ORDER BY score DESC, software ASC LIMIT ?", [amount])
  67     elif mode == "command":
  68         fba.cursor.execute("SELECT command, COUNT(domain) AS score FROM instances WHERE command IS NOT NULL GROUP BY command ORDER BY score DESC, command ASC LIMIT ?", [amount])
  69     elif mode == "error_code":
  70         fba.cursor.execute("SELECT last_status_code, COUNT(domain) AS score FROM instances WHERE last_status_code IS NOT NULL AND last_status_code != '200' GROUP BY last_status_code ORDER BY score DESC LIMIT ?", [amount])
  71     elif mode == "avg_peers":
  72         fba.cursor.execute("SELECT software, AVG(total_peers) AS sum FROM instances WHERE software IS NOT NULL GROUP BY software HAVING sum>0 ORDER BY sum DESC LIMIT ?", [amount])
  73     else:
  74         raise HTTPException(status_code=400, detail="No filter specified")
  75
  76     scores = list()
  77
  78     for domain, score in fba.cursor.fetchall():
  79         scores.append({
  80             "domain": domain,
  81             "score" : round(score)
  82         })
  83
  84     return scores
  85
  86 @router.get(config.get("base_url") + "/api/index.json", response_class=JSONResponse)
  87 def api_blocked(domain: str = None, reason: str = None, reverse: str = None):
  88     if domain is None and reason is None and reverse is None:
  89         raise HTTPException(status_code=400, detail="No filter specified")
  90
  91     if reason is not None:
  92         reason = re.sub("(%|_)", "", tidyup.reason(reason))
  93         if len(reason) < 3:
  94             raise HTTPException(status_code=400, detail="Keyword is shorter than three characters")
  95
  96     if domain is not None:
  97         domain = tidyup.domain(domain)
  98         if not validators.domain(domain.split("/")[0]):
  99             raise HTTPException(status_code=500, detail="Invalid domain")
 100
 101         wildchar = "*." + ".".join(domain.split(".")[-domain.count("."):])
 102         punycode = domain.encode('idna').decode('utf-8')
 103
 104         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? ORDER BY first_seen ASC",
 105                   (domain, "*." + domain, wildchar, fba.get_hash(domain), punycode, "*." + punycode))
 106     elif reverse is not None:
 107         reverse = tidyup.domain(reverse)
 108         if not validators.domain(reverse):
 109             raise HTTPException(status_code=500, detail="Invalid domain")
 110
 111         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocker = ? ORDER BY first_seen ASC", [reverse])
 112     else:
 113         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE reason like ? AND reason != '' ORDER BY first_seen ASC", ["%" + reason + "%"])
 114
 115     blocklist = fba.cursor.fetchall()
 116
 117     result = {}
 118     for blocker, blocked, block_level, reason, first_seen, last_seen in blocklist:
 119         if reason is not None and reason != "":
 120             reason = reason.replace(",", " ").replace("  ", " ")
 121
 122         entry = {
 123             "blocker"   : blocker,
 124             "blocked"   : blocked,
 125             "reason"    : reason,
 126             "first_seen": first_seen,
 127             "last_seen" : last_seen
 128         }
 129
 130         if block_level in result:
 131             result[block_level].append(entry)
 132         else:
 133             result[block_level] = [entry]
 134
 135     return result
 136
 137 @router.get(config.get("base_url") + "/api/mutual.json", response_class=JSONResponse)
 138 def api_mutual(domains: list[str] = Query()):
 139     """Return 200 if federation is open between the two, 4xx otherwise"""
 140     fba.cursor.execute(
 141         "SELECT block_level FROM blocks " \
 142         "WHERE ((blocker = :a OR blocker = :b) AND (blocked = :b OR blocked = :a OR blocked = :aw OR blocked = :bw)) " \
 143         "AND block_level = 'reject' " \
 144         "LIMIT 1",
 145         {
 146             "a" : domains[0],
 147             "b" : domains[1],
 148             "aw": "*." + domains[0],
 149             "bw": "*." + domains[1],
 150         },
 151     )
 152     response = fba.cursor.fetchone()
 153
 154     if response is not None:
 155         # Blocks found
 156         return JSONResponse(status_code=418, content={})
 157
 158     # No known blocks
 159     return JSONResponse(status_code=200, content={})
 160
 161 @router.get(config.get("base_url") + "/scoreboard")
 162 def scoreboard(request: Request, mode: str, amount: int):
 163     response = None
 164
 165     if mode == "blocker" and amount > 0:
 166         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=blocker&amount={amount}")
 167     elif mode == "blocked" and amount > 0:
 168         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=blocked&amount={amount}")
 169     elif mode == "reference" and amount > 0:
 170         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=reference&amount={amount}")
 171     elif mode == "software" and amount > 0:
 172         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=software&amount={amount}")
 173     elif mode == "command" and amount > 0:
 174         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=command&amount={amount}")
 175     elif mode == "error_code" and amount > 0:
 176         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=error_code&amount={amount}")
 177     elif mode == "avg_peers" and amount > 0:
 178         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/top.json?mode=avg_peers&amount={amount}")
 179     else:
 180         raise HTTPException(status_code=400, detail="No filter specified")
 181
 182     if response is None:
 183         raise HTTPException(status_code=500, detail="Could not determine scores")
 184     elif not response.ok:
 185         raise HTTPException(status_code=response.status_code, detail=response.text)
 186
 187     return templates.TemplateResponse("views/scoreboard.html", {
 188         "base_url"  : config.get("base_url"),
 189         "slogan"    : config.get("slogan"),
 190         "request"   : request,
 191         "scoreboard": True,
 192         "mode"      : mode,
 193         "amount"    : amount,
 194         "scores"    : network.json_from_response(response)
 195     })
 196
 197 @router.get(config.get("base_url") + "/")
 198 def index(request: Request):
 199     # Get info
 200     response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/info.json")
 201
 202     if not response.ok:
 203         raise HTTPException(status_code=response.status_code, detail=response.text)
 204
 205     return templates.TemplateResponse("views/index.html", {
 206         "request": request,
 207         "info"   : response.json()
 208     })
 209
 210 @router.get(config.get("base_url") + "/top")
 211 def top(request: Request, domain: str = None, reason: str = None, reverse: str = None):
 212     if domain == "" or reason == "" or reverse == "":
 213         raise HTTPException(status_code=500, detail="Insufficient parameter provided")
 214
 215     response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/info.json")
 216
 217     if not response.ok:
 218         raise HTTPException(status_code=response.status_code, detail=response.text)
 219
 220     info = response.json()
 221     response = None
 222
 223     if domain is not None:
 224         domain = tidyup.domain(domain)
 225         if not validators.domain(domain.split("/")[0]):
 226             raise HTTPException(status_code=500, detail="Invalid domain")
 227
 228         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?domain={domain}")
 229     elif reason is not None:
 230         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?reason={reason}")
 231     elif reverse is not None:
 232         reverse = tidyup.domain(reverse)
 233         if not validators.domain(reverse):
 234             raise HTTPException(status_code=500, detail="Invalid domain")
 235
 236         response = requests.get(f"http://{config.get('host')}:{config.get('port')}{config.get('base_url')}/api/index.json?reverse={reverse}")
 237
 238     if response is not None:
 239         if not response.ok:
 240             raise HTTPException(status_code=response.status_code, detail=response.text)
 241
 242         blocklist = response.json()
 243
 244         for block_level in blocklist:
 245             for block in blocklist[block_level]:
 246                 block["first_seen"] = datetime.utcfromtimestamp(block["first_seen"]).strftime(config.get("timestamp_format"))
 247                 block["last_seen"]  = datetime.utcfromtimestamp(block["last_seen"]).strftime(config.get("timestamp_format"))
 248
 249     return templates.TemplateResponse("views/top.html", {
 250         "request": request,
 251         "domain" : domain,
 252         "blocks" : blocklist,
 253         "reason" : reason,
 254         "reverse": reverse,
 255         "info"   : info
 256     })
 257
 258 @router.get(config.get("base_url") + "/rss")
 259 def rss(request: Request, domain: str = None):
 260     if domain is not None:
 261         domain = tidyup.domain(domain)
 262
 263         wildchar = "*." + ".".join(domain.split(".")[-domain.count("."):])
 264         punycode = domain.encode("idna").decode("utf-8")
 265
 266         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks WHERE blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? OR blocked = ? ORDER BY first_seen DESC LIMIT ?", [
 267             domain,
 268             "*." + domain, wildchar,
 269             fba.get_hash(domain),
 270             punycode,
 271             "*." + punycode,
 272             config.get("rss_limit")
 273         ])
 274     else:
 275         fba.cursor.execute("SELECT blocker, blocked, block_level, reason, first_seen, last_seen FROM blocks ORDER BY first_seen DESC LIMIT ?", [config.get("rss_limit")])
 276
 277     result = fba.cursor.fetchall()
 278     blocklist = []
 279
 280     for row in result:
 281         blocklist.append({
 282             "blocker"    : row[0],
 283             "blocked"    : row[1],
 284             "block_level": row[2],
 285             "reason"     : "Provided reason: '" + row[3] + "'" if row[3] is not None and row[3] != "" else "No reason provided.",
 286             "first_seen" : utils.format_datetime(datetime.fromtimestamp(row[4])),
 287             "last_seen"  : utils.format_datetime(datetime.fromtimestamp(row[5])),
 288         })
 289
 290     return templates.TemplateResponse("rss.xml", {
 291         "request"  : request,
 292         "timestamp": utils.format_datetime(datetime.now()),
 293         "domain"   : domain,
 294         "hostname" : config.get("hostname"),
 295         "blocks"   : blocklist
 296     }, headers={
 297         "Content-Type": "routerlication/rss+xml"
 298     })
 299
 300 @router.get(config.get("base_url") + "/robots.txt", response_class=PlainTextResponse)
 301 def robots(request: Request):
 302     return templates.TemplateResponse("robots.txt", {
 303         "request" : request,
 304         "base_url": config.get("base_url")
 305     })
 306
 307 if __name__ == "__main__":
 308     uvicorn.run("api:router", host=config.get("host"), port=config.get("port"), log_level=config.get("log_level"))