fetch_instances.py

   1 import sqlite3
   2 import sys
   3 import json
   4 import time
   5 import fba
   6
   7 def fetch_instances(domain: str, origin: str):
   8     # NOISY-DEBUG: print("DEBUG: Fetching instances for domain:", domain, origin)
   9     peerlist = fba.get_peers(domain)
  10
  11     if (peerlist is None):
  12         print("ERROR: Cannot fetch peers:", domain)
  13         return
  14
  15     fba.c.execute(
  16         "SELECT domain FROM instances WHERE domain = ? LIMIT 1", [domain]
  17     )
  18
  19     if fba.c.fetchone() == None:
  20         # NOISY-DEBUG: print("DEBUG: Adding new domain:", domain, origin)
  21         fba.add_instance(domain, origin, sys.argv[0])
  22
  23     print(f"INFO: Checking {len(peerlist)} instances from {domain} ...")
  24     for instance in peerlist:
  25         instance = instance.lower()
  26         if instance.find("@") > 0:
  27             print("WARNING: Bad instance name,domain:", instance, domain)
  28             continue
  29
  30         blacklisted = False
  31         for peer in fba.blacklist:
  32             if peer in instance:
  33                 blacklisted = True
  34
  35         if blacklisted:
  36             # NOISY-DEBUG: print("DEBUG: domain is blacklisted:", domain)
  37             continue
  38
  39         # NOISY-DEBUG: print("DEBUG: Handling instance:", instance)
  40         try:
  41             fba.c.execute(
  42                 "SELECT domain FROM instances WHERE domain = ? LIMIT 1", [instance]
  43             )
  44
  45             if fba.c.fetchone() == None:
  46                 # NOISY-DEBUG: print("DEBUG: Adding new instance:", instance, domain)
  47                 fba.add_instance(instance, domain, sys.argv[0])
  48
  49             fba.conn.commit()
  50
  51         except Exception as e:
  52             print("ERROR:", e, instance)
  53             continue
  54
  55 instance = sys.argv[1]
  56
  57 # Initial fetch
  58 fetch_instances(instance, None)
  59
  60 # Loop through some instances
  61 fba.c.execute(
  62     "SELECT domain FROM instances WHERE software IN ('pleroma', 'mastodon', 'friendica', 'misskey', 'gotosocial') AND (last_nodeinfo IS NULL OR last_nodeinfo < ?) ORDER BY rowid DESC", [time.time() - fba.config["recheck_instance"]]
  63 )
  64
  65 for instance in fba.c.fetchall():
  66     blacklisted = False
  67     for domain in fba.blacklist:
  68         if domain in instance[0]:
  69             blacklisted = True
  70
  71     if blacklisted:
  72         # NOISY-DEBUG: print("DEBUG: domain is blacklisted:", instance)
  73         continue
  74
  75     print("INFO: Fetching instances for instance:", instance[0])
  76     fetch_instances(instance[0], None)
  77
  78 fba.conn.close()