fetch_instances.py

   1 import sqlite3
   2 import sys
   3 import json
   4 import time
   5 import validators
   6 import fba
   7
   8 def fetch_instances(domain: str, origin: str, software: str):
   9     # NOISY-DEBUG: print("DEBUG: domain,origin,software:", domain, origin, software)
  10     fba.cursor.execute(
  11         "SELECT domain FROM instances WHERE domain = ? LIMIT 1", [domain]
  12     )
  13
  14     if fba.cursor.fetchone() == None:
  15         # NOISY-DEBUG: print("DEBUG: Adding new domain:", domain, origin)
  16         fba.add_instance(domain, origin, sys.argv[0])
  17
  18     # NOISY-DEBUG: print("DEBUG: Fetching instances for domain:", domain, software)
  19     peerlist = fba.get_peers(domain, software)
  20
  21     if (peerlist is None):
  22         print("ERROR: Cannot fetch peers:", domain)
  23         return
  24     elif domain in fba.nodeinfos["get_peers_url"]:
  25         # NOISY-DEBUG: print(f"DEBUG: domain='{domain}' has pending nodeinfo data, flushing ...")
  26         fba.update_nodeinfos(domain)
  27
  28     print(f"INFO: Checking {len(peerlist)} instances from {domain} ...")
  29     for instance in peerlist:
  30         instance = instance.lower()
  31
  32         if not validators.domain(instance):
  33             print("WARNING: Bad instance name,domain:", instance, domain)
  34             continue
  35         elif fba.is_blacklisted(instance):
  36             # NOISY-DEBUG: print("DEBUG: instance is blacklisted:", instance)
  37             continue
  38
  39         # NOISY-DEBUG: print("DEBUG: Handling instance:", instance)
  40         try:
  41             fba.cursor.execute(
  42                 "SELECT domain FROM instances WHERE domain = ? LIMIT 1", [instance]
  43             )
  44
  45             if fba.cursor.fetchone() == None:
  46                 # NOISY-DEBUG: print("DEBUG: Adding new instance:", instance, domain)
  47                 fba.add_instance(instance, domain, sys.argv[0])
  48
  49             fba.connection.commit()
  50
  51         except Exception as e:
  52             print("ERROR:", e, instance)
  53             continue
  54
  55 instance = sys.argv[1]
  56
  57 # Initial fetch
  58 fetch_instances(instance, None, None)
  59
  60 # Loop through some instances
  61 fba.cursor.execute(
  62     "SELECT domain,software FROM instances WHERE software IN ('pleroma', 'mastodon', 'friendica', 'misskey', 'gotosocial', 'bookwyrm', 'takahe', 'lemmy') AND (last_nodeinfo IS NULL OR last_nodeinfo < ?) ORDER BY rowid DESC", [time.time() - fba.config["recheck_instance"]]
  63 )
  64
  65 for row in fba.cursor.fetchall():
  66     # NOISY-DEBUG: print("DEBUG: domain:", row[0])
  67     if fba.is_blacklisted(row[0]):
  68         print("WARNING: domain is blacklisted:", row[0])
  69         continue
  70
  71     print("INFO: Fetching instances for instance:", row[0])
  72     fetch_instances(row[0], None, row[1])
  73
  74 fba.connection.close()