fetch_instances.py

   1 import sqlite3
   2 import sys
   3 import json
   4 from fba import c
   5 import fba
   6
   7 domain = sys.argv[1]
   8
   9 peerlist = fba.get_peers(domain)
  10
  11 if (peerlist is None):
  12     print("FATAL: CANNOT FETCH PEERS:", domain)
  13     sys.exit(255)
  14
  15 c.execute(
  16     "SELECT domain FROM instances WHERE 1"
  17 )
  18
  19 for instance in peerlist:
  20     instance = instance.lower()
  21
  22     blacklisted = False
  23     for domain in fba.blacklist:
  24         if domain in instance:
  25             blacklisted = True
  26
  27     if blacklisted:
  28         print("domain is blacklisted:", domain)
  29         continue
  30
  31     print("Handling instance:", instance)
  32     try:
  33         c.execute(
  34             "SELECT domain FROM instances WHERE domain = ?", (instance,)
  35         )
  36
  37         if c.fetchone() == None:
  38             fba.add_instance(instance)
  39
  40         fba.conn.commit()
  41     except Exception as e:
  42         print("error:", e, instance)
  43
  44 fba.conn.close()