Continued:
- moved acquiring lock to a place when a domain is supposed to be
  added
- added missing fba.tidyup_reason()

Continued:
- origin=NULL was shown as "None", so let's exclude this

Continued:
- some APIs return the same result at the end all over again
- so we need to check if the domain is already part of the created list
- for that purpose has_element() is introduced

Continued:
- renamed 'res' to 'response'
- catch exception, log error and raise it again

Continued:
- introduced fba.get_response()

Continued:
- invocation, not calling ;-)

Continued:
- retrieving nodeinfo shouldn't take that long

Continued:
- package/module of JSONDecodeError is json.decoder.JSONDecodeError

Continued:
- introduced json_from_response() which handles decoding errors, e.g. when
  a server has returned a HTML instead of a JSON which is caused by improper
  error handling

Continued:
- trim off last dot in host/domain name
- only release lock when acquired, e.g. check_instance.py doesn't need a lock

Continued:
- renamed functions in 'cache' module as they are already in proper module
- tried to prevent error if an empty (0 Byte) result is returned

Continued:
- the value from "misskey_offset" went into "limit" parameter, so let's rename
  it to "misskey_limit"
- also misskey may return same set of results, so this need to be counted and
  then the while loop aborted
- also TIME() did NOT store timestamp, we need to use time.time() again ...

Continued:
- it is without slashes

Continued:
- there are no private variables or methods, all is public
- there is however a notation, that a leading _ indicates private access and
  that you should search for getters/setters
- so when you see some code like `module._foo()` then notify them about this

Continued:
- let the config value be accessed over config.get()

Continued:
- move config-related stuff to new module 'config'

Continued:
- committing every single INSERT INTO will cause a lot of I/O load, let's
  combine them all into a single transaction

Continued:
- ops, forgot to add it here

Continued:
- ops, also they need 'fba.' now

Continued:
- exposed originator (Python script) Top "10"

Continued:
- moved instance-related functions and module-wide variables to 'instances.py'

Continued:
- renamed tidyup() to tidyup_domains()
- so tidyup_reason() can come (WIP)

Continued:
- added script to fetch blocked instances by chaos.social
- introduced is_instance_blocked()

Continued:
- sorted import members
- added missing 'import sys'

Continued:
- invoking update_instance_data() but having no pending instance data doesn't
  make any sense

Continued:
- added script to check if instance aka. "domain" is valid, not blacklisted
  and not already registered
- in any of these conditions, an other status code is returned

Continued:
- fixed cache module

Continued:
- 3rd parameter is not 'origin', it is 'script'

Continued:
- check dictionary keys before using them, prevents KeyError being raised

Continued:
- renamed lock_process() to acquire_lock()

Continued:
- moved 'fba' to own folder
- splitted up file a bit: boot, cache

Continued:
- inter-process locking added, prevents nasty stuff

Continued:
- log every single problem

Continued:
- Firfox version updated
- also check if domain is already registered to avoid lots of requests

Continued:
- added Python script to fetch domains from bka.la (thank you to Kromonos)

Continued:
- added wrapper script to fetch RSS feeds from FBA installations (e.g.
  https://fba.ryona.agency/rss )

Continued:
- moved fetch_instances() to fba

Continued:
- also rewrote this

Continued:
- more debug lines added
- also fixed maybe bad function calls
- debug messages improved

Continued:
- better warn about not deobsfucated domain names

Continued:
- first thanks to `activitypub-trolls.cf` we have tons of registered
  "instances" which needs to be fetched and then these trolls need to be
  ignored
- then commented out some debug lines
- also fixed some code
- also let */? pass as obsfucations

Continued:
- timestamps are not handled over anymore
- more checks on parameter

Continued:
- don't unset last_status_code/last_error_details on any update of instance  data

Continued:
- encapsulated setting instance data in set_instance_data()
- also introduced is_primitive()

Continued:
- renamed more variable/function
- only log count, not whole array
- some parameters cannot be an empty, too

Continued:
- renamed update_nodeinfos() to update_instance_data()
- also only delete pending instance data if UPDATE statement has updated
  something (at least the timestamps SHOULD cause a row update)

Continued:
- need to check 'peer' if type 'None'
- 48 hours is enough for checking for new instances, so fast no new instance
  will be created
- updating 'last_updated' now moved to update_nodeinfos()

Continued:
- moved all updates of columns in 'instances' table to central function
  update_nodeinfos(), other functions are just wrappers to fill proper array
  elements
- also save total found row count

Continued:
- cache access can be very noisy, others maybe not so much
- also check for og:site_name to "guess" the software type, old Mastodon (2.x.x)
  versions don't provide nodeinfo data
- remove " hosted on " and following (typical for og:site_name from Mastodon)

Continued:
- only list entries where the software has been detected
- still this will list non-fediverse "instances" such as normal websites

Continued:
- also fetch origin and nodeinfo_url here
- also add instance if not found
- improved some log messages

Continued:
- fixed indenting
- also include type (exception name) in log message

Continued:
- no need for updating last_instance_fetc/last_nodeinfo here

Continued:
- made executable
- added interpreter line and encoding

Continued:
- added .json to all JSON responses
- added response class JSONResponse (I hope it is not overstated this way?
- cleaned up imports a bit (only used once can be referenced directly)

Continued:
- splitted "scoreboard.html" out of index.html
- added route + template for "robots.txt request
- renamed "app" to "router"

Continued:
- move templates to own folder

Continued:
- introduced error_log table and corresponding log_error() function
- added error_log_cleanup for cleaning up old records (default: 7 days)

Continued:
- no bold here, I prefer that for head lines

Continued:
- introduced config key 'host', so you can let this run on an other IP address
- recommended is 127.0.0.1, of course and then setup a reverse-proxy (in
  Apache's terminology)
- cleaned up imports

Continued:
- removed superflous 'get_peers_url' from database, it was only logged and
  get_peers() cannot make use of it as it depends on detected software

Continued:
- introduced has_pending_nodeinfos()
- also log exception name (aka. type)

Continued:
- is_instance_registered() caused tons of SQL queries, let's introduce some
  cache here
- 1 hour for recheck is good for development (even shorter) but a bad idea in
  the wild

Continued:
- add_peers() now returns a list of peers, dict doesn't make sense here
- also handled error messages from JSON API POST requests

Continued:
- also fetch nodeinfo_url from database and handle it over so no redundant
  static checks will happen

Let's do this proper. Here you go, FSF!

Continued:
- added last_instance_fetch timestamp

Continued:
- maybe str(e) helps here and there?

Continued:
- only a warning, 'activitypub-troll.cf' is to much rampant
- skip to next entry in case if being blacklisted or no 'host' found

Continued:
- 100 rows should work! (the fail-safe check "fetched versus expected" will
  kick in here)
- also read origin and pass over 'origin' during fetching instances

Continued:
- encapsulted into function add_peers()
- need to add "Content-Type: application/json" for API requests, thanks to Kromonos
- introduced 'api_headers' for JSON API requests

Continued:
- more consistency in table column names and also corresponding variables

Continued:
- res.json() can somtimes not being checked (?)
- also need to check each element as it might return 'None' causing error

Continued:
- some misskey instances only allow 10 items per fetch
- also used more masked strings

Continued:
- also ngrok-free.app is a testing/development ground, no productive/live
  instances will be found there
- please don't abuse their kind services for hosting a live instance!
- didn't log variable "instance", ops

Continued:
- let also user install their software on sub paths ...

Continued:
- don't name your variables after packages, Python seem to be not strict on
  checking data types while referencing
- also scan misskey instances for new (no filter applied)

Continued:
- these aren't supposed to be real URLs, they COULD be reached actually
- these URLs are references, not crawlable URLs
- so some people overdoze the SSL here a little, as http:// is just enough
  for referencing to a specification

Continued:
- introduced fba.is_instance_registered()

Continued:
- also check for version numbers if no dot is in

Continued:
- including the configured base_url didn't make sense, let's better state
  clearly what you will get (recently blocked instances)

Continued:
- ops, I need to check again API response code
- also variable 'json' isn't here, need to take 'res.json()' directly

Continued:
- better only temporary split semicolon off, not from input variable

Continued:
- added regex for hexa-decimal "version numbers"
- removed some extras from (software) generator before checking it against a regex

Continued:
- one character more to remove which cuts of the separator, e.g. '/'
- also don't raise exceptions here, a returned unmodified software name is just fine

Continued:
- also expose these RSS URLs for auto-discovery

Continued:
- also strip out " by " and " see " (self-advertisement)
- same with " version"
- some version numbers had uncommon long patch levels, e.g. 8.0.0000

Continued:
- also try to remove 'powered by ' and other self-advertisement from software
  type

Continued:
- old Friendica installations (I found one with 2019.03) may have version
  number in software's name info and in format YYYY.MM (and maybe later others)

Continued:
- an INFO message is okay, let the user know that the <meta name='generator'>
  was found and taken as the software behind the instance/website

Continued:
- DEBUG is okay here

Continued:
- ops, need to include [domain] for nodeinfos array, too
- more flexible check if a domain has pending nodeinfos

Continued:
- return modified software name when no common separator was found

Continued:
- added 'GENERATOR' as "detection mode"
- explained NULL in 'detection_mode'

Continued:
- try to strip off version numbers from software name
- remove_version() will output a warning and return 'software' unmodified if it
  fails to match version number against regex

Continued:
- encapsulated deleting of pending errors in remove_pending_error()
- introduced fetch_generator_from_path() and used it as last fall-back

Continued:
- "guessing" it didn't really work, let's take <meta name='generator'> as the
  software type, some people even change that and have no /.well-known/ path
  enabled. Then they cannot federate anymore, at least not by auto-discovery

Continued:
- after sorting by count, sort by software name

Continued:
- output fetched rows so it is clear it might take some time to finish

Continued:
- fixed debug message (ops)
- commented out noisy debug lines