Continued:
- blacklisted `ngrok.app` as this is another testing/developing domain name

Continued:
- log returned empty lists separately from warning (mostly caught exception)

Continued:
- rewrote a bit for better logging
- also don't nest function/method invocations, they are not easy to debug

Continued:
- skip below code when vital elements 'domain', 'severity' are not found

Continued:
- added "alias" (long version)

Continued:
- added flooder to blacklist
- added more networks for peers at least: 'gotosocial', 'brighteon',
  'wildebeest', 'bookwyrm'

Continued:
- abostrophed alias for 'takahe' network
- alias added for misskey

Continued:
- init rows list
- log type and length
- check if 'domain' and 'severity' are part of 'block' dictionary

Continued:
- alias for misskey (Russian)

Continued:
- check if dict 'row' has key 'hostname'

Continued:
- these values don't cause you 3 GB RAM usage, here they run fine with
  800MB to 1GB

Continued:
- */* catches all, so let it pass as valid content type

Continued:
- don't let the user set something higher (- 50) than system allows

Continued:
- max "crawl" depth and min peerlist size to go deeper is now configurable
- for example for low-memory systems, keep max_crawl_depth small and
  min_peers_length big
- the default values may cause python3 to consume ~550 MB RAM
- so you can practially say each depth adds another MB RAM usage

Continued:
- roadhouse is an alias for hubzilla, it is currently unsupported as it doesn't
  provide needed APIs for fetching peers and blocklists but just in case they
  add it
- same with nextcloud and others
- shumihub is an alias for misskey

Continued:
- a recursive (aka. "crawl") depth of 500 is REALLY far deep, practically the
  whole Fediverse
- minimum peer count to deepen the "crawl" to max depth is 100 peers
- flush any pending data of current domain before continuing

Continued:
- recursive adding is totally okay, as it won't happen to go endless
- renamed blocks.add_instance() to add()

Continued:
- okay, this instance floods with non-existing sub-domains

Continued:
- added IDNA encoding

Continued:
- ops, header was wrong here due to previous changes (search for all headers)
- but after a few renames, all is back in order!

Continued:
- need to find all, not just first element ...

Continued:
- fixed issues from pylint

Continued:
- moved utils.alias_block_level() to blocks model
- fixed some pylint issues

Continued:
- introduced new module "processing"
- renamed process_*() to *() ;-)

Continued:
- strip off leading dots as the IDNA encoder gets confused about it

Continued:
- exclude chaos.social here as their API for fetching blocks is disabled and
  invoking set_total_blocks() would reset it to zero

Continued:
- maybe does not contain any header at all?

Continued:
- find more blocklists/peer lists from Lemmy by also scanning for (out-dated?
  class=container)

Continued:
- alias "quarantined_instances" to "quarantined", you may have to run
  `DELETE FROM blocks WHERE block_level='quarantined_instances';`
- ... and: `UPDATE instances SET last_blocked = NULL WHERE software IS NOT NULL AND last_status_code = 200;`
- ... to reset your database, then don't forget to execute ./fba.py fetch_blocks

Continued:
- just remove that single hash to get final SQL statements being printed

Continued:
- nope, the returned 'blocking' list is differently structured

Continued:
- blacklisted hexbear.net as their JavaScript contains Shell commands + broken
  JSON inside that script
- added parsing JSON from JavaScript starting with 'isoData' (encapsulated to
  function parse_script())

Continued:
- more generic scan for possible linked/blocked instances

Continued:
- updating distinct domain nodeinfos can be forced

Fixed:
- "TypeError: 'sqlite3.Row' object does not support item assignment"

Continued:
- code UTF-8 international domains to punycode (IDNA) here, too

Continued:
- okay, then don't check if they are punycode and then raise an exception ...

Continued:
- added command convert_idna to convert UTF-8 encoded international domain
  names to punycode domains (IDNA), it caused some to be added in both
  encodings

Continued:
- fixed missing dict key element
- added debug messages

Continued:
- added CSV file gardenfence.csv for oliphant blocklist member sunny.garden

Continued:
- alias severity level during fetch_oliphant, too

Continued:
- handle over proper severity level

Continued:
- renamed utils.deobfuscate_domain() to deobfuscate()
- oliphant blocklists may contain obfuscated domains, need to deobfuscate them
  first to get actual domain names

Continued:
- cannot get len() (number of rows) from reader
- instances.set_total_blocks() accepts as 2nd parameter not direct count, so
  let's handle the domain list

Continued:
- "storage share" is nextcloud again
- proper domain for bka.li

Continued:
- larger amount of instances have changed (again) Nextcloud's software name to
  "storage share", so let's alias it back

Continued:
- yet again an other misskey instance (stella.place) returns the same results
  with raising offset all over again

Continued:
- it is 'ryona.agency';

Fixed:
- ops, to much renames, named 'domains' back to 'blocklist'
- also need to check combined arrays, or else always 2 will be found
- need to invoke commit() in sources.update() function

Continued:
- source_last_access is the proper configuration key now
- some spaces
- more average peer count

Continued:
- added further aliases

Continued:
- some instances or honeypots may return empty (None in Python) link[href]
  entries
- you can run a honeypot and pay monthly domain fees for it, not my business,
  but at least format your /.well-known/nodeinfo properly!

Continued:
- also update `last_nodeinfo` when nodeinfo has been auto-discovered or found by
  probing their also well-known locations

Continued:
- instances.social is a non-federating website, `origin` should always bear a
  federating instance
- please run SQL `DELETE FROM instances WHERE origin='instances.social'` and
  afterwards ./fba.py fetch_instances --domain=<some-large-instance>
- then you can run this command (fetch_instances_social) again

Fixed:
- forgot to add [key] (value access)

Continued:
- ops, wrong bait, wrong fish

Continued:
- check response.status_code and length of response.text
- handle None (NULL) values for last_updated/last_seen

Continued:
- added missing cases for header (h1) and browser title bar
- fixed module name

Fixed:
- PeerTube's JSON response always includes mode2=following or mode2=follower
  depending on if mode=followers or mode=following is set
- this causes PeerTube instances being reported with duplicate amount of peers

Continued:
- cut out ' - ' only if found

Continued:
- added mode=command
- added links from list.html

Continued:
- use fetch_response() instead of invoking reqto.get()
- more debug logging
- check response status of bot posts

Continued:
- 11 commands are already there to fetch instances

Continued:
- fixed issues reported by pylint

Continued:
- added "official" name 'nextcloudpi', others like 'crowncloud', 'darkcloud' are
  just aliases created by their owners, I don't provide them a stage in my code
- provided template variable 'domain' might be None

Continued:
- added view /list which lists domains by some criteria (mode/value)
- renamed blocks.is_valid_level() to valid() but now requires 2nd parameter
  with column to check

Continued:
- no border for tables inside .notice

Continued:
- error fixed (ops?)

Renaming season:
- renamed table/model file 'apis' to 'sources' as wikis are not APIs but
  all are (instance) sources
- renamed api_domain to source_domain

Continued:
- if response is not okay, throw exception
- avoids init of domain_data variable

Continued:
- rewrote to fetch domain data over internal JSON API (seem to be not cached?)
- avoid local variable

Continued:
- raise_on() on obfuscated domains was a wrong decision

Continued:
- try to "crawl" instances being redirected to

Continued:
- wording fixed: "Parameter foo[]='%s' is not type of '%'"

Continued:
- added domain.is_in_url() to check if domain is matching netloc or hostname
  part of the URL. This function encodes the domain into punycode before
  comparing it

Continued:
- STATIC_CHECK means well-known URLs are "statically" checked

Continued:
- PLATFORM documented

Continued:
- unique and primary keys on single columns can be moved into table definition

Continued:
- also check og:platform
- dont' set None for detected software type, maybe the website is just down for
  maintenance

Continued:
- used domain_helper.raise_on(domain) instead

Continued:
- first (if needed) acquire lock, then check (if needed) api_domain
- also check host name (components.netloc) for feed in fetch_fba_rss command

Continued:
- renamed column apis.hostname to apis.api_domain
- added apis.fetch()
- check if fetching an URL from fedilist.com was successful

Continued:
- added command fetch_instances_social to fetch new instances from
  instances.social
- you need to get an API key from them, please don't lower api_last_access to
  much, your API key/IP address might get banned!
- added table `apis` which keeps track of "API" accessed, including github
  and wikis, this is to lower traffic on these sites, again: please DO NOT
  overdose these requests! Your IP/API key might get blocked!

Continued:
- rewrote a bit to get lesser nested blocks
- "href" might not be set while "rel" is set ... to much broken
  /.well-known/nodeinfo replies!

Continued:
- renamed /api/index.json to /api/top.json
- count each checked domain and calculate percentage

Continued:
- reset software, detection mode and nodeinfo URL to None when redirection is
  done to other domain
- yes, some people have moved their instance to a sub domain and now redirect
  their traffic to there
- still this had caused another instance under a wrong domain name to be
  registered
- this fix solves this, please run ./fba.py update_nodeinfo
- added config key recheck_nodeinfo

Continued:
- some people have broken /.well-known/nodeinfo links (href), some contain
  scheme, but no netloc (host name)

Continued:
- better word

Continued:
- also don't output a warning for "application/jrd+json"
- same for "application/activity+json"

Continued:
- acquire lock as this command changes database

Continued:
- log response.content when used
- variable blocker or block["blocker"] ? The later one.

Continued:
- return whole nodeinfo dict, including "json"
- also need to handle this for pleroma

Continued:
- issue a warning when determined software type has changed

Continued:
- command update_nodeinfo() now supports --domain and --software parameter
- without them only out-dated instances are being check
- also determined software is being updated

Continued:
- added command update_nodeinfo(), please only execute this when you have
  trouble in federation

Continued:
- update total blocks in any command that handles instance blocks

Continued:
- added column instances.total_blocks which stores total blocks found from
  instance
- also expose it in /infos view

Continued:
- added parameter --all to include also already registered instances

Continued:
- added command fetch_fedilist()
- please don't overdose these commands, fetching instances is limited to only
  not recently fetched but from static websites like fediverse.observer is NOT
  limited!)
- flush pending data here, too

Continued:
- flush instance data when an error has happened