Continued:
- also store peer count for relays

Continued:
- added debug line

Continued:
- ignore unsupported content type when response.text has zero length

Continued:
- ops, missed 1st parameter

Continued:
- added --timeout option for easy re-checking instances with timeout
- please increase "connection_timeout" and "read_timeout" config keys first!

Continued:
- added network 'mammuthus[ experimental]' for retriving peers
- moved software-related (not version number) functions to software.py
- strip off " experimental", so you can enter e.g. 'mammuthus' easier

Continued:
- don't link or show 'None', just a dash is okay

Continued:
- throw exception again, if they happen then they won't be fixed within a
  split of a second
- also make sure that home directory of FBA is properly set, sure you can
  choose a different directory or take the default /home/fba/
- added recheck.sh, a small wrapper script I wrote for myself and you should
  try. For example above exceptions might cause the used software not being
  detected (sure with timeouts) then you can run ./recheck.sh --software
  to re-test them

Continued:
- ignore 'None' as content-type it often happens with Lemmy instannces

Continued:
- update last_blocked timestamp when a blocklist has been fetched/generated for
  an instance aka. "blocker"

Continued:
- also mode=obfuscator is showing software names, let's link them, too

Continued:
- prevent blacklisted entries being processed, throw an exception if it happens

Continued:
- added re+ as alias but not with a regular + sign but UTF-8 encoded ...

Fixed:
- also need to check if data[json] has at least one entry
- mode=avg_peers shows software names, let's link to /list?mode=software here

Continued:
- don't reset during exceptions, maybe later they have fixed their instance

Continued:
- move nodeinfo handling to new module 'nodeinfo'
- also had to renamed variable nodeinfo to other names
- first newest version at /.well-known/x-nodeinfo2

Continued:
- check if bot_token is configured

Continued:
- again a lot of creativity was found, so let's clean this up to 'nextcloud'
  for later support (if they later add it)

Continued:
- added alias for forgejo

Continued:
- also show in scoreboard when an unsupported mode was provided
- fixed indenting

Continued:
- run.app is another mass-hoster for testing/developing code, no real instances
  are hosted there

Continued:
- command fetch_relays() should be locked
- fixed exception when row[column] is NoneType

Partly reverted cdcd2b0109e126bca887d0712a7ddf602e5d6e62:
- "Accept" is not being accepted by misskey (gladly only these instances)
- it must be "Content-Type: application/json" or otherwise it is blocked

Continued:
- mode 'origin' added for header
- also unsupported are shown

Continued:
- moved/renamed utils.is_domain_wanted() to domain_helper.is_wanted()
- removed no longer used imports
- tpzo fixed: sof(t)ware

Continued:
- let also find instances by origin
- added target and title attributes

Continued:
- blacklisted 'vercel.app'

Continued:
- can be more accepted charsets

Continued:
- only set success (status code 200) when software was determined

Continued:
- owohub is yet another alias for misskey

Continued:
- request header is "Accept"
- also need to send api_headers (ops)
- need to convert variable 'path' to string

Continued:
- fixed instances.is_recent()
- blacklisted misskey-forkbomb.cf (the name says it)
- logger level changed to debug

Continued:
- added command fetch_joinmobilizon() to fetch instances JSON for mobilizon
  (federated events)

Continued:
- instances.is_recent() now checks recheck_block if 'last_blocked' is provided
- command fetch_blocks() now supports --force parameter
- blacklisted fnaf.stream as this domain has super-long sub-domains (troll)

Continued:
- ignorelist.com is also for testing/developing

Continued:
- added column `obfuscated_blocks` to save count of (still) obfuscated blocks
- also exposed it in infos.html view
- blacklisted gitpod.io as this domain floods `instances` table

Continued:
- added command fetch_relay() for fetching instances from ActivityPub relays
  which show their peers in index page (/)
- added grid.tf as this flooded a lot "testing/developing" sub domains

Continued:
- custom aoderelay name aliased

Continued:
- radiant is being "detected" as mastodon and needs to be skipped
- unless forced, skip any recently checked nodeinfos

Continued:
- added Korean translation of Mastodon

Continued:
- added info messages when a website is being fetched

Continued:
- let's not iterate directly (always possible, of course) on the CSV reader
  object, but generate a list from its rows
- this also allow us to check if 'reader' is not NoneType

Continued:
- added alias iceshrimp (misskey)

Continued:
- added more aliases, please don't touch this part of your software or else
  other software cannot maybe handle it correctly

Continued:
- added support for x-nodeinfo2 which can be directly fetched from /.well-known/
  "directory"
- also rewrote fetching well-known nodeinfo URLs to more flexible way

Optimized:
- first simple checks then invoke methods
- recheck_obfuscation() is about block lists, not instances, therefore we need
  to check 'last_blocked' timestamp

Continued:
- fetch_fedipact() belongs to beach.city, those who have their blocklist
  "hidden" in a federated account

Continued:
- better check if no peers has further been added

Continued:
- simplified some lines ({node})

Continued:
- no need to issue warnings for these messages

Continued:
- added more checks for misskey forks

Continued:
- areionskey is not misskey, but it supports at least fetch_instances

Continued:
- added command fetch_joinmisskey to fetch instances from misskey.pages service

Continued:
- skip already blocked domains by any oliphant members

Continued:
- copy-paste mistake from blocks list

Continued:
- added alias fedibird as this is mastodon

Continued:
- added mitra network supporting fetch_instances (not domain_blocks unfortunate)
- if I fetch domain blocks from chaos.social, it is being reset to zero, so
  let's better bypass it here

Continued:
- added aliases for pleroma/misskey

Continued:
- is a dict, keys total, activeHalfyear, activeMonth and maybe more might be
  part of it

Continued:
- cannot on-the-fly convert a list(?) of sqlite3.Row objects dicts

Continued:
- prepared for reverse-proxy, e.g. Apache/nginx
- configuration keys "scheme" (newly added) and "hostname" are how your FBA
  instance is called from outside, I was not able to find any other way as
  url_for() was returning a http:// URL and not a https:// ... :-(

Continued:
- only attempt to fetch peers when software was detected
- added API /api/v1/instance/domain_blocks
- for this the blacklist needs to be rewritten for having "block" reasons
  included

Continued:
- FBA is now a Fediverse "instance"
- outbound "rss" is supported as feeds are provided
- peer list is available at `/api/v1/instance/peers`, but only instances with
  valid nodeinfo

Continued:
- added another alias for misskey
- / (index page) should be last

Continued:
- added some checks for parameter 'origin'

Continued:
- renamed parameter --all to --force

Continued:
- in case of database error (on their side), there is no navigation which
  lead here to a method invocation findAll() on NoneType

Continued:
- fetch_blocks should NOT check if a blocked domain has recently been "crawled"
  as this would exclude it from being blocked (ops!)

Continued:
- blacklisted `ngrok.app` as this is another testing/developing domain name

Continued:
- log returned empty lists separately from warning (mostly caught exception)

Continued:
- rewrote a bit for better logging
- also don't nest function/method invocations, they are not easy to debug

Continued:
- skip below code when vital elements 'domain', 'severity' are not found

Continued:
- added "alias" (long version)

Continued:
- added flooder to blacklist
- added more networks for peers at least: 'gotosocial', 'brighteon',
  'wildebeest', 'bookwyrm'

Continued:
- abostrophed alias for 'takahe' network
- alias added for misskey

Continued:
- init rows list
- log type and length
- check if 'domain' and 'severity' are part of 'block' dictionary

Continued:
- alias for misskey (Russian)

Continued:
- check if dict 'row' has key 'hostname'

Continued:
- these values don't cause you 3 GB RAM usage, here they run fine with
  800MB to 1GB

Continued:
- */* catches all, so let it pass as valid content type

Continued:
- don't let the user set something higher (- 50) than system allows

Continued:
- max "crawl" depth and min peerlist size to go deeper is now configurable
- for example for low-memory systems, keep max_crawl_depth small and
  min_peers_length big
- the default values may cause python3 to consume ~550 MB RAM
- so you can practially say each depth adds another MB RAM usage

Continued:
- roadhouse is an alias for hubzilla, it is currently unsupported as it doesn't
  provide needed APIs for fetching peers and blocklists but just in case they
  add it
- same with nextcloud and others
- shumihub is an alias for misskey

Continued:
- a recursive (aka. "crawl") depth of 500 is REALLY far deep, practically the
  whole Fediverse
- minimum peer count to deepen the "crawl" to max depth is 100 peers
- flush any pending data of current domain before continuing

Continued:
- recursive adding is totally okay, as it won't happen to go endless
- renamed blocks.add_instance() to add()

Continued:
- okay, this instance floods with non-existing sub-domains

Continued:
- added IDNA encoding

Continued:
- ops, header was wrong here due to previous changes (search for all headers)
- but after a few renames, all is back in order!

Continued:
- need to find all, not just first element ...

Continued:
- fixed issues from pylint

Continued:
- moved utils.alias_block_level() to blocks model
- fixed some pylint issues

Continued:
- introduced new module "processing"
- renamed process_*() to *() ;-)

Continued:
- strip off leading dots as the IDNA encoder gets confused about it

Continued:
- exclude chaos.social here as their API for fetching blocks is disabled and
  invoking set_total_blocks() would reset it to zero

Continued:
- maybe does not contain any header at all?

Continued:
- find more blocklists/peer lists from Lemmy by also scanning for (out-dated?
  class=container)

Continued:
- alias "quarantined_instances" to "quarantined", you may have to run
  `DELETE FROM blocks WHERE block_level='quarantined_instances';`
- ... and: `UPDATE instances SET last_blocked = NULL WHERE software IS NOT NULL AND last_status_code = 200;`
- ... to reset your database, then don't forget to execute ./fba.py fetch_blocks

Continued:
- just remove that single hash to get final SQL statements being printed

Continued:
- nope, the returned 'blocking' list is differently structured

Continued:
- blacklisted hexbear.net as their JavaScript contains Shell commands + broken
  JSON inside that script
- added parsing JSON from JavaScript starting with 'isoData' (encapsulated to
  function parse_script())