Continued:
- 11 commands are already there to fetch instances

Continued:
- fixed issues reported by pylint

Continued:
- added "official" name 'nextcloudpi', others like 'crowncloud', 'darkcloud' are
  just aliases created by their owners, I don't provide them a stage in my code
- provided template variable 'domain' might be None

Continued:
- added view /list which lists domains by some criteria (mode/value)
- renamed blocks.is_valid_level() to valid() but now requires 2nd parameter
  with column to check

Continued:
- no border for tables inside .notice

Continued:
- error fixed (ops?)

Renaming season:
- renamed table/model file 'apis' to 'sources' as wikis are not APIs but
  all are (instance) sources
- renamed api_domain to source_domain

Continued:
- if response is not okay, throw exception
- avoids init of domain_data variable

Continued:
- rewrote to fetch domain data over internal JSON API (seem to be not cached?)
- avoid local variable

Continued:
- raise_on() on obfuscated domains was a wrong decision

Continued:
- try to "crawl" instances being redirected to

Continued:
- wording fixed: "Parameter foo[]='%s' is not type of '%'"

Continued:
- added domain.is_in_url() to check if domain is matching netloc or hostname
  part of the URL. This function encodes the domain into punycode before
  comparing it

Continued:
- STATIC_CHECK means well-known URLs are "statically" checked

Continued:
- PLATFORM documented

Continued:
- unique and primary keys on single columns can be moved into table definition

Continued:
- also check og:platform
- dont' set None for detected software type, maybe the website is just down for
  maintenance

Continued:
- used domain_helper.raise_on(domain) instead

Continued:
- first (if needed) acquire lock, then check (if needed) api_domain
- also check host name (components.netloc) for feed in fetch_fba_rss command

Continued:
- renamed column apis.hostname to apis.api_domain
- added apis.fetch()
- check if fetching an URL from fedilist.com was successful

Continued:
- added command fetch_instances_social to fetch new instances from
  instances.social
- you need to get an API key from them, please don't lower api_last_access to
  much, your API key/IP address might get banned!
- added table `apis` which keeps track of "API" accessed, including github
  and wikis, this is to lower traffic on these sites, again: please DO NOT
  overdose these requests! Your IP/API key might get blocked!

Continued:
- rewrote a bit to get lesser nested blocks
- "href" might not be set while "rel" is set ... to much broken
  /.well-known/nodeinfo replies!

Continued:
- renamed /api/index.json to /api/top.json
- count each checked domain and calculate percentage

Continued:
- reset software, detection mode and nodeinfo URL to None when redirection is
  done to other domain
- yes, some people have moved their instance to a sub domain and now redirect
  their traffic to there
- still this had caused another instance under a wrong domain name to be
  registered
- this fix solves this, please run ./fba.py update_nodeinfo
- added config key recheck_nodeinfo

Continued:
- some people have broken /.well-known/nodeinfo links (href), some contain
  scheme, but no netloc (host name)

Continued:
- better word

Continued:
- also don't output a warning for "application/jrd+json"
- same for "application/activity+json"

Continued:
- acquire lock as this command changes database

Continued:
- log response.content when used
- variable blocker or block["blocker"] ? The later one.

Continued:
- return whole nodeinfo dict, including "json"
- also need to handle this for pleroma

Continued:
- issue a warning when determined software type has changed

Continued:
- command update_nodeinfo() now supports --domain and --software parameter
- without them only out-dated instances are being check
- also determined software is being updated

Continued:
- added command update_nodeinfo(), please only execute this when you have
  trouble in federation

Continued:
- update total blocks in any command that handles instance blocks

Continued:
- added column instances.total_blocks which stores total blocks found from
  instance
- also expose it in /infos view

Continued:
- added parameter --all to include also already registered instances

Continued:
- added command fetch_fedilist()
- please don't overdose these commands, fetching instances is limited to only
  not recently fetched but from static websites like fediverse.observer is NOT
  limited!)
- flush pending data here, too

Continued:
- flush instance data when an error has happened

Continued:
- how to maintain (check for bad entries in `instances`) added

Continued:
- improved/added some debug logger messages

Continued:
- if --software parameter is given, no need to fetch whole software list from
  fediverse.observer

Continued:
- added command check_nodeinfo which checks if domain is part of nodeinfo_url
- first loop through nodeinfo IDs to find newest nodeinfo first

Continued:
- update 'nsfw' to 'media_nsfw':
  UPDATE blocks SET block_level='media_nsfw' WHERE block_level='nsfw';
- don't allow block_level='nsfw'

Continued:
- should be federated_timeline_removal

Continued:
- unwrap data["json"] so more instances can be fetched

Continued:
- parsed more headers for more block lists

Continued:
- skip empty domains
- rewrote handling of blocklist from pleroma

Continued:
- skip empty domains after tidyup.domain()

Continued:
- need to set detection_mode and nodeinfo_url to None to avoid false instance
  data
- setters may accept None now

Continued:
- fixed handling returned `data` dict
- added some debug log messages

Continued:
- fixed exception when pleroma block reason is None

Continued:
- blacklisted `activitypub-proxy.cf` as this fakes instances and is currently
  offline
- blacklisted `netlify.app` as this is a mass-hoster with many fake sub domains

Continued:
- more error codes since redirects are now no longer accepted

Testing:
- allow no redirects as normal Fediverse instances should neve redirect
- send_bot_post() accepts as 2nd parameter a list, not a dictionary

Continued:
- moved json_from_response() to fba.helpers.json.from_response()

Continued:
- rewrote fetch_observer() to dynamically load software list
- 'dolphin' is another alias for 'misskey'

Continued:
- try/except for fetching peers

Continued:
- lhr.life and localhost.run provide some tunnel service with tons of sub
  domains which causes the 'instances' table to flood
- command 'fetch_fbabot_atom' is originating from ryona.agency

Continued:
- if domain wasn't found domain_data is None
- treat empty JSON replies as errors
- debug level is enough

Continued:
- takahe supports peer retrieval through /api/v1/instances
- peertube does NOT support retrieval of block list (yet)

Continued:
- introduced new view "/infos"
- changed indexed row array to associative e.g. row[0] had become row['domain']

Continued:
- daemon.py can be easily executable
- also need to rename it in __main__

Continued:
- renamed api.py -> daemon.py as this runs as a "daemonized" Python script
- please use check-daemon.sh for starting it in a screen

Continued:
- some block entries seem to contain https:// at the start, also try this
  varriant

Continued:
- command recheck_obfuscation now accepts parameter --domain and --software
- encapsulated aliasing unwanted block_level into function
  utils.alias_block_level()

Continued:
- /api/info.json doesn't need to return slogan while it can be taken directly
  from configuration
- exclude empty origins, not software

Continued:
- update instance data just before exiting federation.fetch_instances()

Continued:
- only mark instances having obfuscated block entries when at least one cannot
  be deobfuscated

Continued:
- also "ignore" (skip) these TLDs

Continued:
- added or processed? ;-)

Continued:
- count() > 0 or find() >= 0 ?

Continued:
- 'blocked' is the deobfuscated one, ops

Continued:
- response.headers.get("content-type") might be None and should be reported, too

Continued:
- strip of charset while checking for received content-type
- but add it when sending it

Continued:
- fixed error messages, missed adding the actual variables being logged
- logged count of updated fields
- log header (mostly bs4.element.Tag)

Continued:
- fixed some lint issues
- logged type of variable 'tag'
- changed single -> double quotes

Continued:
- no <br /><br /> when you can use <p> instead
- adding lang="en" as the language is currently static English
- fixed some HTML errors

Continued:
- added command recheck_obfuscation() to recheck if returned instance's
  obfuscated blocked peers can be de-obfuscated
- I use array["fop"] outside strings and array['foo'] inside

Fixed:
- content can sometimes be a tag, not a string

Continued:
- re-run fetch_instances 3-5 times, not fetch_fbabot_atom

Continued:
- TOR .onion instances are not analyzed here, maybe later a switch --onion will
  add TOR-only support?

Continued:
- introduced utils.process_block() to encapsulate handling adding/updating blocks

Continued:
- if peers list is empty, try to fetch from /instances

Continued:
- fixed exception

Continued:
- debug message added

Continued:
- if lemmy's API doesn't work or returns zero rows, try /instances instead

Fixed:
- some lemmy instances uses a table, instead of an unsorted list for their
  /instances view

Continued:
- added command fetch_joinfediverse() to fetch domain blocks from
  climatejustice.social's wiki

Continued:
- tpzo fixed

Continued:
- let's be nice and only fetch instances/blocks from not recently (aka.
  out-dated) records so we keep bandwidth low on these servers

Continued:
- exclude instances with no nodeinfo URL

Fixed:
- don't provide software in advance, this prevents nodeinfo being fetched

Continued:
- basic theme support added
- please note that the StaticFiles class handles them!

Continued:
- introduced software helper with function alias()

Continued:
- also don't allow/ignore URLs with /tag/ in it
- ops, hash wasn't provided to instances.deobfuscate()

Continued:
- ops, forgot to also check everything here, too

Continued:
- clear cookies after federation.fetch_instances() has finished or failed
  its job
- logger messages a bit rewritten

Continued:
- some CSS beautifications
- scoreboard navigation is now a list not just links with <br />

Continued:
- h3 is enough here

One week per instance fetch is already enough.