Continued:
- added obsfucation metrics, only pleroma and mastodon are currently
  obsfucating their block list
- so also reflect this here

Continued:
- need to set has_obsfucation = False first, then later when obsfucated domains
  are found set it to True
- only find entries with has_obsfucation=1

Continued:
- also expose this flag in relation to used software (currently only mastodon
  and pleroma obsfucate)

Continued:
- added column has_obsfucation for tracking if instances uses obsfucation in
  their block list
- please run this SQL:
  ALTER TABLE instances ADD has_obsfucation TINYINT(1) NULL DEFAULT NULL
- sorted links

Continued:
- moved links to "include" template and generalized them there

Continued:
- don't check domain with blacklist before it has been deobsfucated

Continued:
- rewrote more logging messages from f-masked to lazy '%'

Continued:
- don't check blacklist for (maybe) obsfucated domains,
  domain.is_domain_wanted() does this

Continued:
- global parameter --debug added, produces with large blocks.db file a lot of
  output! You have been warned!

Continued:
- rewrote more f-masked logger messages to lazy '%'
- blacklisted grossard.fr: please don't send tons of garbage!
- instances.deobsfucate() should not validate domains as this is always invalid

Continued:
- rewrote more logger lines from f-masked to lazy '%'

Continued:
- added check if parameter 'char' is found in parameter 'domain'

Continued:
- introduced helper module for domains, need to be aliased to 'domain_helper'
  to avoid conflict with parameter 'domain'

Continued:
- rewrote more f-masked logger messages to lazy '%'
- also made them more common (see EXIT!, ABORT!)

Continued:
- disabled lint-check no-else-raise
- rewrote more f-masked logger lines to lazy '%'

Continued:
- also rewrote these logger messages to lazy '%' way
- fixed some unused-variable/import (pylint)
- fixed some syntax errors

Continued:
- directly imported format_datetime to keep loading time short
- fixed syntax errors

Continued:
- renamed fba.fba to fba.utils
- moved database-relevant code to fba.database module

Continued:
- added command fetch_todon_wiki() that will update blocks from todon.eu
- more checks for bad/unwanted domains added (.arpa/.tld)
- more f-masked strings rewritten to lazy '%' way

Continued:
- fixed some logger messages to lazy format

Continued:
- added command fetch_fedipact() where some instances might be gathered (who
  are happy to block)
- a warning was to noisy for missing keys

Continued:
- some lemmy APIs return NULL (NoneType) in 'federated_instances' field
- fixed some logging messages

Fixed:
- batch of logging-fstring-interpolation

Continued:
- introduced real logger, all commented-out debug lines are now active

Continued:
- variable 'peer' can be a dict with "domain" as a key where the domain name
  is stored

Continued:
- skip bad domains here, too
- this avoids more exceptions

Continued:
- also skip here to avoid exception

Continued:
- first check validity and if not wanted TLDs like '.arpa' or '.tld'
- then check blacklist

Conntinued:
- added more checks on domain names

Continued:
- ops, fixed variable chaos

Continued:
- moved fba.federation|network to package fba.http

Continued:
- also moved fba.config to package fba.helpers

Continued:
- removed duplicate functions
- fixed __all__
- removed whitespace
- re-added set_detection_mode()

Continued:
- move fba.blacklist to fba.helpers package

Continued:
- also tidyup blocked domain from Friendica, too
- also check it against blacklist and any unwanted .arpa/.tld TLDs

Continued:
- checks against blacklist added

Continued:
- tidyup blocked domain
- set last error on exception
- don't lower header text

Continued:
- implemented lemmy.fetch_blocks()
- don't fetch generically, better only network.exceptions

Continued:
- also check for '<html', if not found then skip this broken HTML

Continued:
- okay /api/top.json while the view is called /scoreboard, renamed it

Continued:
- another aliases for pleroma/misskey

Continued:
- imported needed module fba.helpers.cookies
- some nodeinfo may return blacklisted or invalid domains, let's skip them here

Continued:
- added argument --software to command fetch_blocks
- added some missing checks on parameter 'domain'
- removed unused imports

Continued:
- introduced cookies.clear() to clear cookies for given domain

Fixed:
- `if not "foo" in bar` is wrong, use `if "foo" not in bar` instead

Continued:
- introduced cookies.has()
- only invoke cookies.get_all() when there are cookies stored

Continued:
- added new helper for cookies

Continued:
- only check for domain part, some instances may have been installed in a sub
  path

Continued:
- tpzo fixed

Continued:
- stopping other bad domains from entering functions
- also need to catch urlib3 exception

Continued:
- avoided local variables

Continued:
- new URL for TOP 10 lists

Continued:
- better acquire lock here

Continued:
- ignore non-updating UPDATE statements

Continued:
- new flooder everyoneattack.com added
- also ignored empty nodeinfo_url column
- WIP: commented out missing lemmy.fetch_blocks()
- also fixed some missing variables (removed from string)

Continued:
- added command fetch_observer() to fetch instances from fediverse.observer
- WIP: added blocks for lemmy

Continued:
- wrapped into single quotes

Continued:
- further exception added

Continued:
- bookwym and takahe are not supported, let's remove them
- don't cut off path when checking if instances is registered or not
- added commented out debug line

Continued:
- skip fake domains (.tld)
- don't invoke instances.add() with fake domains (.tld)

Continued:
- returned JSON can sometimes be no list

Continued:
- sorted network type (aka. "software") members

Continued:
- some link[href] results from nodeinfo may not have complete URLs
- strange, but true. they need to be prepended with https://{domain}

Continue:
- continue checking on software type after it was discovered by
  generator/site_name
- maybe it needs aliasing?
- also add 'slipfox calckey' as an alias for 'misskey'
- don't tidy-up None values

Continued:
- don't invoke update_data() which caused a non-existing instance being updated

WIP:
- removed geneic-try/except blocks around SQL statements, let them fail and not
  sys.exit() uncleanly
- raise an exception if no row has been updated, e.g. when record isn't found

Continued:
- ignore "accept" block level as that is whitelisting instances, not blocking them

Continued:
- in the end, a missing "t" caused a lot of 'sofware' to be None (NULL) now

Continued:
- need to handle requests.exceptions.InvalidSchema as well
- if variable link is not dict or does not contain 'rel' attribute for what
  reason, then skip this

Continued:
- let's always update last error details/status code

Continued:
- rewrote block for fetching nodeinfo, fetch is provided path is None or matches
  with request or http[s]://domain/path
- if a protocol is given in 'path' parameter, then it needs to be removed

Continued:
- if software is (still) None, then it needs to be determined, not otherwise
  (logic error)
- commented out some DEBUG lines

Continued:
- added config key "rss_limit" (default: 50)

Continued:
- reformatted ({}) block
- commented out debug line
- converted print("", foo, bar) to masked (f) version
- fixed logic bug when not all needed steps were executed

Continued:
- always add non-existing instances, also when their software type is not
  detectable, e.g. not existing
- also skip recently checked instances

Continued:
- re-introduced wrapper function around each column of the "model" `instances`
- marked set_data() as private (now named _set_data())
- these wrappers do NOT invoke instances.update_data(), you have to do this
  from your code

Continued:
- first load main packages, then sub

Fixed:
- also the other way around

Continued:
- 'data' is optional, e.g. empty POST bodies are okay
- fixed handling of JSON replies from peertube instances:
- the request /api/v1/server/followers is correct, then always the JSON has
  "follow" and "following" as elements

Fixed:
- some instances have broken API at /api/v1/instance/domain_blocks which returns
  nodeinfo (see masto1.iana.de)

Continued:
- domain/path might be a valid installation path, but some bug in Friendica
  caused my instance to be reported as 'f.haeder.net/featured' which sucks
- still we need to let domain/path pass here as some installations might
  be happening to be installed in such a way
- sure, best option is always a sub-domain ...

Continued:
- added 'software' as optional parameter to instances.add()
- also prevent bad invocations when a link to a user profile has provided

Continued:
- removed some wrapper functions
- update instance data even when the connection didn't work or some error
  status code (>= 400) came

Fixed:
- ops, wrong way!

Continued:
- moved fba.locking to fba.helpers

Continued:
- moved blocks, instances to new package fba.models as these modules are only
  around a database table with the same name
- movved+renamed fba.log_error() to fba.models.error_log.add()
- pleroma has a /instance/about/index.html "API" which can be parsed for
  block lists if the JSON has returned no 'mrf_simple' and
  'quarantined_instances'

Continued:
- prevent .arpa domains being added by instances.add()

Continued:
- better query `last_error_details` as this column is always set to NULL on
  success

Continued:
- ops, don't double-fetch a single row, causing 2nd invocation of fetchone()
  to return None as the first one already fetched it

Fixed:
- one lesser return statement, currently I have no idea on how to rewrite this?

Continued:
- no more 'unknown' blocking reasons, just keep them empty

Continued:
- duplicated some code for when no "mrf_simple" is returned but only
  "quarantined_instances"

Continued:
- ValueException is wrong, it is ValueError

Continued:
- better checking with .endswith() instead of .split()[-1]
- don't crawl '.tld' domains

Continued:
- fixed finding "powered by " (start of string)

Continued:
- alias 'nextcloud social' to 'nextcloud'

Continued:
- log also domain,origin,blocker

Continued:
- empty string changed to None

Fixed:
- 'redefined-outer-name' lint fixed
- 'bad-indentation ' lint fixed

Continued:
- tidyup + validate domains/reasons