Continued:
- also don't allow/ignore URLs with /tag/ in it
- ops, hash wasn't provided to instances.deobfuscate()

Continued:
- ops, forgot to also check everything here, too

Continued:
- clear cookies after federation.fetch_instances() has finished or failed
  its job
- logger messages a bit rewritten

Continued:
- some CSS beautifications
- scoreboard navigation is now a list not just links with <br />

Continued:
- h3 is enough here

One week per instance fetch is already enough.

Continued:
- metrics wasn't the right word here, statistics is more proper
- renamed links.tpl -> links.html

Continued:
- maximum API limit (500) now as a configuration key

Notation applied:
- decimals in lazy strings with %d
- strings with '%s'

Continued:
- moved rss.xml, robots.txt to views/ directory as these are actual views

Continued:
- fixed rss.xml view
- also maybe search for hash (only mastodon provide it)

Continued:
- include all block levels

Continued:
- count all found records, output message if requested amount is same
- renamed template variable blocks -> blocklist so it is the same as in api.py

Continued:
- rewrote api.py's router functions in a more flexible way: mode,value,amount
- for now only a few modes are supported: domain, reverse, reason, block_level

Continued:
- upper-case on start
- None could also mean erroneous instance (e.g. not found/deactivated API)

Continued:
- check if domain is wanted before trying to deobfuscate it

Continued:
- multi-fetch for fetch_txt
- always write pending updates after a domain has been worked on

Continued:
- paths is not a dict, it must be a list (ops)
- some JSON APIs don't response with a list of peers, but a dict instead

Continued:
- added command 'fetch_pixelfed_api' to fetch instances from pixelfed.org's API

Continued:
- renamed "indexed" to "supported" as this is more obvious (and true, too)

Continued:
- introduced utils.deobfuscate_domain() which encapsulates deobfuscating domain
  names

Continued:
- added 'r' to avoid anomalous-backslash-in-string lint-check

Continued:
- update total peer count in centralized fetch_instances(), not in individual
  network's functions

Continued:
- made all translations lower-case for easier comparison
- if header is empty, skip it (avoids exception)

Continued:
- registered fetch_bkali on 'tak.teleyal.blog' instance

Continued:
- changed 'suspend' back to 'suspended', there is 'silenced', 'quarantined'
- still 'reject' is around ...

Continued:
- changed 'silence' to 'silenced', makes more sense
- bot POSTs are now centralized in fba.commands.fetch_blocks()
- more logging added

Continued:
- mode=detection_mode has in second column total count, not blocks

Continued:
- used more `foo in ['some', 'other']`

WIP:
- if the domain part of foo.tld/c/ is already registered, then this might be a
  link to a user profile
- also log software

Continued:
- set_success() sets status_code to 200 and clears last_error_details

Finished:
- rewrote remaining f-masked logger messages to lazy '%'
- fixed some logger messages with {foo} still in it

Continued:
- added metrics for column detection_mode

Fixed:
- tpzo fixed

Continued:
- rewrote logger messages from f-masked to lazy '%'
- added missing f(-masked)

Continued:
- removed unused imports

Continued:
- added metrics for blocking levels

Continued:
- mapped 'suspended' to 'suspend'
- mapped 'silenced' to 'silence'
- deny 'suspended'/'silenced' in blocks model functions

Continued:
- again tpzo fixed:
  ALTER TABLE instances RENAME has_obfucation TO has_obfuscation

Continued:
- also include Friendica

Continued:
- it is 'blocked' not 'blocker' (current domain in fetch_blocks() function)

Continued:
- these fetch_blocks() must return a list()

Continued:
- don't re-check/tidy-up block reason and domain if already done

Continued:
- rewrote fetch_blocks() so always a list() is being returned
- also don't commit so often to database
- added report.sh and ignored generated report.txt

Continued:
- tpzo fixed, you have to run following SQL:
  ALTER TABLE instances RENAME has_obsfucation TO has_obfucation

Continued:
- CSS notice box added
- text aligned to left, header to centered
- rounded corners look beautiful!

Continued:
- added obsfucation metrics, only pleroma and mastodon are currently
  obsfucating their block list
- so also reflect this here

Continued:
- need to set has_obsfucation = False first, then later when obsfucated domains
  are found set it to True
- only find entries with has_obsfucation=1

Continued:
- also expose this flag in relation to used software (currently only mastodon
  and pleroma obsfucate)

Continued:
- added column has_obsfucation for tracking if instances uses obsfucation in
  their block list
- please run this SQL:
  ALTER TABLE instances ADD has_obsfucation TINYINT(1) NULL DEFAULT NULL
- sorted links

Continued:
- moved links to "include" template and generalized them there

Continued:
- don't check domain with blacklist before it has been deobsfucated

Continued:
- rewrote more logging messages from f-masked to lazy '%'

Continued:
- don't check blacklist for (maybe) obsfucated domains,
  domain.is_domain_wanted() does this

Continued:
- global parameter --debug added, produces with large blocks.db file a lot of
  output! You have been warned!

Continued:
- rewrote more f-masked logger messages to lazy '%'
- blacklisted grossard.fr: please don't send tons of garbage!
- instances.deobsfucate() should not validate domains as this is always invalid

Continued:
- rewrote more logger lines from f-masked to lazy '%'

Continued:
- added check if parameter 'char' is found in parameter 'domain'

Continued:
- introduced helper module for domains, need to be aliased to 'domain_helper'
  to avoid conflict with parameter 'domain'

Continued:
- rewrote more f-masked logger messages to lazy '%'
- also made them more common (see EXIT!, ABORT!)

Continued:
- disabled lint-check no-else-raise
- rewrote more f-masked logger lines to lazy '%'

Continued:
- also rewrote these logger messages to lazy '%' way
- fixed some unused-variable/import (pylint)
- fixed some syntax errors

Continued:
- directly imported format_datetime to keep loading time short
- fixed syntax errors

Continued:
- renamed fba.fba to fba.utils
- moved database-relevant code to fba.database module

Continued:
- added command fetch_todon_wiki() that will update blocks from todon.eu
- more checks for bad/unwanted domains added (.arpa/.tld)
- more f-masked strings rewritten to lazy '%' way

Continued:
- fixed some logger messages to lazy format

Continued:
- added command fetch_fedipact() where some instances might be gathered (who
  are happy to block)
- a warning was to noisy for missing keys

Continued:
- some lemmy APIs return NULL (NoneType) in 'federated_instances' field
- fixed some logging messages

Fixed:
- batch of logging-fstring-interpolation

Continued:
- introduced real logger, all commented-out debug lines are now active

Continued:
- variable 'peer' can be a dict with "domain" as a key where the domain name
  is stored

Continued:
- skip bad domains here, too
- this avoids more exceptions

Continued:
- also skip here to avoid exception

Continued:
- first check validity and if not wanted TLDs like '.arpa' or '.tld'
- then check blacklist

Conntinued:
- added more checks on domain names

Continued:
- ops, fixed variable chaos

Continued:
- moved fba.federation|network to package fba.http

Continued:
- also moved fba.config to package fba.helpers

Continued:
- removed duplicate functions
- fixed __all__
- removed whitespace
- re-added set_detection_mode()

Continued:
- move fba.blacklist to fba.helpers package

Continued:
- also tidyup blocked domain from Friendica, too
- also check it against blacklist and any unwanted .arpa/.tld TLDs

Continued:
- checks against blacklist added

Continued:
- tidyup blocked domain
- set last error on exception
- don't lower header text

Continued:
- implemented lemmy.fetch_blocks()
- don't fetch generically, better only network.exceptions

Continued:
- also check for '<html', if not found then skip this broken HTML

Continued:
- okay /api/top.json while the view is called /scoreboard, renamed it

Continued:
- another aliases for pleroma/misskey

Continued:
- imported needed module fba.helpers.cookies
- some nodeinfo may return blacklisted or invalid domains, let's skip them here

Continued:
- added argument --software to command fetch_blocks
- added some missing checks on parameter 'domain'
- removed unused imports

Continued:
- introduced cookies.clear() to clear cookies for given domain

Fixed:
- `if not "foo" in bar` is wrong, use `if "foo" not in bar` instead

Continued:
- introduced cookies.has()
- only invoke cookies.get_all() when there are cookies stored

Continued:
- added new helper for cookies

Continued:
- only check for domain part, some instances may have been installed in a sub
  path

Continued:
- tpzo fixed

Continued:
- stopping other bad domains from entering functions
- also need to catch urlib3 exception

Continued:
- avoided local variables

Continued:
- new URL for TOP 10 lists

Continued:
- better acquire lock here

Continued:
- ignore non-updating UPDATE statements