WIP:
- added i18n support
- I still get an exception of missing tag 'trans' and I don't know how to hook
  i18n properly into Jinja2
- I found tutorials but they had their Python-based language files while this
  here follows: https://svn.python.org/projects/external/Jinja-2.1.1/docs/_build/html/extensions.html
- if someone knows how to make this correctly, please tell me

Continued:
- sqlite3.Row doesn't allow assigning values, so we need copy it to a dict()
  and then it can be modified

Continued:
- formatted SQL command
- added alias for misskey/pleroma

Continued:
- keyword "is" is to much here

Continued:
- delete all solved obfuscation patterns at once
- only vacuum database if rows have been deleted

Continued:
- added new command 'check_obfuscations'

Continued:
- rewrote many local variables in "row" list
- need to convert SQL row into list() row(s0
- renamed variables 'r' is to short

Continued:
- removed useless counter variable
- init local variables

Continued:
- introduced network.fetch_csv_rows()
- improved logger messages as parameter types are expected

Continued:
- command update_nodeinfo now supports --only-erroneous
- some more debug lines

Continued:
- removed duplicate

Continued:
- instances.social suddenly sends domains with TLD .arpa, need to block them

Continued:
- used wrapping network.fetch_json_rows() instead of raw network.fetch_url()

Continued:
- proper exception, not ValueException when it is a runtime exception

Continued:
- it is a type-check, not a value-range check

Continued:
- raise RuntimeError instead of broad Exception

Continued:
- federation.fetch_peers() does not support relays as their "relay list"
  might be fetched differently

Continued:
- added CSV URL from Kromonos

Continued:
- a bit more logging
- no invoking of tuple() anymore

Continued:
- all "Setting detection_mode=FOO" lines are now on info level (was mostly debug)

Continued:
- let's name columns directly where possible, instead of using their numerical
  index

Continued:
- added more exceptions to catch and handle
- split long 2-statements lines into single lines for better error handling
  and debugging (if fedilist is one day back -> https://fedilist.com )

Continued:
- default None has pleased pylint due to no dangerous default but it woud
  have made some other code (logging length of it) more complex

Continued:
- yojo-art is another alias for misskey

Continued:
- need to skip invalid table headers, they should be introduced with <thead>
  and then each column <th> but some website may use <tr> instead of <thead>
- strip (trim) strings

Continued:
- why do I have to add this unreferenced reqto?!

Continued:
- marked api_headers as private
- invoked network.fetch_url() instead of reqto.get() as the first one wraps it
  nicely

Continued:
- some more PEP8 compliance by using `if 'foo' not in bar` style

Continued:
- avoided dangerous (=mutable) argument to functions/methods (thanks to pylint)
- reduced invocation count of find_all("foo") by using local variable
- added more checks in "quarantined" branch

Continued:
- check if required key 'url' is in dict 'row'
- avoided superflous else + indenting
- simplier check before complex checks (`if domain in domains` is lesser
  intensive than invoking "expensive" is_wanted())

Continued:
- improved logging message
- also search args.software in column original_software

Continued:
- reduced another return statement
- added debug line
- combined both local variable initialization

Continued:
- function version_helper.remove() is now cached

Continued:
- moved additional if check

Continued:
- named named parameters

Continued:
- parameter 'domain_hash' can be an empty string, so let's check it
- converted concating strings into f-string
- some debug messages added

Continued:
- renamed obfuscation.is_added() to has() to streamline naming functions in
  model modules

Continued:
- only invoke error_log.add() when 'write_error_log' is enabled

Continued:
- fixed some pylint warnings/errors

Continued:
- need to check if 'row' is type of 'dict'
- logger messages improved or added

Continued:
- "cached" write_error_log configuration value

Continued:
- logging whole tag isn't a good idea
- yes, the HTML is sometimes broken, e.g. <meta> and not <meta /> (self-closing)
- the open tag causes the warning

Continued:
- more "caching" of config.get() calls
- yes, still good

Continued:
- encoding for reading config.json set to UTF-8
- removed unused imports

Continued:
- added missing type 'bool'
- improved/added debug lines

Continued:
- removed old-lost code utils.fetch_url(), maybe a leftover from previous
  moving code to network module?
- rewrote loop (better error handling

Continued:
- messages fixed

Continued:
- copy fetchall() result into local variable for counting total rows

Continued:
- need to convert sqlite3.Row into dict to be able to change values

Continued:
- ops, was conflicting name
- added debug message

Continued:
- rewrote multiple variables to array
- renamed row -> obfuscated to make space for above change

Continued:
- lets better move these values to a central place

Continued:
- moved timeout values for nodeinfo-fetch to local "cached" variable

Continued:
- blacklisted pinggy.link, this floods instances table. Please register yourself
  a proper domain and not use "free" hosters' server names as "domain name"

Continued:
- introduced network.get_generic() to encapsulate some repeated parameters

Continued:
- software.remove_extras() is now cached

Continued:
- added commented out debug lines

Continued:
- moved alias_block_level() to new fba/helpers/blocks.py

Continued:
- added needed timeout parameter (pylint)
- removed unused imports (pylint)

Continued:
- local "caching" of configuration values to speedup code execution and lowering
  massive debug logging
- combined None and "" together

Continued:
- some variables fixed (e.g. no row[domain] but source_domain does exist
- added some random sleep for fetch_observer() as they seem to block to quick
  responses on automatic requests

Continued:
- fixed deprecation warning for pylint 3.0 ending support for short class names
- wrong %d for a string fixed

Continued:
- introduced software_helper.remove_extras()

Continued:
- need to createa list() of CSV reader object to be able to count total CSV
  lines

Continued:
- full-stop (dot) no longer at end of exception messages
- added column last_requested_path to 'instances' table

Continued:
- better handling of CSRF meta tags

Continued:
- fixed some leftovers from last encapsulation

Continued:
- maybe "index" was outdated here?

Contionued:
- moved static array from code (body) to header

Continued:
- fixed exception: need to skip unwanted TLDs

Continued:
- added locally used scripts, can be useful to someone else, too

Continued:
- a little commata must be added ... :-(

Continued:
- removed no longer provided or now private blocklist

Continued:
- removed redundant code (copy-paste)
- added missing local variable declaration

Continued:
- now also command recheck_obfuscation() is updating/adding 'obfucated' a record

Continued:
- added function update() for "model" obfuscation (module name and table name
  must match as this is naming convention)
- added column 'last_used' to table 'obfuscation'

Continued:
- changed debug to info message as this was to quiet when for example the new
  instance isn't reachable (timeout)

Continued:
- added debug lines for function invocation
- change INFO into DEBUG message
- changed type to "any" (maybe it is limitable?)

Continued:
- more fixed for handing parked domains (200 OK or 302 but no real content)

Continued:
- some parked domains return "200 OK" for all requests. This is understandable
  in their view on things but it isn't standard-conform as 200 means document
  found and not some fake content being returned

Continued:
- removed obsolete code

Continued:
- an empty string is not the same as None, that's correct. So both need to be
  checked
- yes, first I check on false (missing keys, etc.) then true (positive outcome)

Continued:
- introduced network.fetch_json_rows() which fetches a JSON API response and
  returns a specifyable rows key (optional) to return as rows

Continued:
- introduced domain_helper.is_tld_wanted() which checks if the top-level domain
  of a domain name is wanted

Continued:
- skip invalid domains after checking them for obfuscation with asterisks or
  question marks

Continued:
- rewrote chaos.social parser for their own documentation at meta.chaos.social

Continued:
- instances.delete() now has an optional parameter 'column' which
  also needs validation on type and non-empty string
- some functions in same module didn't log optional/extra parameter 'column'

Continued:
- these DELETE SQL statements have already been encapsulated

Continued:
- formatted longer SQL statment
- changed ordering of records

Continued:
- 'typeecho' sometimes provide a block list which has same API path as Fediverse
  instances provide, so let's add it as a source
- removed nodeinfo_url from SQL query when searching for software during
  fetch_blocks() command

Continued:
- added "logging" of obfuscated blocked domain/instance names
- if it has been deobfuscated, it will be removed

Continued:
- check if instance[host] is at least set and a non-empty string

Continued:
- when returned value from tidyup.domain() is an empty string or None then
  always log it as a debug message

Continued:
- added type-hint 'None' for all functions not returning a value, for example
  setters, add/update/delete functions

Continued:
- don't log an info after a "filter function"
- initialize variable 'search' as both if() blocks use the same code
- check variable 'domain' before 'char' as 'char' needs to be in a supported
  'domain' string

Continued:
- added another alias 'meowkey' for 'misskey'

Continued:
- Diaspora seem to provide an API for more peers, so let's add it for command
  fetch_instances()
- ... and yes, that long query isn't a good idea

Continued:
- added alias 'barkle' for 'misskey'

Continued:
- let also process.block() abort when an unwanted block_level is provided
- alias also "reject" to "rejected"

Continued:
- script is rejecting "reject" now in favor of "rejected" as there is
  "suspended" and "silenced" (past) already around
- Please run `$ sqlite3 blocks.db "UPDATE blocks SET block_level = 'rejected' WHERE block_level = 'reject';"`