Continued:
- better acquire lock here

Continued:
- ignore non-updating UPDATE statements

Continued:
- new flooder everyoneattack.com added
- also ignored empty nodeinfo_url column
- WIP: commented out missing lemmy.fetch_blocks()
- also fixed some missing variables (removed from string)

Continued:
- added command fetch_observer() to fetch instances from fediverse.observer
- WIP: added blocks for lemmy

Continued:
- wrapped into single quotes

Continued:
- further exception added

Continued:
- bookwym and takahe are not supported, let's remove them
- don't cut off path when checking if instances is registered or not
- added commented out debug line

Continued:
- skip fake domains (.tld)
- don't invoke instances.add() with fake domains (.tld)

Continued:
- returned JSON can sometimes be no list

Continued:
- sorted network type (aka. "software") members

Continued:
- some link[href] results from nodeinfo may not have complete URLs
- strange, but true. they need to be prepended with https://{domain}

Continue:
- continue checking on software type after it was discovered by
  generator/site_name
- maybe it needs aliasing?
- also add 'slipfox calckey' as an alias for 'misskey'
- don't tidy-up None values

Continued:
- don't invoke update_data() which caused a non-existing instance being updated

WIP:
- removed geneic-try/except blocks around SQL statements, let them fail and not
  sys.exit() uncleanly
- raise an exception if no row has been updated, e.g. when record isn't found

Continued:
- ignore "accept" block level as that is whitelisting instances, not blocking them

Continued:
- in the end, a missing "t" caused a lot of 'sofware' to be None (NULL) now

Continued:
- need to handle requests.exceptions.InvalidSchema as well
- if variable link is not dict or does not contain 'rel' attribute for what
  reason, then skip this

Continued:
- let's always update last error details/status code

Continued:
- rewrote block for fetching nodeinfo, fetch is provided path is None or matches
  with request or http[s]://domain/path
- if a protocol is given in 'path' parameter, then it needs to be removed

Continued:
- if software is (still) None, then it needs to be determined, not otherwise
  (logic error)
- commented out some DEBUG lines

Continued:
- added config key "rss_limit" (default: 50)

Continued:
- reformatted ({}) block
- commented out debug line
- converted print("", foo, bar) to masked (f) version
- fixed logic bug when not all needed steps were executed

Continued:
- always add non-existing instances, also when their software type is not
  detectable, e.g. not existing
- also skip recently checked instances

Continued:
- re-introduced wrapper function around each column of the "model" `instances`
- marked set_data() as private (now named _set_data())
- these wrappers do NOT invoke instances.update_data(), you have to do this
  from your code

Continued:
- first load main packages, then sub

Fixed:
- also the other way around

Continued:
- 'data' is optional, e.g. empty POST bodies are okay
- fixed handling of JSON replies from peertube instances:
- the request /api/v1/server/followers is correct, then always the JSON has
  "follow" and "following" as elements

Fixed:
- some instances have broken API at /api/v1/instance/domain_blocks which returns
  nodeinfo (see masto1.iana.de)

Continued:
- domain/path might be a valid installation path, but some bug in Friendica
  caused my instance to be reported as 'f.haeder.net/featured' which sucks
- still we need to let domain/path pass here as some installations might
  be happening to be installed in such a way
- sure, best option is always a sub-domain ...

Continued:
- added 'software' as optional parameter to instances.add()
- also prevent bad invocations when a link to a user profile has provided

Continued:
- removed some wrapper functions
- update instance data even when the connection didn't work or some error
  status code (>= 400) came

Fixed:
- ops, wrong way!

Continued:
- moved fba.locking to fba.helpers

Continued:
- moved blocks, instances to new package fba.models as these modules are only
  around a database table with the same name
- movved+renamed fba.log_error() to fba.models.error_log.add()
- pleroma has a /instance/about/index.html "API" which can be parsed for
  block lists if the JSON has returned no 'mrf_simple' and
  'quarantined_instances'

Continued:
- prevent .arpa domains being added by instances.add()

Continued:
- better query `last_error_details` as this column is always set to NULL on
  success

Continued:
- ops, don't double-fetch a single row, causing 2nd invocation of fetchone()
  to return None as the first one already fetched it

Fixed:
- one lesser return statement, currently I have no idea on how to rewrite this?

Continued:
- no more 'unknown' blocking reasons, just keep them empty

Continued:
- duplicated some code for when no "mrf_simple" is returned but only
  "quarantined_instances"

Continued:
- ValueException is wrong, it is ValueError

Continued:
- better checking with .endswith() instead of .split()[-1]
- don't crawl '.tld' domains

Continued:
- fixed finding "powered by " (start of string)

Continued:
- alias 'nextcloud social' to 'nextcloud'

Continued:
- log also domain,origin,blocker

Continued:
- empty string changed to None

Fixed:
- 'redefined-outer-name' lint fixed
- 'bad-indentation ' lint fixed

Continued:
- tidyup + validate domains/reasons

Continued:
- introduced fba.process_domain() for generic domain processing, please provide
  origin and command

Continued:
- tpzo fixed in function name
- also re-check with domain if hash wasn't found
- 'runtube.re' aliased to 'peertube'

Continued:
- renamed hash -> blocked_hash to avoid redefining builtin references
- also combined 2 isinstance() into one

Continued:
- introduced instances.deobsure() for simple deobscuring attempts, e.g. when
  they use * or ? when they don't want to show the domain, you can still
  deobsfucate it with the hash (some provide it) or obscured domain itself

Continued:
- also update last_instance_fetch when software type isn't determined yet
- include command name in log messages

Continued:
- moved fba.cache to fba.helpers
- introduced instances.is_recent() so importing long blocklists won't take so
  long

Continued:
- added optional --domain parameter to fetch only from one oliphant blocklist
  files

WIP:
- rewrote from out-dated federater blocklist to multiple up-to-date oliphant
  blocklists
- also prepared for local file support (documentation prepared)

Continued:
- moved version-related stuff to own helpers module

Continued:
- let's collect them all and handle them together, no "generic-catch-all" as
  this would hide actual bugs

Continued:
- avoid local variables

Continued:
- some Mastodon API responses have no comment in it

Continued:
- DEBUG level is enough here, avoids double-logging

Continued:
- also cut off trailing double-dot (some people cannot format their data in
  tables properly)
- a wildcat might be at the start of the string, so start checking there for it

Continued:
- whole input tag, no matter for what purpose is styled now
- sorted CSS members

Continued:
- logic fixed
- debug messages added

Continued:
- need to catch exceptions here so more instances can be added with
  software=None

Continued:
- reason['reason'] had been handled to tidyup.reason() which caused an error
- it needed to be flexible "detected": str, dict are only supported types for now

Continued:
- fixed handling of 404 (no exception) case when nodeinfo wasn't found
- copied (WIP!) fetching /about page to pleroma
- also added /about to /about/more as possible pages for misskey

Continued:
- .arpa domains are reverse-ip-address domains and should not be used generally
- please choose a proper domain name, e.g. lemmy.myhomepage.tld

Continued:
- always transport causing exception
- some places may still handle it

Rewrites:
- rewrote api.api_top() to only 2 parameters, 'mode' and 'amount'
- also remove duplicate `if amount > 500` lines and combined them into one

Continued:
- disabled 'duplicate-code' lint check as it found checking parameters as
  duplicated code while it is needed for each function

Fixes:
- some misskey installations don't return isSuspended/isBlocked fields

Continued:
- removed another broad except block
- added missing variable initialization
- there is no 'domain', aka. instance here
- fixed bare-except, you can use 'if foo in bar' instead

Continued:
- handle typical network exceptions here, too
- don't sys.exit() here anymore, exit function properly
- don't 'break' here, there was no loop, better return proper error code
- fixed a few problems, found by pylint

Continued:
- fetch[_wellknown]_nodeinfo() should return same dict with at least
  'status_code' and 'json' on success and 'error_message' on failure

Continued:
- if dict 'error' cannot be handled (their keys) then raise an exception
- put all type(foo) into single quotes
- commented out debug line

Continued:
- also need to put a try/except block around csrf.determine() invocations

Continued:
- forgot to copy-paste error_message check for "blocked"
- also needed to take fetched['json'] for fetched rows

Continued:
- some misskey (Chinese) instance returned broken UTF-8, so I had to catch
  UnicodeEncodeError, too

Continued:
- both ['error_message'] and ['json']['federated_instances'] is extremely rare

Continued:
- at least show the exception name

Continued:
- ops, don't copy whole HTML to last_error_message
- also need to initialize local variable 'peers' first

Continued:
- no parameter for 'timeout' (here: 'headers' wasn't handled over)

WIP(?):
- moved csrf.determine() of of central functions, it was causing to much CSRF
  checks and slowed down all

Continued:
- ops wrong fix

Continued:
- DEBUG level + commented out is enough here

Continued:
- caught more specific exception and not broad BaseException (still some are
  left)
- renamed variable blocks -> blocking to avoid confusion with imported
  fba.blocks

Continued:
- also here need to handle error_message
- fetched['json'] does now contain the rows

Continued:
- whyever, but a list is returned, not a dict

Continued:
- also catch this exception here, avoiding a lot of more requests to unreachable websites

Continued:
- data['json'] now contains the reply

Continued:
- still a requests.model.Response might be handled over

WIP:
- introduced network.fetch_api_url() which takes a whole URL (not domain/path
  separated) and returns it's reply in a json_reply dictionary as both other
  API functions are handling it

WIP:
- more refacturing away from "generic except blocks"

Continued:
- introduced get_json_api() which gives back a dictionary,
- 'status_code' in it is always set, so better test on 'error_message'

Fixed:
- had to add a 'import reqto' only here to make Python happy
- looks like something in Python internal mapping or so is broken?

Continued:
- first 'rows' was re-assigned with new values, which is typical for Python
- yet still this hasn't fixed the recursion error

Continued:
- removed redundant initialization of 'blockdict'
- removed local variable 'csrf'

Continued:
- updated execution in systemd service file

Continued:
- explained why the original website isn't reflecting this code