Continued:
- first check validity and if not wanted TLDs like '.arpa' or '.tld'
- then check blacklist

Conntinued:
- added more checks on domain names

Continued:
- ops, fixed variable chaos

Continued:
- moved fba.federation|network to package fba.http

Continued:
- also moved fba.config to package fba.helpers

Continued:
- removed duplicate functions
- fixed __all__
- removed whitespace
- re-added set_detection_mode()

Continued:
- move fba.blacklist to fba.helpers package

Continued:
- also tidyup blocked domain from Friendica, too
- also check it against blacklist and any unwanted .arpa/.tld TLDs

Continued:
- checks against blacklist added

Continued:
- tidyup blocked domain
- set last error on exception
- don't lower header text

Continued:
- implemented lemmy.fetch_blocks()
- don't fetch generically, better only network.exceptions

Continued:
- also check for '<html', if not found then skip this broken HTML

Continued:
- okay /api/top.json while the view is called /scoreboard, renamed it

Continued:
- another aliases for pleroma/misskey

Continued:
- imported needed module fba.helpers.cookies
- some nodeinfo may return blacklisted or invalid domains, let's skip them here

Continued:
- added argument --software to command fetch_blocks
- added some missing checks on parameter 'domain'
- removed unused imports

Continued:
- introduced cookies.clear() to clear cookies for given domain

Fixed:
- `if not "foo" in bar` is wrong, use `if "foo" not in bar` instead

Continued:
- introduced cookies.has()
- only invoke cookies.get_all() when there are cookies stored

Continued:
- added new helper for cookies

Continued:
- only check for domain part, some instances may have been installed in a sub
  path

Continued:
- tpzo fixed

Continued:
- stopping other bad domains from entering functions
- also need to catch urlib3 exception

Continued:
- avoided local variables

Continued:
- new URL for TOP 10 lists

Continued:
- better acquire lock here

Continued:
- ignore non-updating UPDATE statements

Continued:
- new flooder everyoneattack.com added
- also ignored empty nodeinfo_url column
- WIP: commented out missing lemmy.fetch_blocks()
- also fixed some missing variables (removed from string)

Continued:
- added command fetch_observer() to fetch instances from fediverse.observer
- WIP: added blocks for lemmy

Continued:
- wrapped into single quotes

Continued:
- further exception added

Continued:
- bookwym and takahe are not supported, let's remove them
- don't cut off path when checking if instances is registered or not
- added commented out debug line

Continued:
- skip fake domains (.tld)
- don't invoke instances.add() with fake domains (.tld)

Continued:
- returned JSON can sometimes be no list

Continued:
- sorted network type (aka. "software") members

Continued:
- some link[href] results from nodeinfo may not have complete URLs
- strange, but true. they need to be prepended with https://{domain}

Continue:
- continue checking on software type after it was discovered by
  generator/site_name
- maybe it needs aliasing?
- also add 'slipfox calckey' as an alias for 'misskey'
- don't tidy-up None values

Continued:
- don't invoke update_data() which caused a non-existing instance being updated

WIP:
- removed geneic-try/except blocks around SQL statements, let them fail and not
  sys.exit() uncleanly
- raise an exception if no row has been updated, e.g. when record isn't found

Continued:
- ignore "accept" block level as that is whitelisting instances, not blocking them

Continued:
- in the end, a missing "t" caused a lot of 'sofware' to be None (NULL) now

Continued:
- need to handle requests.exceptions.InvalidSchema as well
- if variable link is not dict or does not contain 'rel' attribute for what
  reason, then skip this

Continued:
- let's always update last error details/status code

Continued:
- rewrote block for fetching nodeinfo, fetch is provided path is None or matches
  with request or http[s]://domain/path
- if a protocol is given in 'path' parameter, then it needs to be removed

Continued:
- if software is (still) None, then it needs to be determined, not otherwise
  (logic error)
- commented out some DEBUG lines

Continued:
- added config key "rss_limit" (default: 50)

Continued:
- reformatted ({}) block
- commented out debug line
- converted print("", foo, bar) to masked (f) version
- fixed logic bug when not all needed steps were executed

Continued:
- always add non-existing instances, also when their software type is not
  detectable, e.g. not existing
- also skip recently checked instances

Continued:
- re-introduced wrapper function around each column of the "model" `instances`
- marked set_data() as private (now named _set_data())
- these wrappers do NOT invoke instances.update_data(), you have to do this
  from your code

Continued:
- first load main packages, then sub

Fixed:
- also the other way around

Continued:
- 'data' is optional, e.g. empty POST bodies are okay
- fixed handling of JSON replies from peertube instances:
- the request /api/v1/server/followers is correct, then always the JSON has
  "follow" and "following" as elements

Fixed:
- some instances have broken API at /api/v1/instance/domain_blocks which returns
  nodeinfo (see masto1.iana.de)

Continued:
- domain/path might be a valid installation path, but some bug in Friendica
  caused my instance to be reported as 'f.haeder.net/featured' which sucks
- still we need to let domain/path pass here as some installations might
  be happening to be installed in such a way
- sure, best option is always a sub-domain ...

Continued:
- added 'software' as optional parameter to instances.add()
- also prevent bad invocations when a link to a user profile has provided

Continued:
- removed some wrapper functions
- update instance data even when the connection didn't work or some error
  status code (>= 400) came

Fixed:
- ops, wrong way!

Continued:
- moved fba.locking to fba.helpers

Continued:
- moved blocks, instances to new package fba.models as these modules are only
  around a database table with the same name
- movved+renamed fba.log_error() to fba.models.error_log.add()
- pleroma has a /instance/about/index.html "API" which can be parsed for
  block lists if the JSON has returned no 'mrf_simple' and
  'quarantined_instances'

Continued:
- prevent .arpa domains being added by instances.add()

Continued:
- better query `last_error_details` as this column is always set to NULL on
  success

Continued:
- ops, don't double-fetch a single row, causing 2nd invocation of fetchone()
  to return None as the first one already fetched it

Fixed:
- one lesser return statement, currently I have no idea on how to rewrite this?

Continued:
- no more 'unknown' blocking reasons, just keep them empty

Continued:
- duplicated some code for when no "mrf_simple" is returned but only
  "quarantined_instances"

Continued:
- ValueException is wrong, it is ValueError

Continued:
- better checking with .endswith() instead of .split()[-1]
- don't crawl '.tld' domains

Continued:
- fixed finding "powered by " (start of string)

Continued:
- alias 'nextcloud social' to 'nextcloud'

Continued:
- log also domain,origin,blocker

Continued:
- empty string changed to None

Fixed:
- 'redefined-outer-name' lint fixed
- 'bad-indentation ' lint fixed

Continued:
- tidyup + validate domains/reasons

Continued:
- introduced fba.process_domain() for generic domain processing, please provide
  origin and command

Continued:
- tpzo fixed in function name
- also re-check with domain if hash wasn't found
- 'runtube.re' aliased to 'peertube'

Continued:
- renamed hash -> blocked_hash to avoid redefining builtin references
- also combined 2 isinstance() into one

Continued:
- introduced instances.deobsure() for simple deobscuring attempts, e.g. when
  they use * or ? when they don't want to show the domain, you can still
  deobsfucate it with the hash (some provide it) or obscured domain itself

Continued:
- also update last_instance_fetch when software type isn't determined yet
- include command name in log messages

Continued:
- moved fba.cache to fba.helpers
- introduced instances.is_recent() so importing long blocklists won't take so
  long

Continued:
- added optional --domain parameter to fetch only from one oliphant blocklist
  files

WIP:
- rewrote from out-dated federater blocklist to multiple up-to-date oliphant
  blocklists
- also prepared for local file support (documentation prepared)

Continued:
- moved version-related stuff to own helpers module

Continued:
- let's collect them all and handle them together, no "generic-catch-all" as
  this would hide actual bugs

Continued:
- avoid local variables

Continued:
- some Mastodon API responses have no comment in it

Continued:
- DEBUG level is enough here, avoids double-logging

Continued:
- also cut off trailing double-dot (some people cannot format their data in
  tables properly)
- a wildcat might be at the start of the string, so start checking there for it

Continued:
- whole input tag, no matter for what purpose is styled now
- sorted CSS members

Continued:
- logic fixed
- debug messages added

Continued:
- need to catch exceptions here so more instances can be added with
  software=None

Continued:
- reason['reason'] had been handled to tidyup.reason() which caused an error
- it needed to be flexible "detected": str, dict are only supported types for now

Continued:
- fixed handling of 404 (no exception) case when nodeinfo wasn't found
- copied (WIP!) fetching /about page to pleroma
- also added /about to /about/more as possible pages for misskey

Continued:
- .arpa domains are reverse-ip-address domains and should not be used generally
- please choose a proper domain name, e.g. lemmy.myhomepage.tld

Continued:
- always transport causing exception
- some places may still handle it

Rewrites:
- rewrote api.api_top() to only 2 parameters, 'mode' and 'amount'
- also remove duplicate `if amount > 500` lines and combined them into one

Continued:
- disabled 'duplicate-code' lint check as it found checking parameters as
  duplicated code while it is needed for each function

Fixes:
- some misskey installations don't return isSuspended/isBlocked fields

Continued:
- removed another broad except block
- added missing variable initialization
- there is no 'domain', aka. instance here
- fixed bare-except, you can use 'if foo in bar' instead

Continued:
- handle typical network exceptions here, too
- don't sys.exit() here anymore, exit function properly
- don't 'break' here, there was no loop, better return proper error code
- fixed a few problems, found by pylint

Continued:
- fetch[_wellknown]_nodeinfo() should return same dict with at least
  'status_code' and 'json' on success and 'error_message' on failure