Continued:
- also log 'path' here

Continued:
- nodeinfo_url is not always a path only, better don't handle it over
- check if parameter 'path' starts with a slash if not 'None'

Continued:
- should be always aliased ;-)

Continued:
- renamed $DOMAINS to $DOMAIN_LIST (Bash script)
- need to exclude None as possible value for parameter 'path'
- added another parked domain

Blacklist updated:
- added mass sub-domain flooder
- added fb.me (Facebook websites)

Continued:
- these parked domains are the pest of the Internet :-( They just don't contain
  any real content and flood crawl indexes and tables such as 'instances' in
  this software

Continued:
- Parameter 'path' need to start with a slash
- checked more against blacklist
- logger message after API returned JSON made similar

Continued:
- cached function software.alias()
- moved cached initialization to file header

Continued:
- also cache invocations of raise_on() which is being very often invoked

Continued:
- first check parameter (better performance)
- cache is_wanted() and is_in_url() invocations

Continued:
- blocked more parked domains

Continued:
- parked domains blocked

Continued:
- also skip empty 'href' values
- include 'infos' array, too

Continued:
- rewrote so all parameters for command fetch_blocks() can have parameter --force
- added parameter --only-none

Continued:
- added 'sutty.nl' for flooding fediverse with useless "instances"
- it is a mass website hoster

Continued:
- improved/added debug lines

Continued:
- added another array dimension where an error message might be set

Continued:
- check config key against "true"
- improved logger messages
- added some

Fixed:
- identing must be always aligned

Continued:
- you can now optionally allow I2P domains being crawled (default: forbidden =
  clear-net)

Continued:
- improved/added some debug lines

Continued:
- added dynamic IP address and hostname provider to blacklist

Continued:
- ops, fixed syntax error

Continued:
- added parked domain
- added another list for seirdy.one

Continued:
- also track response time during raised exceptions

Continued:
- added last_response_time to templates
- moved cookie clearing to proper place (?)

Continued:
- also need to reduce depth here

Continued:
- added alias 'write.as' for 'writefreely'

Continued:
- handle empty peer list differently than fetching none
- added alias 'mbin' for software 'kbin'

Continued:
- 'misskey' is also a software using obfuscation of blocked instances
- let us better combine None/empty string

Continued:
- lemmy may also use obfuscation
- also check entries when has_obfuscation is NULL

Continued:
- more redundant checks against blacklist to avoid bad function invocations

Continued:
- more blacklist checks
- some formatting

Continued:
- more named parameters
- added some debug/warning lines

Continued:
- moved translation list out of function (would reinitialized each time)

Continued:
- re-indented

Continued:
- named parameters
- skip None type

Continued:
- empty strings are not accepted as block reasons, better 'None' instead

Continued:
- added command "fetch_relaylist" to fetch relays from relaylist.com

Continued:
- added debug lines (each loop should start with a debug line)

Continued:
- added another testing site 'tunnel.silicon.moe'

Continued:
- fixed some errors (ops)

Continued:
- lesser code block indenting

Continued:
- duplicate line removed

Continued:
- not less websites set their (sub-)domain name as software
- maybe let's double-check them if they have fixed it

Continued:
- added another alias for misskey

Continued:
- moved url list to fba/helpers/blocklists.py
- always update count of obfuscated domains

Continued:
- added missing parameter for SQL queries
- added some aliases for misskey

Continued:
- maybe also -rc came here

Continued:
- this instance has repeatedly (3x) caused an OOM (Out-Of-Memory) error here

Continued:
- some Friendica instances may have no table tag

Continued:
- wrong place to alias, this way all *key software became misskey and no other
  would be checked

Continued:
- skip empty domain names before is_wanted() is invocated

Continued:
- software doesn't need to be aliases each round as the variable isn't assigned
  inside the loop
- added check in software_helper.alias() if parameter 'software' is an empty
  string
- don't attempt to alias empty software string

Continued:
- more cases of empty strings

Continued:
- tpzo fixed

Continued:
- also ignore empty content here, too

Continued:
- added view for recently added instances

Continued:
- added parameter --no-detection for rechecking instances with no detection mode
  being set which might happen when the server is down or the used software was
  nowhere stated

Continued:
- no need for these checks anymore

Continued:
- cut of any port part from `components.netloc`

Continued:
- no longer needed as INFO messages because below code also has logged a similar
  message on INFO level

Continued:
- also need to skip empty strings

Continued:
- moved fba/deprecated.py to deprecated/commands.py
- fixed many issues pylint has reported

Continued:
- each kid on this world seem to have their own misskey clone now only by
  replacing the loading graphic?

Continued:
- added some debug messages
- formatted command
- added alias 'hajkey' as 'misskey' alias

Continued:
- don't attempt to fetch peers from fetch_instances() function when the software
  is a relay, command fetch_relay() should be used instead to fetch relay's
  peer list

Continued:
- some people made a website which redirected to other redirect-only domains,
  e.g. start with 'social.golangengine.de' and you see what I mean
- if fetch_instances() is used here, it will cause a permanent redirect and
  later a stackoverflow

Continued:
- local variable 'block' was defined only within the loop, not outside of it
- I actually have to use local variable 'blocker' instead

Continued:
- also set has_obfuscation here, too

Continued:
- change has_obfuscation when detected, not when a domain wasn't deobfuscated
- also count de-/obfuscated domains

Continued:
- some people entered invalid domains names with two dots (foo..bar)

Continued:
- ordered SELECT statement for update_nodeinfo() command
- added --no-auto as another "filter" parameter
- don't check domains that turn e.g. into an IP address before redirecting to
  them

Continued:
- added some more checks to avoid exceptions

Continued:
- row["software"] is the proper way here, ops

Continued:
- Paula has finally seen the wrong outcome of publishing a #FediBlock list
  publicly:
  "Too many people use blocklists as-is and don't use their own brain. Blindly
   blocking instances because someone else says so is not good."

Continued:
- added another alias for 'misskey'

Continued:
- commit after each CSV row being handled
- tpzo fixed in module name
- always add domain to domains list

Continued:
- if later more "hidden" blocklists are added --domain=foo can only process
  foo's blocklist

Continued:
- old left-over

Continued:
- some CSV files have their headers upper-case

Continued:
- added command 'fetch_csv' which fetches CSV files and processes them for
  further instance discovery and blocklist expansion
- introduced function processing.csv_block() which does the above processing
- return non-zero exit code when source was queried to recently

Continued:
- has_obfuscation should be only an indicator if a single domain is obfuscated
  then this should be set to True, otherwise False

Continued:
- please execute SQL command:
  "UPDATE instances SET command = 'redirect_target' WHERE command = 'fetch_generator';"
- yes, it is done during detection mode 'generator' but it was discovered as
  redirection target

Continued:
- some people think that CamelCase.Domain is something to be proud of
- truth is, that those upper-case characters are being lower-cased before a DNS
  server is been queried

Continued:
- instances.has_pending() raises an exception if domain is not registered yet
- instances.update() checks is_registered() first, then has_pending()

Continued:
- some url.netloc may contain port number which needs to be split off

Continued:
- more checks on empty/None domain names

Continued:
- added last_response_time which is a float that stores the last response time
- you have to run following SQL statement on your blocks.db:
  ALTER TABLE instances ADD last_response_time FLOAT NULL DEFAULT NULL;

Continued:
- introduced software_helper.is_relay() function to check if given software name
  is a supported relay software
- federation.fetch_instances() will throw an exception if invoked with relay
  software
- also command fetch_instances avoids them

Continued:
- fetch_relays now supports --software=foo parameter
- added support for 'pub-relay' relays, they provide their peers over their
  nodeinfo URL (see element metadata -> peers)

Continued:
- skip empty domain names
- also strip spaces on start/end away

Continued:
- tpzo fixed

Continued:
- no need for double-fetching generic JSON API

Continued:
- skip more empty/None strings

Continued:
- functions in module fba.helpers.tidyup are relatively "expensive", means they
  need a lot of CPU cycles
- let's avoid invoking them on empty string

Continued:
- added alias 'glitchcafe' for mastodon

Continued:
- renamed processing.domain() to processing.instance()
- renamed its parameter 'name' to 'blocked' (unified)

Continued:
- some messages are now info, one is debug

Continued:
- notice added about difference between total peer/block count