Fix some minor bugs in the previous commits.

Improper hash_type use in AptPackages.
Use URL quoting and unquoting for peer downloads.
More and better log messages.

Use python-debian for parsing RFC 822 files (untested).

Don't add files to the DHT if a hash could not be found for them.

Download from peers using the hash instead of a directory location.

Also updated the HTTP downloading tests to not use www.camrdale.org
but instead use the less changing IETF RFCs.

HTTPServer uses the hash to lookup the file in the DB (no more directories).

Add the git-buildpackage config file.

Fix up some errors in the packaging.

Initial debian directory and packaging related changes.

Finalized initial motivation paper.

Lots of work on the motivating paper, and a new figure.

Added the kile project file.

Initial creation of the motivating paper.

More TODOs.

Updates after more though on a couple of of the TODO items.

Added more TODO items and a pretty diagram to the documentation.

Change all print statements to log.msg calls.

Supply a modified factory with increased pipelining and timeouts.

Added a test apparatus similar to DebTorrent's.

Add a log-file command line option to the main program.

Add an option to not error out when only a local IP address can be found.

Scanning cache directories on startup waits for DHT storeValue to return.

This slows down the scanning a lot, but is more consistent for adding
values to the DHT (prevents flooding).

Lookup the hash in the cache database.

If it's found, return that file.

Still need to implement copying the file to the cache if it's
not in there already (compare directory to cache_dir variable).

Added scanning of other directories for cached packages.

CacheManager scans the cache directory during initialization.

Actually the scanning is done after a successful join so that
files can be added to the DHT.

The HashObjects can now hash a file in a separate thread.

The donwload cache is scanned for new files too, causing the
decompressed versions of compressed Packages files to be
hashed and added to the DHT. This isn't currently consistent
since they are not added when they are first downloaded
and decompressed.

Remove a completed TODO item.

Remove the mirror name from the shared HTTP directory.

Reset the HTTPServer subdirectories when a new cache directory is created.

Use FilePath everywhere and create new CacheManager module.

All cache related things moved from MirrorManager to the new
CacheManager.

khashmir's store value takes the origination date.

Add the ability to bencode datetime values.

bencode module now uses new BencodeError instead of ValueError.

Added unittests to bencode module for boolean and unicode types.

Changed bencode's test functions to trial unittests.

Convert the new bencode module to use apt-dht logging.

Copied the more advanced bencode module from DebTorrent.

Move the main util functions to the new main util module.

Moved the finding IP address function to the util module.

Use the new DB in the main code.

HTTPServer now gets it's dictionary of subdirectories externally.

Made the main DB track url top-level directories.

Need to change HTTPServer to use the DB, and the main code as
well.

Don't forget to call reconcileDirectories periodically and
then if changed update the HTTPServer's directories.

Main database finished for now, including unittests.

Added new database module for the main code.

Still needs more functions, and the unittests are just
copied from khashmir's database.

Make khashmir's db backwards compatible to pysqlite 2.0.x

Upgrade the security in khashmir by using longer TIDs.

Added some things to do for the future.

When peer downloads fail, try direct downloads.

Also don't cache failed download results, just return them.

Adds downloaded hashed files to the DHT.

Added complicated testing to find our IP address.

New DHT method 'join' like 'ping' but returns our IP and port.

Make downloaded files accessible via the HTTP server.

MirrorManager calls back to the main code, which adds an
appropriate ~ (tilde) directory to the web server.

Fixed the storage of binary strings in the database.

Errors were caused when a string stored in the database had
a NUL character in it. Now the DB uses base64 encoding for
all hash values, with automatic conversion using adapters
and converters.

Also added some unittests to the DB.

Use function for sending krpc responses, and add spew parameter.

Sending a response in the krpc module now calls a function.

There is a new 'SPEW' config variable that causes the krpc
module to spew out all sent and received packet data
(previously called noisy).

Also changed all the tests to use failUnlessEqual instead
of assertEqual, and all assert() commands no longer use
brackets.

Updated some of the downloading tests for the new file sizes
on camrdale.org (need a better solution here).

Fixed some bugs in the new hashing scheme and tests.

Pass the new HashObjects around everywhere (untested).

Modified the HashObject to do dummy hashing if the hash has already been verified.

Added a new Hash Object for tracking lots of hash details.

Added more debug printing to noisy krpc protocol.

ProxyFileStream also calculates hash while downloading.

Needs a better implementation with a HashObject type.

Make the MultiDHT test_store work for large number of nodes.

It generated errors before as all the requests for get/store
were sent out simultaneously, and some got lost (probably due
to network queue lengths). Instead, send each request and
wait for it to complete.

Improve the creation of nodes and move all to the main khashmir class.

Nodes are now initialized with their id, host and port
(optionally stored in a dict) instead of needing 2 steps.

All other classes now call the main khashmir Node() constructor
which adds the udp connection and table.

Previous actions that called insertNode on the table now
call it on the main khashmir class, so that if buckets are
full they can have a chance of being added.

Improve the stopping of the krpc protocol so no timeouts are left.

Avoid repetition, use a function for updating nodes when they contact us.

Switch from the time module to the datetime module.

Upgrade pysqlite from 1.0 to 2.x (now uses sqlite3).

No need to look at the DEFAULT section when parsing the config.

Add back the updatedFile method to the MirrorManager.

Move all the khashmir database operations to a separate module.

Move the translating of hashes from hex into the MirrorManager.

DHT normalizes key lengths by chopping or adding 0.

Decompress needed files while downloading them.

Decompress the files so they can be tracked by AptPackages
and used to generate hashes.

Call the AptPackages file_updated when files complete downloading.

Added a defer to the strem proxy to file to facilitate.
Moved the modtime updating out of the proxy as it makes
more sense to do it in the MirrorManager.

Fix an error that occurred when there were no Sources in AptPackages.

Also add an errback to the findHash call to trap future errors.

Unhexify the returned hashes from the AptPackages lookup.

Added modification time tracking to the MirrorManager cache.

Had to switch the HTTPServer to use renderHTTP() instead of
render() so that the last-modified HTTP header would be set.

Added caching of downloaded files to the MirrorManager.

Also made the MirrorManager work with full URLs (http://...).
Also added some log messages to the HTTPDownloader.

Lots of log messages and blocked non-local access to server.

Remote peers can still access the shared files, but not make
requests that result in lookups or see the stats.

Also fixed a bug in the main findHash routines.
Also changed to use splitHostPort rather than manual splitting.

Made the DHT bootstrapping use IPs instead of DNS names.

Also added some logging messages.
Also fixed a problem that caused the application to be loaded twice.

Move all url parsing into the PeerManager.

Also added a lookupHash_done function to the main code.

Fixed some minor bugs.

Made the get and storeValue DHT functions work.

Also added tests for them.
Had to modify the callback from khashmir's get and storeValue functions
to include the key, and the key and value, respectively so multiple
calls can be tracked.

Updated the DHT join and leave to check if a join is in progress.

Made the DHT join method work and added tests for it.

Added a shutdown method to the khasmir DHT.

Add timeouts to some unittests.

Fixed 2 broken AptPackages unittests.

Disable the deprecation warning for the khashmir tests.

Need to rewrite the khashmir main functions to use Deferreds
or something.

Change all unittests to use twisted's trial.

Merge separate "test_*.py" files into their modules.

Modify khashmir's config system to not use the const module.

Configuration variables are all passed in as a dictionary where needed.
The NULL_ID config option has been made a constant.
The ConfigParser now stores all keys as upper case.

Add more to khashmir's DHT implementation.

Still needs a massive rewrite for loading config values properly.

Add a MirrorError exception.

Fixes the deprecated use of calling errback with a string.

Update all tests to add the deferred as both errback and callback.

Fix the MirrorManager tests to be dist-agnostic too.

Fix some broken AptPackages tests.

Made the AptPackages tests dist-agnostic so it works with Ubuntu.

Added the new DHT interface and a bare implmentation of it.

Added the DHT starting to the application.

Removed the old .cvsignore from khashmir.

Add some of the fetching logic.

Fix up the application to work with then new structure.

Moved the files to appropriate package directories.