Merge branch 'apt-dht' of ssh://git.camrdale.org/git/apt-dht into apt-dht

More todo items.

Add cleanup to the MirrorManager for the AptPackages.

Fix a minor error in the DB's storeFile function.

Move the normalization of key lengths from the HashObject to the DHT.

Add property tracking to downloads from peers.

HTTPServer responds correctly to requests for torrent strings.

Upgrade policies to SVN version and fix a small bug.

Fixed the policies usage when writeLimit was None to not do anything.

Store piece hashes in the DB.

Also broke up single table into files and hashes.
Main code uses the new hash routine.
lookupHash now checks for torrent string hashes.
The HTTPServer still needs to interpret torrent string hashes.

Add appropriate piece strings to the DHT.

Added piece hashing to the HashObject.

Only use the ThrottlingProtocol if the producer is streaming.

Fixed the ThrottlingFactory to work with web2 static streams from the web server.

Another attempt at throttling, still not working.

A new TODO item.

Also remove changed cache files during directory scan.

Ignore unknown cache files during directory scan.

Standardize the number of values retrieved from the DHT.

Added the new RETRIEVE_VALUES configuration parameter.
The desired number of values can now be negative, indicating
that only the closest STORE_REDUNDANCY nodes are to be queried.

Rewrite of the actions to take advantage of the commonalities between them.

Check response packet lengths before sending.

Remove an unneeded khashmir file.

Break up the find_value into 2 parts (with get_value).

To better support multiple values per key, the old find_value request is
broken up into find_value, which doesn't stop when it finds a node with
values but just records the number of values the node has, and
get_value, which queries the found nodes that have values to retrieve
them.

Refresh DHT values just before they are due to expire.

Move the key expiring to the checkpoint function.

Unload the AptPackages caches after a period of inactivity.

Updated the copyright definitions.

More and better error messages in the DHT.

Also added message verification for the incoming message
to prevent abuse.

Return a token in find_node responses, use it in store_value requests.

Also changed the checkpointing frequency to 5 minutes so that storing 3
old tokens will give an age of 10-15 minutes (as per protocol).

Use compact encoding of peer info for downloads.

Remove some extra logging that shouldn't have been in the last commit.

Use compact encoding of node contact info in the DHT.

Allow arbitrary strings to be stored in the DHT database.

Also removed the refreshValues as it is no longer needed.

Remove the originated time from the DHT value storage.

Automatically set the version in setup.py from the changelog.

Clean up some admin things.

Add and clean up some of the epydoc documentation.

Another new TODO item.

More work on the TODO.

Snapshot build 2.

Fixed some packaging issues with config file handling.

Snapshot build 1.

Added 2 (commented) failed attempts to throttle the web server.

Another new TODO item: better DHT lookups for multiple values per key.

Fix some minor bugs in the previous commits.

Improper hash_type use in AptPackages.
Use URL quoting and unquoting for peer downloads.
More and better log messages.

Use python-debian for parsing RFC 822 files (untested).

Don't add files to the DHT if a hash could not be found for them.

Download from peers using the hash instead of a directory location.

Also updated the HTTP downloading tests to not use www.camrdale.org
but instead use the less changing IETF RFCs.

HTTPServer uses the hash to lookup the file in the DB (no more directories).

Add the git-buildpackage config file.

Fix up some errors in the packaging.

Initial debian directory and packaging related changes.

Finalized initial motivation paper.

Lots of work on the motivating paper, and a new figure.

Added the kile project file.

Initial creation of the motivating paper.

More TODOs.

Updates after more though on a couple of of the TODO items.

Added more TODO items and a pretty diagram to the documentation.

Change all print statements to log.msg calls.

Supply a modified factory with increased pipelining and timeouts.

Added a test apparatus similar to DebTorrent's.

Add a log-file command line option to the main program.

Add an option to not error out when only a local IP address can be found.

Scanning cache directories on startup waits for DHT storeValue to return.

This slows down the scanning a lot, but is more consistent for adding
values to the DHT (prevents flooding).

Lookup the hash in the cache database.

If it's found, return that file.

Still need to implement copying the file to the cache if it's
not in there already (compare directory to cache_dir variable).

Added scanning of other directories for cached packages.

CacheManager scans the cache directory during initialization.

Actually the scanning is done after a successful join so that
files can be added to the DHT.

The HashObjects can now hash a file in a separate thread.

The donwload cache is scanned for new files too, causing the
decompressed versions of compressed Packages files to be
hashed and added to the DHT. This isn't currently consistent
since they are not added when they are first downloaded
and decompressed.

Remove a completed TODO item.

Remove the mirror name from the shared HTTP directory.

Reset the HTTPServer subdirectories when a new cache directory is created.

Use FilePath everywhere and create new CacheManager module.

All cache related things moved from MirrorManager to the new
CacheManager.

khashmir's store value takes the origination date.

Add the ability to bencode datetime values.

bencode module now uses new BencodeError instead of ValueError.

Added unittests to bencode module for boolean and unicode types.

Changed bencode's test functions to trial unittests.

Convert the new bencode module to use apt-dht logging.

Copied the more advanced bencode module from DebTorrent.

Move the main util functions to the new main util module.

Moved the finding IP address function to the util module.

Use the new DB in the main code.

HTTPServer now gets it's dictionary of subdirectories externally.

Made the main DB track url top-level directories.

Need to change HTTPServer to use the DB, and the main code as
well.

Don't forget to call reconcileDirectories periodically and
then if changed update the HTTPServer's directories.

Main database finished for now, including unittests.

Added new database module for the main code.

Still needs more functions, and the unittests are just
copied from khashmir's database.

Make khashmir's db backwards compatible to pysqlite 2.0.x

Upgrade the security in khashmir by using longer TIDs.

Added some things to do for the future.

When peer downloads fail, try direct downloads.

Also don't cache failed download results, just return them.

Adds downloaded hashed files to the DHT.

Added complicated testing to find our IP address.

New DHT method 'join' like 'ping' but returns our IP and port.

Make downloaded files accessible via the HTTP server.

MirrorManager calls back to the main code, which adds an
appropriate ~ (tilde) directory to the web server.

Fixed the storage of binary strings in the database.

Errors were caused when a string stored in the database had
a NUL character in it. Now the DB uses base64 encoding for
all hash values, with automatic conversion using adapters
and converters.

Also added some unittests to the DB.

Use function for sending krpc responses, and add spew parameter.

Sending a response in the krpc module now calls a function.

There is a new 'SPEW' config variable that causes the krpc
module to spew out all sent and received packet data
(previously called noisy).

Also changed all the tests to use failUnlessEqual instead
of assertEqual, and all assert() commands no longer use
brackets.

Updated some of the downloading tests for the new file sizes
on camrdale.org (need a better solution here).

Fixed some bugs in the new hashing scheme and tests.

Pass the new HashObjects around everywhere (untested).

Modified the HashObject to do dummy hashing if the hash has already been verified.

Added a new Hash Object for tracking lots of hash details.

Added more debug printing to noisy krpc protocol.