]> git.mxchange.org Git - hub-docs.git/commitdiff
Usage of low-level protocols added
authorRoland Häder <roland@mxchange.org>
Thu, 12 Mar 2009 23:56:08 +0000 (23:56 +0000)
committerRoland Häder <roland@mxchange.org>
Thu, 12 Mar 2009 23:56:08 +0000 (23:56 +0000)
mindmaps/Generic Object Sharing Protocol.html
mindmaps/Generic Object Sharing Protocol.mm

index 8bb9aadaa648788567c5fb9a155f2c1accf39556..c76d7ee0ab43cdb1f0712126ab1fcb69e5dbf61b 100644 (file)
@@ -1,3 +1,3 @@
 <?xml version="1.0" encoding="iso-8859-1"?><?xml-stylesheet href="treestyles.css" type="text/css"?>
 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
-<html xml:lang="fi" xmlns="http://www.w3.org/1999/xhtml"><head><title>Generic Object Sharing Protocol</title><link rel="stylesheet" href="Generic Object Sharing Protocol.html_files/treestyles.css" type="text/css"/><script type="text/javascript" src="Generic Object Sharing Protocol.html_files/marktree.js">  </script></head><body><div class="basetop"><a href="#" onclick="expandAll(document.getElementById('base'))">Expand</a> - <a href="#" onclick="collapseAll(document.getElementById('base'))">Collapse</a></div><div id="base" class="basetext"><ul><li class="col" style="" id="FMFreemind_Link_1069566441FM"><span style="font-size:150%;font-weight:bold;">Generic Object Sharing Protocol</span><ul class="subexp"><li class="exp" style="" id="FMFreemind_Link_1660540085FM"><span style="font-size:117%;font-weight:bold;">Hub Identification</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_780558731FM"><span style="">Every hub generates an id string by random</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1498010716FM"><span style="">This is the Hub-Id (Hub Identifier)</span></li><li class="basic" style="" id="FMFreemind_Link_458280781FM"><span style="">Only on first use</span></li><li class="basic" style="" id="FMFreemind_Link_698958541FM"><span style="">This should be globally unique</span></li><li class="basic" style="" id="FMFreemind_Link_1564511533FM"><span style="">It will be stored in hub's database for later reuse</span></li><li class="col" style="" id="FMFreemind_Link_982080681FM"><span style="">A hash is being generated of it</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_177707740FM"><span style="">Hashed data:</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1317863864FM"><span style="">Hub's IP number and hostname</span></li><li class="basic" style="" id="FMFreemind_Link_1030355543FM"><span style="">Some random characters</span></li></ul></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1022876700FM"><span style="">This id does not change as long as the database is not purged</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1712131488FM"><span style="">Per session another id is generated</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_439993942FM"><span style="">This is the SID (Session IDentifier)</span></li><li class="basic" style="" id="FMFreemind_Link_1215594894FM"><span style="">It is being distributed to the hubs</span></li><li class="col" style="" id="FMFreemind_Link_1633651159FM"><span style="">It stored together with the Hub-Id</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_651452439FM"><span style="">So other can validate bother together</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_789902518FM"><img src="Generic Object Sharing Protocol.html_files/icons/messagebox_warning.png" alt="messagebox_warning"/> <span style="">Logging should only enabled for debugging purposes</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_902328932FM"><span style="">Locking IPs or Hub-Ids on master-nodes is not planed</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1592412776FM"><span style="">Censorship would be to very easy</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_423578439FM"><span style="">Government agencies or enterprise parties</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_84092519FM"><span style="">Censhorship makes no sence here</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_514458550FM"><span style="">It can very easy be bypassed:</span></li><li class="col" style="" id="FMFreemind_Link_1221678941FM"><span style="">Delete Hub-Id in database</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_904836052FM"><span style="">A new one got generated</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1262635656FM"><span style="">Locked IP or port number can be bypassed by proxies</span></li><li class="col" style="" id="FMFreemind_Link_1619827292FM"><span style="">One or two master-hubs should listen on ports commonly unblocked by firewalls</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_709609072FM"><span style="">Like 80/443/110/25</span></li></ul></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_441713513FM"><span style="">Hubs can be optionally registered by master-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1200999421FM"><span style="">Increases karma because the hub admin is verified</span></li><li class="basic" style="" id="FMFreemind_Link_1617168424FM"><span style="">Unregistered hubs does not receive negative votings</span></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1339348415FM"><span style="font-size:117%;font-weight:bold;">Bootstrapping</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_453620216FM"><span style="">At least one, better 3 to 4, master-nodes are required</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_265648584FM"><span style="">Aka. "Bootstrap-Nodes"</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_854375254FM"><span style="">Bootstrap-Nodes are working stand-alone</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_882684293FM"><span style="">No central "Super-Node" is required</span></li><li class="basic" style="" id="FMFreemind_Link_1661888163FM"><span style="">Too much traffic would have to flow through it</span></li><li class="basic" style="" id="FMFreemind_Link_1121780060FM"><span style="">Attacks on the network by censorship are reduced</span></li><li class="basic" style="" id="FMFreemind_Link_924004535FM"><span style="">Traffic does not increase network-overall load</span></li><li class="col" style="" id="FMFreemind_Link_1573570415FM"><span style="">Small disadvantage:</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1018217993FM"><span style="">Hubs must register with ...</span></li><li class="basic" style="" id="FMFreemind_Link_665965725FM"><span style="">... more than one master-node ...</span></li><li class="basic" style="" id="FMFreemind_Link_1849172644FM"><span style="">.. or connect with each other</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_608191462FM"><span style="">Hub is fetching a list of other hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_195277951FM"><span style="">They must have at least X matching object types</span></li><li class="basic" style="" id="FMFreemind_Link_453619955FM"><span style="">Hashes of hub-lists should match</span></li><li class="col" style="" id="FMFreemind_Link_574241054FM"><span style="">If to much are inconsistent:</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1253336655FM"><span style="">No connect can happen</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1412643595FM"><span style="">Hub list is rejected</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1181650485FM"><span style="">Or the bootstrap-nodes are working as regular hubs</span></li><li class="basic" style="" id="FMFreemind_Link_1134140787FM"><span style="">Replication of the hub-list is required by all bootstrap-nodes</span></li></ul></li></ul></li></ul></li><li class="exp" style="" id="FM_FM"><span style="font-size:117%;font-weight:bold;">Karma</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_1190748575FM"><span style="">Karma is given for validating entries in the DHT</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_29494292FM"><span style="">Last activity in near past</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_254202732FM"><span style="">Does not affect karma</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_210971136FM"><span style="">Returned pings</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1680521907FM"><span style="">Amount of sent pings</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_689172908FM"><span style="">If no reply it got dead-listed</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_612939095FM"><span style="">Failed pings reduce karma</span></li><li class="basic" style="" id="FMFreemind_Link_45314722FM"><span style="">Slow responses reduce karma</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_538248067FM"><span style="">Karma voting for other hubs is not to negative</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_511404921FM"><span style="">Reduces manipulation chances</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_801930369FM"><span style="">Prefer karma votes of trusted hubs</span></li><li class="basic" style="" id="FMFreemind_Link_45612508FM"><span style="">Negative karma votings for untrusted karma reduce own karma</span></li></ul></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1507410448FM"><span style="">To much "spam packages" reduce karma</span></li><li class="basic" style="" id="FMFreemind_Link_993155795FM"><span style="">Validated packages increase karma</span></li><li class="col" style="" id="FMFreemind_Link_1606666417FM"><span style="">Protocol version should not be to old</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1094995324FM"><span style="">This affects karma only negativly</span></li><li class="basic" style="" id="FMFreemind_Link_344926416FM"><span style="">An up-to-date protocol does not increase karma</span></li><li class="basic" style="" id="FMFreemind_Link_473648942FM"><span style="">Does also serve as a "spam protection"</span></li><li class="col" style="" id="FMFreemind_Link_594554525FM"><span style="">Received protocol version of hub is older than stored</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_174968672FM"><span style="">Karma is reduced</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1682037492FM"><span style="">Received protocol version is much than from master-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1255846244FM"><span style="">Karma is reduced</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_1260923814FM"><span style="">Provided object types by the peer hub</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1973981672FM"><span style="">This affectes karma only negativly</span></li><li class="basic" style="" id="FMFreemind_Link_936683200FM"><span style="">New types must first be known by masters</span></li><li class="col" style="" id="FMFreemind_Link_965874760FM"><span style="">This should be configurable:</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1804987507FM"><span style="">Karma should be reduced...</span></li><li class="basic" style="" id="FMFreemind_Link_1719378455FM"><span style="">... or peer hub should be black-listed</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1318639621FM"><span style="">Because of every node can be a master-mode censorship is really hard</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1158753702FM"><span style="">Correctly logging</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_571936771FM"><span style="">Does not affect karma</span></li><li class="col" style="" id="FMFreemind_Link_526838799FM"><span style="">Logout must be done by master hub and active hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_961650790FM"><img src="Generic Object Sharing Protocol.html_files/icons/idea.png" alt="idea"/> <span style="">"Bye" message</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_548852073FM"><span style="">Rotating of dynamic IPs should be considered</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1811539187FM"><span style="">Must be registered by master-node</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_589306378FM"><span style="">ID is registered as "Dynamic IP"</span></li><li class="basic" style="" id="FMFreemind_Link_1377338623FM"><span style="">So connects are still possible</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1985410220FM"><span style="">No negative votings by other hubs</span></li><li class="col" style="" id="FMFreemind_Link_289837552FM"><span style="">Current IP does spread good in network</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_962702337FM"><span style="">Query of the master-node only in doubt</span></li></ul></li></ul></li></ul></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1204819150FM"><span style="font-size:117%;font-weight:bold;">Object Types</span><ul class="sub"><li class="basic" style="" id="FMFreemind_Link_1961919735FM"><span style="">New object types are only addable by updating the software</span></li><li class="col" style="" id="FMFreemind_Link_188591190FM"><span style="">It also possible by 3rd-party</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_385578906FM"><span style="">Must be known by master/bootstrap-nodes</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1667260565FM"><span style="">Outdated object types are marked "deprecated" for a longer time</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1936301650FM"><span style="">Master-nodes may accept or reject them</span></li><li class="basic" style="" id="FMFreemind_Link_505959038FM"><span style="">A "deprecation message" is always being sent</span></li><li class="basic" style="" id="FMFreemind_Link_1001362763FM"><span style="">A note of a required update can optionally be added</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_259217829FM"><span style="">After deprecation time they are treated as "unknown"</span></li><li class="col" style="" id="FMFreemind_Link_1228871005FM"><span style="">Other hubs should ask bootstrap-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_887331476FM"><span style="">This compensate errors made by master-nodes</span></li><li class="basic" style="" id="FMFreemind_Link_1450229897FM"><span style="">Wrongly deprecated object types by the master-node result in bad karma by the bootstrap-node</span></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_831929021FM"><span style="font-size:117%;font-weight:bold;">Update Messages</span><ul class="sub"><li class="basic" style="" id="FMFreemind_Link_71881649FM"><span style="">Will only be broadcasted from bootstrap- to master- and list-nodes</span></li><li class="col" style="" id="FMFreemind_Link_774046685FM"><span style="">No hub will receive update messages due to heavy network load</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1204404067FM"><img src="Generic Object Sharing Protocol.html_files/icons/xmag.png" alt="xmag"/> <img src="Generic Object Sharing Protocol.html_files/icons/help.png" alt="help"/> <span style="">Maybe only "good" hubs should receive this?</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1584525818FM"><span style="">Contains update notes and importance level</span></li></ul></li><li class="exp" style="" id="FMFreemind_Link_168475853FM"><span style="font-size:117%;font-weight:bold;">"Client" Connections</span><ul class="sub"><li class="basic" style="" id="FMFreemind_Link_1154203316FM"><img src="Generic Object Sharing Protocol.html_files/icons/bell.png" alt="bell"/> <span style="">Should be interpreted as "application software"</span></li><li class="col" style="" id="FMFreemind_Link_1741675827FM"><span style="">Clients should also generate a "client id"</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_518254369FM"><span style="">Both id and sid</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_815708604FM"><span style="">Will also connect first to bootstrap-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_934296740FM"><span style="">Ask for a hub-list as well</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_480673349FM"><span style="">Do also receive karma from hubs</span></li><li class="basic" style="" id="FMFreemind_Link_692612491FM"><span style="">Dynamic IPs are also accepted and therefore must be registered</span></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1445979240FM"><span style="font-size:117%;font-weight:bold;">Client&lt;-&gt;Hub Communication</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_374257888FM"><span style="">After a client has bootstrapped it announces all it's object types to the hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1014689893FM"><span style="">Including acceptance of broadcasts, poll-mode and Ping-POST</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_730901168FM"><span style="">By this the hubs know clients and their accepted object types</span></li><li class="col" style="" id="FMFreemind_Link_1981646811FM"><span style="">Clients may download a hub-list for a specific object type</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_376278255FM"><span style="">Distinct-List-Mode</span></li><li class="basic" style="" id="FMFreemind_Link_481362981FM"><span style="">After selecting a hub the client can request a list of clients from that hub</span></li><li class="col" style="" id="FMFreemind_Link_1444901526FM"><span style="">From these clients the client can accept objects from and send to</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_423939808FM"><span style="">E.g. news by broadcast</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_619530506FM"><span style="">Clients may send "broadcast" objects</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_104270656FM"><span style="">Broadcast-Mode</span></li><li class="col" style="" id="FMFreemind_Link_187831566FM"><span style="">Must be allowed by hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_929863047FM"><span style="">This consumes traffic</span></li><li class="basic" style="" id="FMFreemind_Link_421479503FM"><span style="">Acceptance of broadcasts is known to list-/master- and bootstrap-nodes</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_20289741FM"><span style="">A client sends its broadcast to the master-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_751901694FM"><span style="">They are distribute it to their fellow hubs</span></li><li class="basic" style="" id="FMFreemind_Link_908440118FM"><span style="">A hub knows which client accepts broadcasts and "deposits" it for the client</span></li><li class="col" style="" id="FMFreemind_Link_1381761729FM"><span style="">Clients are requesting such broadcasts by poll-mode or are "pinged"</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_816499858FM"><span style="">In poll-mode the client asks on a regular basis at the hub for new broadcasts</span></li><li class="col" style="" id="FMFreemind_Link_1452667491FM"><span style="">A Ping-POST is being sent by the hub as a regular HTTP-POST request to the client</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_873242294FM"><span style="">This also happens on a regular basis</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1845481591FM"><span style="">A hub-admin may allow both types independly</span></li><li class="col" style="" id="FMFreemind_Link_1607423256FM"><span style="">If none is allowed the hub acts as a "relay"</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_297001287FM"><span style="">And therefore it cannot accept clients with broadcast-functionality enabled</span></li></ul></li></ul></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_144167856FM"><span style="font-size:100%;font-weight:bold;">Client-Client Communication</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1642758810FM"><span style="">May be done "anonymously" over the hub or directly with an other client</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1507061819FM"><span style="">Communication of the hub is done in poll-mode or by Ping-POST</span></li><li class="basic" style="" id="FMFreemind_Link_1390010744FM"><span style="">Direct client-client communication client "A" sends a Ping-POST directly to client "B"</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1445364933FM"><img src="Generic Object Sharing Protocol.html_files/icons/xmag.png" alt="xmag"/> <img src="Generic Object Sharing Protocol.html_files/icons/desktop_new.png" alt="desktop_new"/> <span style="">Wrongly sent Ping-POSTs (e.g. the admin doesn't allow them) may be answered with a regular HTTP status '4XX'</span></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1372827895FM"><span style="font-size:117%;font-weight:bold;">Fault Tolerance / Reliability</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_28699698FM"><span style="">After X failed connection attempts a hub got removed</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1795377892FM"><span style="">Other hubs report this to the master-node</span></li><li class="basic" style="" id="FMFreemind_Link_1595372369FM"><span style="">The master-node probes the failed hub and removes it</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_468909888FM"><span style="">Failed list-node</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_192209809FM"><span style="">Hubs are reporting it to the master-node</span></li><li class="basic" style="" id="FMFreemind_Link_933570791FM"><span style="">The master-node probes the failed list-node and removes it</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1309357086FM"><span style="">Failed master-node</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1228535079FM"><span style="">List-nodes takeover the role of a master-node if no bootstrap-nodes are available</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1324885722FM"><img src="Generic Object Sharing Protocol.html_files/icons/messagebox_warning.png" alt="messagebox_warning"/> <img src="Generic Object Sharing Protocol.html_files/icons/desktop_new.png" alt="desktop_new"/> <span style="">This takeover should not be entirely and should be defined</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_489546245FM"><span style="">If there is no list-node, hubs look for an active master-node</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_496844314FM"><span style="">They report the failed master-node to it</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1831877789FM"><span style="">If additionally no master-node is up, a hub will be elected as new master-node</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1473765417FM"><span style="">Doing so, all hubs are identifying the hub with...</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1849074808FM"><span style="">... the best karma</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1303674032FM"><span style="">This is known to many hubs</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1087780155FM"><span style="">... most votings</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_585981486FM"><span style="">A "vote" is a positive karma</span></li><li class="basic" style="" id="FMFreemind_Link_616335445FM"><span style="">Also known to many hubs</span></li></ul></li></ul></li><li class="basic" style="" id="FMFreemind_Link_341438028FM"><span style="">The "election" should take place within a specific timeout</span></li><li class="basic" style="" id="FMFreemind_Link_515853064FM"><span style="">If no election is happening the hub with most connections got elected</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_694830716FM"><span style="">If one of the bootstrap-nodes is up</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1701914366FM"><span style="">The elected hubs notifies a some of it's fellow hubs that the bootstrap-node is back</span></li><li class="basic" style="" id="FMFreemind_Link_561336762FM"><span style="">The elected hub becomes a regular hub and notifies other hubs on connection attempts</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1745751398FM"><span style="">Disadvantages:</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1189063074FM"><span style="">A new hub with only knowlege about the bootstrap-nodes may not be able to connect to the hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1581407665FM"><span style="">Additional bootstrap-nodes on other server and/or continent may help here</span></li></ul></li></ul></li></ul></li></ul></li></ul></div></body></html>
\ No newline at end of file
+<html xml:lang="fi" xmlns="http://www.w3.org/1999/xhtml"><head><title>Generic Object Sharing Protocol</title><link rel="stylesheet" href="Generic Object Sharing Protocol.html_files/treestyles.css" type="text/css"/><script type="text/javascript" src="Generic Object Sharing Protocol.html_files/marktree.js">  </script></head><body><div class="basetop"><a href="#" onclick="expandAll(document.getElementById('base'))">Expand</a> - <a href="#" onclick="collapseAll(document.getElementById('base'))">Collapse</a></div><div id="base" class="basetext"><ul><li class="col" style="" id="FMFreemind_Link_1069566441FM"><span style="font-size:167%;font-weight:bold;">Generic Object Sharing Protocol</span><ul class="subexp"><li class="exp" style="" id="FMFreemind_Link_1660540085FM"><span style="font-size:133%;font-weight:bold;">Hub Identification</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_780558731FM"><span style="">Every hub generates an id string by random</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1498010716FM"><span style="">This is the Hub-Id (Hub Identifier)</span></li><li class="basic" style="" id="FMFreemind_Link_458280781FM"><span style="">Only on first use</span></li><li class="basic" style="" id="FMFreemind_Link_698958541FM"><span style="">This should be globally unique</span></li><li class="basic" style="" id="FMFreemind_Link_1564511533FM"><span style="">It will be stored in hub's database for later reuse</span></li><li class="col" style="" id="FMFreemind_Link_982080681FM"><span style="">A hash is being generated of it</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_177707740FM"><span style="">Hashed data:</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1317863864FM"><span style="">Hub's IP number and hostname</span></li><li class="basic" style="" id="FMFreemind_Link_1030355543FM"><span style="">Some random characters</span></li></ul></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1022876700FM"><span style="">This id does not change as long as the database is not purged</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1712131488FM"><span style="">Per session another id is generated</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_439993942FM"><span style="">This is the SID (Session IDentifier)</span></li><li class="basic" style="" id="FMFreemind_Link_1215594894FM"><span style="">It is being distributed to the hubs</span></li><li class="col" style="" id="FMFreemind_Link_1633651159FM"><span style="">It stored together with the Hub-Id</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_651452439FM"><span style="">So other can validate bother together</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_789902518FM"><img src="Generic Object Sharing Protocol.html_files/icons/messagebox_warning.png" alt="messagebox_warning"/> <span style="">Logging should only enabled for debugging purposes</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_902328932FM"><span style="">Locking IPs or Hub-Ids on master-nodes is not planed</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1592412776FM"><span style="">Censorship would be to very easy</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_423578439FM"><span style="">Government agencies or enterprise parties</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_84092519FM"><span style="">Censhorship makes no sence here</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_514458550FM"><span style="">It can very easy be bypassed:</span></li><li class="col" style="" id="FMFreemind_Link_1221678941FM"><span style="">Delete Hub-Id in database</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_904836052FM"><span style="">A new one got generated</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1262635656FM"><span style="">Locked IP or port number can be bypassed by proxies</span></li><li class="col" style="" id="FMFreemind_Link_1619827292FM"><span style="">One or two master-hubs should listen on ports commonly unblocked by firewalls</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_709609072FM"><span style="">Like 80/443/110/25</span></li></ul></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_441713513FM"><span style="">Hubs can be optionally registered by master-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1200999421FM"><span style="">Increases karma because the hub admin is verified</span></li><li class="basic" style="" id="FMFreemind_Link_1617168424FM"><span style="">Unregistered hubs does not receive negative votings</span></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1339348415FM"><span style="font-size:133%;font-weight:bold;">Bootstrapping</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_453620216FM"><span style="">At least one, better 3 to 4, master-nodes are required</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_265648584FM"><span style="">Aka. "Bootstrap-Nodes"</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_854375254FM"><span style="">Bootstrap-Nodes are working stand-alone</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_882684293FM"><span style="">No central "Super-Node" is required</span></li><li class="basic" style="" id="FMFreemind_Link_1661888163FM"><span style="">Too much traffic would have to flow through it</span></li><li class="basic" style="" id="FMFreemind_Link_1121780060FM"><span style="">Attacks on the network by censorship are reduced</span></li><li class="basic" style="" id="FMFreemind_Link_924004535FM"><span style="">Traffic does not increase network-overall load</span></li><li class="col" style="" id="FMFreemind_Link_1573570415FM"><span style="">Small disadvantage:</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1018217993FM"><span style="">Hubs must register with ...</span></li><li class="basic" style="" id="FMFreemind_Link_665965725FM"><span style="">... more than one master-node ...</span></li><li class="basic" style="" id="FMFreemind_Link_1849172644FM"><span style="">.. or connect with each other</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_608191462FM"><span style="">Hub is fetching a list of other hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_195277951FM"><span style="">They must have at least X matching object types</span></li><li class="basic" style="" id="FMFreemind_Link_453619955FM"><span style="">Hashes of hub-lists should match</span></li><li class="col" style="" id="FMFreemind_Link_574241054FM"><span style="">If to much are inconsistent:</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1253336655FM"><span style="">No connect can happen</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1412643595FM"><span style="">Hub list is rejected</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1181650485FM"><span style="">Or the bootstrap-nodes are working as regular hubs</span></li><li class="basic" style="" id="FMFreemind_Link_1134140787FM"><span style="">Replication of the hub-list is required by all bootstrap-nodes</span></li></ul></li></ul></li></ul></li><li class="exp" style="" id="FM_FM"><span style="font-size:133%;font-weight:bold;">Karma</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_1190748575FM"><span style="">Karma is given for validating entries in the DHT</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_29494292FM"><span style="">Last activity in near past</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_254202732FM"><span style="">Does not affect karma</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_210971136FM"><span style="">Returned pings</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1680521907FM"><span style="">Amount of sent pings</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_689172908FM"><span style="">If no reply it got dead-listed</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_612939095FM"><span style="">Failed pings reduce karma</span></li><li class="basic" style="" id="FMFreemind_Link_45314722FM"><span style="">Slow responses reduce karma</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_538248067FM"><span style="">Karma voting for other hubs is not to negative</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_511404921FM"><span style="">Reduces manipulation chances</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_801930369FM"><span style="">Prefer karma votes of trusted hubs</span></li><li class="basic" style="" id="FMFreemind_Link_45612508FM"><span style="">Negative karma votings for untrusted karma reduce own karma</span></li></ul></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1507410448FM"><span style="">To much "spam packages" reduce karma</span></li><li class="basic" style="" id="FMFreemind_Link_993155795FM"><span style="">Validated packages increase karma</span></li><li class="col" style="" id="FMFreemind_Link_1606666417FM"><span style="">Protocol version should not be to old</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1094995324FM"><span style="">This affects karma only negativly</span></li><li class="basic" style="" id="FMFreemind_Link_344926416FM"><span style="">An up-to-date protocol does not increase karma</span></li><li class="basic" style="" id="FMFreemind_Link_473648942FM"><span style="">Does also serve as a "spam protection"</span></li><li class="col" style="" id="FMFreemind_Link_594554525FM"><span style="">Received protocol version of hub is older than stored</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_174968672FM"><span style="">Karma is reduced</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1682037492FM"><span style="">Received protocol version is much than from master-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1255846244FM"><span style="">Karma is reduced</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_1260923814FM"><span style="">Provided object types by the peer hub</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1973981672FM"><span style="">This affectes karma only negativly</span></li><li class="basic" style="" id="FMFreemind_Link_936683200FM"><span style="">New types must first be known by masters</span></li><li class="col" style="" id="FMFreemind_Link_965874760FM"><span style="">This should be configurable:</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1804987507FM"><span style="">Karma should be reduced...</span></li><li class="basic" style="" id="FMFreemind_Link_1719378455FM"><span style="">... or peer hub should be black-listed</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1318639621FM"><span style="">Because of every node can be a master-mode censorship is really hard</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1158753702FM"><span style="">Correctly logging</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_571936771FM"><span style="">Does not affect karma</span></li><li class="col" style="" id="FMFreemind_Link_526838799FM"><span style="">Logout must be done by master hub and active hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_961650790FM"><img src="Generic Object Sharing Protocol.html_files/icons/idea.png" alt="idea"/> <span style="">"Bye" message</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_548852073FM"><span style="">Rotating of dynamic IPs should be considered</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1811539187FM"><span style="">Must be registered by master-node</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_589306378FM"><span style="">ID is registered as "Dynamic IP"</span></li><li class="basic" style="" id="FMFreemind_Link_1377338623FM"><span style="">So connects are still possible</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1985410220FM"><span style="">No negative votings by other hubs</span></li><li class="col" style="" id="FMFreemind_Link_289837552FM"><span style="">Current IP does spread good in network</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_962702337FM"><span style="">Query of the master-node only in doubt</span></li></ul></li></ul></li></ul></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_831929021FM"><span style="font-size:133%;font-weight:bold;">Update Messages</span><ul class="sub"><li class="basic" style="" id="FMFreemind_Link_71881649FM"><span style="">Will only be broadcasted from bootstrap- to master- and list-nodes</span></li><li class="col" style="" id="FMFreemind_Link_774046685FM"><span style="">No hub will receive update messages due to heavy network load</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1204404067FM"><img src="Generic Object Sharing Protocol.html_files/icons/xmag.png" alt="xmag"/> <img src="Generic Object Sharing Protocol.html_files/icons/help.png" alt="help"/> <span style="">Maybe only "good" hubs should receive this?</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1584525818FM"><span style="">Contains update notes and importance level</span></li></ul></li><li class="exp" style="" id="FMFreemind_Link_168475853FM"><span style="font-size:133%;font-weight:bold;">"Client" Connections</span><ul class="sub"><li class="basic" style="" id="FMFreemind_Link_1154203316FM"><img src="Generic Object Sharing Protocol.html_files/icons/bell.png" alt="bell"/> <span style="">Should be interpreted as "application software"</span></li><li class="col" style="" id="FMFreemind_Link_1741675827FM"><span style="">Clients should also generate a "client id"</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_518254369FM"><span style="">Both id and sid</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_815708604FM"><span style="">Will also connect first to bootstrap-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_934296740FM"><span style="">Ask for a hub-list as well</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_480673349FM"><span style="">Do also receive karma from hubs</span></li><li class="basic" style="" id="FMFreemind_Link_692612491FM"><span style="">Dynamic IPs are also accepted and therefore must be registered</span></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1445979240FM"><span style="font-size:133%;font-weight:bold;">Client&lt;-&gt;Hub Communication</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_374257888FM"><span style="">After a client has bootstrapped it announces all it's object types to the hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1014689893FM"><span style="">Including acceptance of broadcasts, poll-mode and Ping-POST</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_730901168FM"><span style="">By this the hubs know clients and their accepted object types</span></li><li class="col" style="" id="FMFreemind_Link_1981646811FM"><span style="">Clients may download a hub-list for a specific object type</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_376278255FM"><span style="">Distinct-List-Mode</span></li><li class="basic" style="" id="FMFreemind_Link_481362981FM"><span style="">After selecting a hub the client can request a list of clients from that hub</span></li><li class="col" style="" id="FMFreemind_Link_1444901526FM"><span style="">From these clients the client can accept objects from and send to</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_423939808FM"><span style="">E.g. news by broadcast</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_619530506FM"><span style="">Clients may send "broadcast" objects</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_104270656FM"><span style="">Broadcast-Mode</span></li><li class="col" style="" id="FMFreemind_Link_187831566FM"><span style="">Must be allowed by hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_929863047FM"><span style="">This consumes traffic</span></li><li class="basic" style="" id="FMFreemind_Link_421479503FM"><span style="">Acceptance of broadcasts is known to list-/master- and bootstrap-nodes</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_20289741FM"><span style="">A client sends its broadcast to the master-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_751901694FM"><span style="">They are distribute it to their fellow hubs</span></li><li class="basic" style="" id="FMFreemind_Link_908440118FM"><span style="">A hub knows which client accepts broadcasts and "deposits" it for the client</span></li><li class="col" style="" id="FMFreemind_Link_1381761729FM"><span style="">Clients are requesting such broadcasts by poll-mode or are "pinged"</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_816499858FM"><span style="">In poll-mode the client asks on a regular basis at the hub for new broadcasts</span></li><li class="col" style="" id="FMFreemind_Link_1452667491FM"><span style="">A Ping-POST is being sent by the hub as a regular HTTP-POST request to the client</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_873242294FM"><span style="">This also happens on a regular basis</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1845481591FM"><span style="">A hub-admin may allow both types independly</span></li><li class="col" style="" id="FMFreemind_Link_1607423256FM"><span style="">If none is allowed the hub acts as a "relay"</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_297001287FM"><span style="">And therefore it cannot accept clients with broadcast-functionality enabled</span></li></ul></li></ul></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_144167856FM"><span style="font-size:117%;font-weight:bold;">Client-Client Communication</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1642758810FM"><span style="">May be done "anonymously" over the hub or directly with an other client</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1507061819FM"><span style="">Communication of the hub is done in poll-mode or by Ping-POST</span></li><li class="basic" style="" id="FMFreemind_Link_1390010744FM"><span style="">Direct client-client communication client "A" sends a Ping-POST directly to client "B"</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_1445364933FM"><img src="Generic Object Sharing Protocol.html_files/icons/xmag.png" alt="xmag"/> <img src="Generic Object Sharing Protocol.html_files/icons/desktop_new.png" alt="desktop_new"/> <span style="">Wrongly sent Ping-POSTs (e.g. the admin doesn't allow them) may be answered with a regular HTTP status '4XX'</span></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_329480665FM"><span style="font-size:133%;font-weight:bold;">Usage of low-level protocols</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_679379315FM"><span style="">Already existing low-level protocols like TCP/IP and UDP should be used</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1616250831FM"><span style="">TCP should be used for "inter-communication"</span></li><li class="col" style="" id="FMFreemind_Link_898295556FM"><span style="">UDP should be used for "streaming" the objects to other hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_401089184FM"><span style="">Parties are generating hashes of chunks for validation</span></li><li class="col" style="" id="FMFreemind_Link_947570234FM"><span style="">Chunks should only be created for very big objects</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_912553641FM"><img src="Generic Object Sharing Protocol.html_files/icons/xmag.png" alt="xmag"/> <img src="Generic Object Sharing Protocol.html_files/icons/messagebox_warning.png" alt="messagebox_warning"/> <span style="">Total object size is larger than X KByte</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1011335691FM"><span style="">The sender creates hashes and adds them to the chunk</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_64829706FM"><span style="">The receivers validates them</span></li><li class="basic" style="" id="FMFreemind_Link_1875786790FM"><span style="">No serial numbers a-la TCP are generated</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_99186455FM"><span style="">The last chunk package contains both hashes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_398290140FM"><span style="">Hash of itself and the final hash</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1741640397FM"><span style="">If a hash fails to validate it is being collected</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1930312770FM"><span style="">After the final chunk was sent, failed chunks a re-requested</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_681298548FM"><span style="">This is retried X times per hash</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1530992232FM"><span style="">But always at the end of the whole transaction and all together</span></li><li class="col" style="" id="FMFreemind_Link_766714583FM"><span style="">If still some hashes failed to transfer</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1262238289FM"><span style="">The object got dropped or fully requested</span></li><li class="basic" style="" id="FMFreemind_Link_1316903827FM"><span style="">This should be configurable by the admin</span></li><li class="col" style="" id="FMFreemind_Link_525157850FM"><span style="">To do so, the final hash and object type is submitted to the sender</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1316680608FM"><img src="Generic Object Sharing Protocol.html_files/icons/attach.png" alt="attach"/> <span style="">"Restransmit-Message"</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_9873596FM"><span style="">The sender is now trying smaller chunks</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_507679569FM"><span style="">If all was successfully received</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_566458700FM"><span style="">The receivers sends a "done-message" to the sender with final hash and object type</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_602435860FM"><span style="">There is also a "real" streaming mode</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1387836906FM"><span style="">This is e.g. used for chat</span></li><li class="basic" style="" id="FMFreemind_Link_1268993772FM"><span style="">For this TCP/IP is used and no hashes are generated</span></li><li class="basic" style="" id="FMFreemind_Link_602177505FM"><span style="">Also no chunks are generated</span></li><li class="basic" style="" id="FMFreemind_Link_191938147FM"><span style="">Only in this mode "multi-casting" is possible</span></li></ul></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1372827895FM"><span style="font-size:133%;font-weight:bold;">Fault Tolerance / Reliability</span><ul class="sub"><li class="col" style="" id="FMFreemind_Link_28699698FM"><span style="">After X failed connection attempts a hub got removed</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1795377892FM"><span style="">Other hubs report this to the master-node</span></li><li class="basic" style="" id="FMFreemind_Link_1595372369FM"><span style="">The master-node probes the failed hub and removes it</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_468909888FM"><span style="">Failed list-node</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_192209809FM"><span style="">Hubs are reporting it to the master-node</span></li><li class="basic" style="" id="FMFreemind_Link_933570791FM"><span style="">The master-node probes the failed list-node and removes it</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1309357086FM"><span style="">Failed master-node</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1228535079FM"><span style="">List-nodes takeover the role of a master-node if no bootstrap-nodes are available</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1324885722FM"><img src="Generic Object Sharing Protocol.html_files/icons/messagebox_warning.png" alt="messagebox_warning"/> <img src="Generic Object Sharing Protocol.html_files/icons/desktop_new.png" alt="desktop_new"/> <span style="">This takeover should not be entirely and should be defined</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_489546245FM"><span style="">If there is no list-node, hubs look for an active master-node</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_496844314FM"><span style="">They report the failed master-node to it</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1831877789FM"><span style="">If additionally no master-node is up, a hub will be elected as new master-node</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1473765417FM"><span style="">Doing so, all hubs are identifying the hub with...</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1849074808FM"><span style="">... the best karma</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1303674032FM"><span style="">This is known to many hubs</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1087780155FM"><span style="">... most votings</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_585981486FM"><span style="">A "vote" is a positive karma</span></li><li class="basic" style="" id="FMFreemind_Link_616335445FM"><span style="">Also known to many hubs</span></li></ul></li></ul></li><li class="basic" style="" id="FMFreemind_Link_341438028FM"><span style="">The "election" should take place within a specific timeout</span></li><li class="basic" style="" id="FMFreemind_Link_515853064FM"><span style="">If no election is happening the hub with most connections got elected</span></li></ul></li></ul></li><li class="col" style="" id="FMFreemind_Link_694830716FM"><span style="">If one of the bootstrap-nodes is up</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1701914366FM"><span style="">The elected hubs notifies a some of it's fellow hubs that the bootstrap-node is back</span></li><li class="basic" style="" id="FMFreemind_Link_561336762FM"><span style="">The elected hub becomes a regular hub and notifies other hubs on connection attempts</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1745751398FM"><span style="">Disadvantages:</span><ul class="subexp"><li class="col" style="" id="FMFreemind_Link_1189063074FM"><span style="">A new hub with only knowlege about the bootstrap-nodes may not be able to connect to the hubs</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1581407665FM"><span style="">Additional bootstrap-nodes on other server and/or continent may help here</span></li></ul></li></ul></li></ul></li><li class="exp" style="" id="FMFreemind_Link_1204819150FM"><span style="font-size:133%;font-weight:bold;">Object Types</span><ul class="sub"><li class="basic" style="" id="FMFreemind_Link_1961919735FM"><span style="">New object types are only addable by updating the software</span></li><li class="col" style="" id="FMFreemind_Link_188591190FM"><span style="">It also possible by 3rd-party</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_385578906FM"><span style="">Must be known by master/bootstrap-nodes</span></li></ul></li><li class="col" style="" id="FMFreemind_Link_1667260565FM"><span style="">Outdated object types are marked "deprecated" for a longer time</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_1936301650FM"><span style="">Master-nodes may accept or reject them</span></li><li class="basic" style="" id="FMFreemind_Link_505959038FM"><span style="">A "deprecation message" is always being sent</span></li><li class="basic" style="" id="FMFreemind_Link_1001362763FM"><span style="">A note of a required update can optionally be added</span></li></ul></li><li class="basic" style="" id="FMFreemind_Link_259217829FM"><span style="">After deprecation time they are treated as "unknown"</span></li><li class="col" style="" id="FMFreemind_Link_1228871005FM"><span style="">Other hubs should ask bootstrap-nodes</span><ul class="subexp"><li class="basic" style="" id="FMFreemind_Link_887331476FM"><span style="">This compensate errors made by master-nodes</span></li><li class="basic" style="" id="FMFreemind_Link_1450229897FM"><span style="">Wrongly deprecated object types by the master-node result in bad karma by the bootstrap-node</span></li></ul></li></ul></li></ul></li></ul></div></body></html>
\ No newline at end of file
index 764e4c1c49ac9bbc8cdbf105c4c5fb81a0318d04..b96725ddeae0d931e7a6b8c666e277078a4f2c68 100644 (file)
@@ -1,9 +1,9 @@
 <map version="0.8.1">
 <!-- To view this file, download free mind mapping software FreeMind from http://freemind.sourceforge.net -->
-<node CREATED="1236122299751" ID="Freemind_Link_1069566441" MODIFIED="1236122354932" TEXT="Generic Object Sharing Protocol">
-<font BOLD="true" NAME="Dialog" SIZE="18"/>
-<node CREATED="1236123417491" FOLDED="true" ID="Freemind_Link_1660540085" MODIFIED="1236819299996" POSITION="right" TEXT="Hub Identification">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236122299751" ID="Freemind_Link_1069566441" MODIFIED="1236899601270" TEXT="Generic Object Sharing Protocol">
+<font BOLD="true" NAME="Dialog" SIZE="20"/>
+<node CREATED="1236123417491" FOLDED="true" ID="Freemind_Link_1660540085" MODIFIED="1236899597347" POSITION="right" TEXT="Hub Identification">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236124236611" ID="Freemind_Link_780558731" MODIFIED="1236124257084" TEXT="Every hub generates an id string by random">
 <node CREATED="1236124483890" ID="Freemind_Link_1498010716" MODIFIED="1236124589043" TEXT="This is the Hub-Id (Hub Identifier)"/>
 <node CREATED="1236124257580" ID="Freemind_Link_458280781" MODIFIED="1236124263937" TEXT="Only on first use"/>
@@ -47,8 +47,8 @@
 <node CREATED="1236125114584" ID="Freemind_Link_1617168424" MODIFIED="1236125131976" TEXT="Unregistered hubs does not receive negative votings"/>
 </node>
 </node>
-<node CREATED="1236126779348" FOLDED="true" ID="Freemind_Link_1339348415" MODIFIED="1236819299995" POSITION="right" TEXT="Bootstrapping">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236126779348" FOLDED="true" ID="Freemind_Link_1339348415" MODIFIED="1236899597346" POSITION="right" TEXT="Bootstrapping">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236126838827" ID="Freemind_Link_453620216" MODIFIED="1236126858610" TEXT="At least one, better 3 to 4, master-nodes are required">
 <node CREATED="1236126861889" ID="Freemind_Link_265648584" MODIFIED="1236126877833" TEXT="Aka. &quot;Bootstrap-Nodes&quot;"/>
 </node>
@@ -75,8 +75,8 @@
 </node>
 </node>
 </node>
-<node CREATED="1236122378771" FOLDED="true" ID="_" MODIFIED="1236819299994" POSITION="right" TEXT="Karma">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236122378771" FOLDED="true" ID="_" MODIFIED="1236899597333" POSITION="right" TEXT="Karma">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236122492566" ID="Freemind_Link_1190748575" MODIFIED="1236122514559" TEXT="Karma is given for validating entries in the DHT">
 <node CREATED="1236122431646" ID="Freemind_Link_29494292" MODIFIED="1236122473199" TEXT="Last activity in near past">
 <node CREATED="1236122473708" ID="Freemind_Link_254202732" MODIFIED="1236122479111" TEXT="Does not affect karma"/>
 </node>
 </node>
 </node>
-<node CREATED="1236818932032" FOLDED="true" ID="Freemind_Link_1204819150" MODIFIED="1236819299997" POSITION="left" TEXT="Object Types">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
-<node CREATED="1236818952579" ID="Freemind_Link_1961919735" MODIFIED="1236818969501" TEXT="New object types are only addable by updating the software"/>
-<node CREATED="1236818987796" ID="Freemind_Link_188591190" MODIFIED="1236818998981" TEXT="It also possible by 3rd-party">
-<node CREATED="1236819000063" ID="Freemind_Link_385578906" MODIFIED="1236819012704" TEXT="Must be known by master/bootstrap-nodes"/>
-</node>
-<node CREATED="1236819026050" ID="Freemind_Link_1667260565" MODIFIED="1236819039189" TEXT="Outdated object types are marked &quot;deprecated&quot; for a longer time">
-<node CREATED="1236819040263" ID="Freemind_Link_1936301650" MODIFIED="1236819053202" TEXT="Master-nodes may accept or reject them"/>
-<node CREATED="1236819057430" ID="Freemind_Link_505959038" MODIFIED="1236819072713" TEXT="A &quot;deprecation message&quot; is always being sent"/>
-<node CREATED="1236819073435" ID="Freemind_Link_1001362763" MODIFIED="1236819086883" TEXT="A note of a required update can optionally be added"/>
-</node>
-<node CREATED="1236819096719" ID="Freemind_Link_259217829" MODIFIED="1236819111770" TEXT="After deprecation time they are treated as &quot;unknown&quot;"/>
-<node CREATED="1236819117510" ID="Freemind_Link_1228871005" MODIFIED="1236819187199" TEXT="Other hubs should ask bootstrap-nodes">
-<node CREATED="1236819188392" ID="Freemind_Link_887331476" MODIFIED="1236819200697" TEXT="This compensate errors made by master-nodes"/>
-<node CREATED="1236819213718" ID="Freemind_Link_1450229897" MODIFIED="1236819243856" TEXT="Wrongly deprecated object types by the master-node result in bad karma by the bootstrap-node"/>
-</node>
-</node>
-<node CREATED="1236819279117" FOLDED="true" ID="Freemind_Link_831929021" MODIFIED="1236819299998" POSITION="left" TEXT="Update Messages">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236819279117" FOLDED="true" ID="Freemind_Link_831929021" MODIFIED="1236899597332" POSITION="left" TEXT="Update Messages">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236819311945" ID="Freemind_Link_71881649" MODIFIED="1236819334898" TEXT="Will only be broadcasted from bootstrap- to master- and list-nodes"/>
 <node CREATED="1236819339152" ID="Freemind_Link_774046685" MODIFIED="1236819364243" TEXT="No hub will receive update messages due to heavy network load">
 <node CREATED="1236819365454" ID="Freemind_Link_1204404067" MODIFIED="1236819386873" TEXT="Maybe only &quot;good&quot; hubs should receive this?">
 </node>
 <node CREATED="1236819395918" ID="Freemind_Link_1584525818" MODIFIED="1236819442284" TEXT="Contains update notes and importance level"/>
 </node>
-<node CREATED="1236819472321" FOLDED="true" ID="Freemind_Link_168475853" MODIFIED="1236819487121" POSITION="left" TEXT="&quot;Client&quot; Connections">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236819472321" FOLDED="true" ID="Freemind_Link_168475853" MODIFIED="1236899597331" POSITION="left" TEXT="&quot;Client&quot; Connections">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236819488308" ID="Freemind_Link_1154203316" MODIFIED="1236819533272" TEXT="Should be interpreted as &quot;application software&quot;">
 <icon BUILTIN="bell"/>
 </node>
 <node CREATED="1236819612157" ID="Freemind_Link_480673349" MODIFIED="1236819634577" TEXT="Do also receive karma from hubs"/>
 <node CREATED="1236819638653" ID="Freemind_Link_692612491" MODIFIED="1236819657034" TEXT="Dynamic IPs are also accepted and therefore must be registered"/>
 </node>
-<node CREATED="1236819677106" FOLDED="true" ID="Freemind_Link_1445979240" MODIFIED="1236819691062" POSITION="left" TEXT="Client&lt;-&gt;Hub Communication">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236819677106" FOLDED="true" ID="Freemind_Link_1445979240" MODIFIED="1236899597329" POSITION="left" TEXT="Client&lt;-&gt;Hub Communication">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236898541254" ID="Freemind_Link_374257888" MODIFIED="1236898566531" TEXT="After a client has bootstrapped it announces all it&apos;s object types to the hubs">
 <node CREATED="1236898577202" ID="Freemind_Link_1014689893" MODIFIED="1236898596094" TEXT="Including acceptance of broadcasts, poll-mode and Ping-POST"/>
 </node>
 </node>
 </node>
 </node>
-<node CREATED="1236899269918" ID="Freemind_Link_144167856" MODIFIED="1236899276838" TEXT="Client-Client Communication">
-<font BOLD="true" NAME="Dialog" SIZE="12"/>
+<node CREATED="1236899269918" ID="Freemind_Link_144167856" MODIFIED="1236899586006" TEXT="Client-Client Communication">
+<font BOLD="true" NAME="Dialog" SIZE="14"/>
 <node CREATED="1236899286016" ID="Freemind_Link_1642758810" MODIFIED="1236899322515" TEXT="May be done &quot;anonymously&quot; over the hub or directly with an other client">
 <node CREATED="1236899328390" ID="Freemind_Link_1507061819" MODIFIED="1236899349464" TEXT="Communication of the hub is done in poll-mode or by Ping-POST"/>
 <node CREATED="1236899361363" ID="Freemind_Link_1390010744" MODIFIED="1236899393223" TEXT="Direct client-client communication client &quot;A&quot; sends a Ping-POST directly to client &quot;B&quot;"/>
 </node>
 </node>
 </node>
-<node CREATED="1236804847687" FOLDED="true" ID="Freemind_Link_1372827895" MODIFIED="1236819299996" POSITION="right" TEXT="Fault Tolerance / Reliability">
-<font BOLD="true" NAME="Dialog" SIZE="14"/>
+<node CREATED="1236899558200" FOLDED="true" ID="Freemind_Link_329480665" MODIFIED="1236899597327" POSITION="left" TEXT="Usage of low-level protocols">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
+<node CREATED="1236901514992" ID="Freemind_Link_679379315" MODIFIED="1236901534483" TEXT="Already existing low-level protocols like TCP/IP and UDP should be used">
+<node CREATED="1236901538901" ID="Freemind_Link_1616250831" MODIFIED="1236901554266" TEXT="TCP should be used for &quot;inter-communication&quot;"/>
+<node CREATED="1236901556582" ID="Freemind_Link_898295556" MODIFIED="1236901583267" TEXT="UDP should be used for &quot;streaming&quot; the objects to other hubs">
+<node CREATED="1236901610332" ID="Freemind_Link_401089184" MODIFIED="1236901640384" TEXT="Parties are generating hashes of chunks for validation"/>
+<node CREATED="1236901642356" ID="Freemind_Link_947570234" MODIFIED="1236901665725" TEXT="Chunks should only be created for very big objects">
+<node CREATED="1236901666398" ID="Freemind_Link_912553641" MODIFIED="1236901689135" TEXT="Total object size is larger than X KByte">
+<icon BUILTIN="xmag"/>
+<icon BUILTIN="messagebox_warning"/>
+</node>
+</node>
+<node CREATED="1236901692592" ID="Freemind_Link_1011335691" MODIFIED="1236901715605" TEXT="The sender creates hashes and adds them to the chunk">
+<node CREATED="1236901719921" ID="Freemind_Link_64829706" MODIFIED="1236901727014" TEXT="The receivers validates them"/>
+<node CREATED="1236901734931" ID="Freemind_Link_1875786790" MODIFIED="1236901754322" TEXT="No serial numbers a-la TCP are generated"/>
+</node>
+<node CREATED="1236901817636" ID="Freemind_Link_99186455" MODIFIED="1236901826666" TEXT="The last chunk package contains both hashes">
+<node CREATED="1236901827048" ID="Freemind_Link_398290140" MODIFIED="1236901839943" TEXT="Hash of itself and the final hash"/>
+</node>
+<node CREATED="1236901850065" ID="Freemind_Link_1741640397" MODIFIED="1236901891617" TEXT="If a hash fails to validate it is being collected">
+<node CREATED="1236901891984" ID="Freemind_Link_1930312770" MODIFIED="1236901909386" TEXT="After the final chunk was sent, failed chunks a re-requested"/>
+</node>
+<node CREATED="1236901915277" ID="Freemind_Link_681298548" MODIFIED="1236901923528" TEXT="This is retried X times per hash">
+<node CREATED="1236901937242" ID="Freemind_Link_1530992232" MODIFIED="1236901953148" TEXT="But always at the end of the whole transaction and all together"/>
+<node CREATED="1236901958504" ID="Freemind_Link_766714583" MODIFIED="1236901976592" TEXT="If still some hashes failed to transfer">
+<node CREATED="1236901976933" ID="Freemind_Link_1262238289" MODIFIED="1236901990294" TEXT="The object got dropped or fully requested"/>
+<node CREATED="1236901994695" ID="Freemind_Link_1316903827" MODIFIED="1236902002656" TEXT="This should be configurable by the admin"/>
+<node CREATED="1236902012089" ID="Freemind_Link_525157850" MODIFIED="1236902030267" TEXT="To do so, the final hash and object type is submitted to the sender">
+<node CREATED="1236902095145" ID="Freemind_Link_1316680608" MODIFIED="1236902127410" TEXT="&quot;Restransmit-Message&quot;">
+<icon BUILTIN="attach"/>
+</node>
+</node>
+<node CREATED="1236902035497" ID="Freemind_Link_9873596" MODIFIED="1236902042954" TEXT="The sender is now trying smaller chunks"/>
+</node>
+</node>
+<node CREATED="1236902048687" ID="Freemind_Link_507679569" MODIFIED="1236902057647" TEXT="If all was successfully received">
+<node CREATED="1236902061691" ID="Freemind_Link_566458700" MODIFIED="1236902086124" TEXT="The receivers sends a &quot;done-message&quot; to the sender with final hash and object type"/>
+</node>
+</node>
+<node CREATED="1236902139108" ID="Freemind_Link_602435860" MODIFIED="1236902146920" TEXT="There is also a &quot;real&quot; streaming mode">
+<node CREATED="1236902147315" ID="Freemind_Link_1387836906" MODIFIED="1236902152513" TEXT="This is e.g. used for chat"/>
+<node CREATED="1236902157513" ID="Freemind_Link_1268993772" MODIFIED="1236902221941" TEXT="For this TCP/IP is used and no hashes are generated"/>
+<node CREATED="1236902172714" ID="Freemind_Link_602177505" MODIFIED="1236902181106" TEXT="Also no chunks are generated"/>
+<node CREATED="1236902181913" ID="Freemind_Link_191938147" MODIFIED="1236902199404" TEXT="Only in this mode &quot;multi-casting&quot; is possible"/>
+</node>
+</node>
+</node>
+<node CREATED="1236804847687" FOLDED="true" ID="Freemind_Link_1372827895" MODIFIED="1236899597302" POSITION="right" TEXT="Fault Tolerance / Reliability">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
 <node CREATED="1236805031745" ID="Freemind_Link_28699698" MODIFIED="1236805057203" TEXT="After X failed connection attempts a hub got removed">
 <node CREATED="1236805060886" ID="Freemind_Link_1795377892" MODIFIED="1236805073614" TEXT="Other hubs report this to the master-node"/>
 <node CREATED="1236805074337" ID="Freemind_Link_1595372369" MODIFIED="1236805094304" TEXT="The master-node probes the failed hub and removes it"/>
 </node>
 </node>
 </node>
+<node CREATED="1236818932032" FOLDED="true" ID="Freemind_Link_1204819150" MODIFIED="1236899597325" POSITION="right" TEXT="Object Types">
+<font BOLD="true" NAME="Dialog" SIZE="16"/>
+<node CREATED="1236818952579" ID="Freemind_Link_1961919735" MODIFIED="1236818969501" TEXT="New object types are only addable by updating the software"/>
+<node CREATED="1236818987796" ID="Freemind_Link_188591190" MODIFIED="1236818998981" TEXT="It also possible by 3rd-party">
+<node CREATED="1236819000063" ID="Freemind_Link_385578906" MODIFIED="1236819012704" TEXT="Must be known by master/bootstrap-nodes"/>
+</node>
+<node CREATED="1236819026050" ID="Freemind_Link_1667260565" MODIFIED="1236819039189" TEXT="Outdated object types are marked &quot;deprecated&quot; for a longer time">
+<node CREATED="1236819040263" ID="Freemind_Link_1936301650" MODIFIED="1236819053202" TEXT="Master-nodes may accept or reject them"/>
+<node CREATED="1236819057430" ID="Freemind_Link_505959038" MODIFIED="1236819072713" TEXT="A &quot;deprecation message&quot; is always being sent"/>
+<node CREATED="1236819073435" ID="Freemind_Link_1001362763" MODIFIED="1236819086883" TEXT="A note of a required update can optionally be added"/>
+</node>
+<node CREATED="1236819096719" ID="Freemind_Link_259217829" MODIFIED="1236819111770" TEXT="After deprecation time they are treated as &quot;unknown&quot;"/>
+<node CREATED="1236819117510" ID="Freemind_Link_1228871005" MODIFIED="1236819187199" TEXT="Other hubs should ask bootstrap-nodes">
+<node CREATED="1236819188392" ID="Freemind_Link_887331476" MODIFIED="1236819200697" TEXT="This compensate errors made by master-nodes"/>
+<node CREATED="1236819213718" ID="Freemind_Link_1450229897" MODIFIED="1236819243856" TEXT="Wrongly deprecated object types by the master-node result in bad karma by the bootstrap-node"/>
+</node>
+</node>
 </node>
 </map>