ジェームズ＝マディソンの情報 （JamesMadison）
芸能人・有名人Wiki検索（誕生日、出身地）

ジェームズ＝マディソンのプロフィール Wikipedia（ウィキペディア）

ジェームズ・マディソン・ジュニア（James Madison, Jr.、1751年3月16日 - 1836年6月28日）は、アメリカ合衆国の政治家、政治学者であり、第4代アメリカ合衆国大統領（1809年 - 1817年）。ジョン・ジェイおよびアレクサンダー・ハミルトンと共にザ・フェデラリストを共同執筆し「アメリカ合衆国憲法の父」と見なされる。対外宣戦布告をした初の大統領であり、また戦災により首都から避難した唯一の大統領でもある。かつて流通していたアメリカ5000ドル紙幣にその肖像を見ることが出来る。

「アメリカ合衆国憲法の父」としてマディソンは憲法の主要な執筆者だった。1788年、ザ・フェデラリストの3分の1以上を執筆しており、これは今でも憲法に関する影響力ある解説になっている。アメリカ合衆国下院議員を務めたことでは最初の大統領でもあり、アメリカ合衆国議会第1会期ではその指導者として多くの基本的な法律を起草し、アメリカ合衆国憲法の最初の修正条項10か条（バージニア権利章典に基づいたと言われている）を起草し、その成立に尽力したので権利章典の父とも呼ばれている。政治理論家としてのマディソンの最も明確な信条は、新生間もない共和国が多数の専制から個人の権利を守るために抑制と均衡が必要ということだった。

マディソンはアメリカ合衆国下院の指導者として新しい連邦政府を組織化するためにジョージ・ワシントン大統領と密接に動いた。1791年にはアメリカ合衆国財務長官のアレクサンダー・ハミルトンと袂を分かち、トーマス・ジェファーソンと共に「共和党」（後の民主共和党）を創設した。この党は連邦党の主要政策、特に合衆国銀行とジェイ条約に反対した。1798年にはジェファーソンと共に匿名でケンタッキー州およびバージニア州決議案を書き、外国人・治安諸法に抗議した。

マディソンはジェファーソン政権の国務長官として、ルイジアナ買収を監督して国土を2倍にし、1807年の不運に見舞われた通商禁止法を提案した。大統領としてはイギリスに対する米英戦争を率いた。その戦中と戦後、その政治姿勢の多くを逆転させた。1815年までに第二合衆国銀行創設を支持し、強い軍隊および戦中に開業された新しい工場を守るための高関税を支持した。

妻はドリー・マディソン（第4代アメリカ合衆国のファーストレディ）。気前良くお金を遣った晩餐会を頻繁に開き、数多くの訪問客を快く接待したことから非常に人気が高かった。彼女の葬儀で当時のザカリー・テイラー大統領が「半世紀にわたり、まさに私達にとって第一級の女性（First Lady）であった」と言及したことがファーストレディの語源になったと言われている。邸宅を構えたモントピリアはアメリカ合衆国国定歴史建造物に登録されている。歴代大統領の中で一番小柄な人物で、身長は5フィート4インチ（約163センチメートル）、体重は100ポンド（約45キログラム）だった。

マディソンは1751年3月16日（ユリウス暦では1751年3月5日）、バージニア州キング・ジョージ郡ポートコンウェイで生まれた。12人兄弟の1番目であり、弟妹は9人が成長した。彼の両親ジェームズ・マディソン・シニア大佐（1723年3月27日 - 1801年2月27日）とエリナー・ローズ「ネリー」コンウェイ（1731年1月9日 - 1829年2月11日）夫妻はオレンジ郡にタバコのプランテーションを所有し、ジェームズは幼年期の多くをそこで過ごした。父はさらに資産を増やし、オレンジ郡では最大の土地（5,000エーカー、4平方キロメートル）所有者かつ指導的存在になった。母はポートコンウェイの著名な農園主かつタバコ商人の娘だった。両親は1743年に結婚していた。どちらもその息子に大きな影響を与えた。

マディソンには成長した3人の弟と6人の妹がいた。その弟妹達から30人以上の甥姪が生まれた。弟妹は以下の通り。

フランシス・マディソン（1753年 - 1800年）: オレンジ郡の農園主

アンブローズ・マディソン（1755年 - 1793年）: 農園主、バージニア民兵隊大尉、オレンジ郡の資産の面倒を見た、父方の祖父から名前を貰った

カトレット・マディソン（1758年 - 1758年）: 幼児に死亡

ネリー・マディソン・ハイト（1760年 - 1802年）

ウィリアム・マディソン（1762年 - 1843年）: 独立戦争古参兵、弁護士、バージニア州議会議員

サラ・カトレット・マディソン・メイコン（1764年 - 1843年）

無名（1766年）

エリザベス・マディソン（1768年 - 1775年）

無名（1770年）

ルーベン・マディソン（1771年 - 1775年）

フランシス・"ファニー"・マディソン・ローズ（1774年 - 1823年）

マディソンは11歳から16歳までキング・アンド・クィーン郡アイネス・プランテーションの教師だったドナルド・ロバートソンの教えを受けた。ロバートソンは南部州に多いスコットランド出身の教師だった。マディソンは数学、地理および現代と古典の言語を学んだ。特にラテン語は流暢に話すようになった。マディソンはその勉強好きを「大いにあの人（ロバートソン）」に負っていたと言っていた。

1767年、16歳の時にマディソンは、モントピリアでトマス・マーティン牧師についてカレッジに入るための2年間の学業を始めた。当時カレッジを志向する大半のバージニア人とは異なり、ウィリアム・アンド・メアリー大学を選ばなかった。なぜならばその大学のあるウィリアムズバーグの気候は彼の繊細な健康状態に合わない怖れがあったからだった。その代わりに1769年にプリンストン大学（当時はニュージャージー大学と呼ばれた）に入学した。

勤勉さと長時間の勉強でその健康を損ねた可能性はあるが、1771年に大学を卒業した。そこで学んだのはラテン語、古代ギリシャ語、科学、地理学、数学、修辞学および哲学だった。演説と討論にも非常な重きが置かれた。卒業後はプリンストンに留まってジョン・ウィザースプーン学長の下でヘブライ語と政治学を学んだ後、1772年の春にモントピリアに戻った。その後、ヘブライ語を完全にマスターした。散発的に法律を勉強したが、法廷弁護士にはならなかった。

マディソンは1794年9月15日に、現在のウェストバージニア州ジェファーソン郡で未亡人のドリー・ペイン・トッドと結婚した。マディソンは結婚後にドリーの連れ子ジョン・ペイン・トッドを養子にした。ドリーは、その両親のジョンとメアリー・コールズのペイン夫妻が短期間住んだノースカロライナ植民地のニューガーデンクェーカー開拓地で1768年5月20日に生まれていた。ドリーの姉妹ルーシー・ペインはワシントン大統領の甥であるジョージ・ステップトー・ワシントンと結婚していた。

マディソンは連邦議会議員として、当時国の首都だったフィラデルフィアの社交界でトッド未亡人と出会った可能性が強い。1794年5月、互いの友人であるアーロン・バーに紹介を頼むことで正式な付き合いを始めた。その出逢いからスムーズな交際に移行し、8月にはドリーがマディソンの求婚を受け入れた。ドリーは非クエーカー教徒であるマディソンと結婚することでクエーカー教からは追放された。

夫婦は幸せな結婚生活を送っていることが知られていた。ドリー夫人との結婚後は「まるで葬式に行く男のようだ」と言われていたマディソンも彼女と一緒に大いに社交を楽しむようになった。演説する際にはドリー夫人は演壇に向かうマディソンに付き添ってきて最前列に座り、耳を傾けてくれた。1808年大統領選挙でマディソンに敗れたチャールズ・コーツワース・ピンクニーは「マディソン夫妻に負けた。マディソンだけなら、勝てただろうに･･･」と嘆いたと言われている。マディソンは当初からこの妻を誇りにし、ドリー夫人も「愛しい小さな夫」に献身的であった。

マディソンは若き弁護士として、イングランド国教会からの免許を受けずに説教をしたことで逮捕されたバプテストの説教師達を弁護した。さらに説教師エライジャ・クレイグと共にバージニアにおける信教の自由を憲法で保障するために動いた。そのような事例で活動することで、信教の自由に関する概念を作り上げるために効果があった。マディソンは1776年から1779年にバージニア邦議会議員を務め、トーマス・ジェファーソンの弟子として知られるようになった。バージニア信教の自由法の起草を手伝い、バージニア政界で名声を得た。この法はイングランド国教会を非国教化し、宗教的事項について州の強制権限を排除するものだった。パトリック・ヘンリーが考えた市民にその選択する宗教会派に献金することを強制する案を排除した。

マディソンの従兄弟ジェームズ・マディソン主教（1749年 - 1812年）が1777年にウィリアム・アンド・メアリー大学の学長になった。マディソン主教はマディソンやジェファーソンと共に密接に動いて、この大学をイギリスとイングランド国教会の双方から分離させるという難しい変化を通じて指導することに貢献した。さらに大学と州を指導して独立戦争後にバージニア聖公会教区を形成することになった。

マディソンはバージニアが北西部領土に対する領有権主張を放棄して連合会議に渡すよう説得した。北西部領土とは現在のオハイオ州、インディアナ州、イリノイ州、ミシガン州およびウィスコンシン州の大半と、ミネソタ州の一部であり、1783年の北西部条例で形成された。バージニアの領有権主張は、コネチカット州、ペンシルベニア州、メリーランド州およびその他の州からの領有権主張と一部重なるところがあった。これら全ての州が、新しい国家はこれまでと同様土地から造られるという理解の元にその西方の土地を割譲した。マディソンは1780年から1783年まで大陸会議（1781年から連合会議）の代表となり、立法の推進役と議会における連衡形成の達人と見なされた。1784年から1786年には再度バージニア邦議会議員に選出された。

マディソンは独立戦争が終わるころにバージニア邦議会に戻った。間もなく、連合規約の脆弱さ、特に邦政府間の不和に気付くようになり、新しい憲法の制定を強く提唱した。1787年のフィラデルフィア憲法制定会議では、マディソンが起草したバージニア・プランと三権分立による革新的連邦制度が今日のアメリカ合衆国憲法の基礎となった。マディソンははにかみやだったが、連合会議では発言の多い方の代議員の一人だった。マディソンは各邦の行動が誤りと考えられるときは連邦政府がそれを却下できるという強い中央政府を考えた。後の人生でアメリカ合衆国最高裁判所がその役割を果たすようになったことで、それを称賛するようになった。

マディソンはアメリカ合衆国憲法の批准を奨励するために、アレクサンダー・ハミルトンやジョン・ジェイと組んで、1787年と1788年に『ザ・フェデラリスト』という論文を書いた。マディソンの書いた論文の中でも第10編では、如何に多くの異なる利益と派閥がある大きな国が、数少ない特定の利益によって動かされる小さな国よりも共和制の価値を支えられるかを説明した。その解釈は当時はほとんど無視されたが、20世紀に入ってアメリカ政界の多元論解釈の中心部分になった。

バージニアでは1788年にマディソンが憲法批准会議で批准に向けた戦いを率い、パトリック・ヘンリーなどの批准前にその修正（権利章典の追加など）を求める勢力と議論を交わした。マディソンはその起草と批准で果たした役割のために「アメリカ合衆国憲法の父」と呼ばれることが多い。しかし、彼はその呼び方について「その功績について私は主張しない...憲法は伝説的な知恵の女神と同様、単一の知力から生まれたものではない。多くの頭脳と多くの手による作品と見なされるべきである」と言って抗議した。

マディソンはニューヨーク州の憲法批准会議に出ているハミルトンに宛てて「批准は『全体として』行われ『永久の』ものである」という意見を述べる手紙を送った。バージニアの憲法批准会議は拒絶よりも悪い条件付批准と考えられてきた。

マディソンは当初「権利の具体的条項は、憲法そのものが権利の条項なので不要なままである」と断固主張した。権利の具体的条項には3つの反対理由があった。

連邦政府が認められていない権限に対して守ると言われているので不要である。

幾つかの権利を列挙することは他の権利の欠如を示唆するように解釈されるかもしれないので危険である。

州のレベルで、権利章典は政府の権限に対して無用な紙の障壁になることが分かった。

しかし、反連邦党論者は権利章典を憲法批准の交換条件として要求した。

パトリック・ヘンリーはマディソンをアメリカ合衆国上院の初代議員の一人として選ばないようバージニア州議会を説得したが、マディソンは直接アメリカ合衆国下院議員に選出され、第1会期（1789年）から第4会期（1797年）までその重要な指導者になった。

大衆は新しい国中で200以上の提案を提出した。マディソンは政府の構造的変革を要求するような提案は無視し、残りの提案を統括して言論の自由、大衆が武器を所有する権利、およびヘイビアス・コーパス（人身保護令状）のような市民権の保護のためのリストに入れた。1788年時点では権利章典を支持するか曖昧だったが、1789年6月に一括して12の憲法修正条項を提案した。マディソンはその政治姿勢の変更を完了させ、提案した修正条項を認めさせるために「同僚達には執拗に協力を求めた」。

1791年までにマディソンが提案した修正条項のうち後の方の10か条が批准され権利章典となった。彼の意思とは逆に権利章典は憲法の本体には組み入れられず、修正第14条と第15条が成立して州の権限を制限するまで各州には適用されなかった。マディソンが当初提案した修正第2条（アメリカ合衆国議会議員の報酬）は当時は批准されず、1992年に修正第27条として批准された。修正第1条は下院議員の数を将来増やすことを意図したものだった。

マディソンの議員時代を特徴付けるものは連邦政府の権限を制限するために動いたことだった。歴史家のウッドはマディソンが積極的な役割を担う中央政府を望むことはなかったと主張した。アレクサンダー・ハミルトンやジョージ・ワシントンが「貴族制を伴う真に近代ヨーロッパ風の政府、常備軍および強力な独立した行政府」を作ろうとしていることを認めて恐れた。

1793年にイギリスとフランスが開戦したとき、アメリカ合衆国は両国の板ばさみになった。1778年に結んだフランスとの同盟条約はまだ生きておりながら、新生間もないアメリカの貿易の大半はイギリスとのものだった。1794年にイギリスがフランス植民地との貿易を行っていたアメリカ商船数百隻を捕獲したとき、イギリスとの戦争が避けられないように思われた。マディソンは、一時的に公的生活から身を引いていたジェファーソンとの協業の中で、イギリスは弱くアメリカは強いと考え、イギリス政府からの報復という怖れはあるが、イギリスとの貿易戦争は恐らく成功するものと信じ、そうすればアメリカがその独立を完全に果たせるようになると考えた。イギリスに対し、「商業的足かせを我々に強制し、我々の独立という目標をほとんど打ち破ろうとしている」と非難した。歴史家のバーグが説明するように、マディソンはイギリスから「彼の国の勢力はほとんど死に体であるのに対し我が国のものは不死身である」と逆襲されることを恐れなかった。イギリス領西インド諸島はアメリカからの食糧が無ければ存続できないが、アメリカはイギリスの工業製品が無くても容易に生きて行けたはずである。この考え方で、「今は我々の方に力があり、そのうちに独力で商業に必要なもの全てを供給できるようになる」という結論になった。しかし、ジョージ・ワシントンは貿易戦争を避け、その代わりに1794年のジェイ条約によってイギリスとの友好的貿易関係を作った。この条約をマディソンは否定しようとしたが失敗した。国中の有権者はジェイ条約やその他重要案件の肯定と否定で別れ、このことが連邦党と民主共和党という第1政党システムの形成に繋がった。

アメリカ合衆国財務長官のアレクサンダー・ハミルトンは連邦党となる国中の支持者のネットワークを作り上げ、第一合衆国銀行で強い中央政府を促進した。マディソンとジェファーソンは連邦党に対抗するために民主共和党を結成した。マディソンは、新しい憲法では銀行を造る明確な権限を連邦政府に与えていないと主張して、ハミルトンの進める第一合衆国銀行創設を止めようとしたが成功しなかった。

多くの歴史家はマディソンが1787年から1788年に全国的な組織を指向するハミルトンとの同盟者だった時点から、1795年までに強い中央政府への対抗者として州の権限を志向する方向に急激に変化し、さらに大統領になったときは元の見解に戻ったことを指摘している。マディソンはハミルトンに対抗することで初めの移行を始め、1793年までにワシントンにも対抗していた。マディソンは、合衆国銀行、州債と国債の制度、およびジェイ条約を含めハミルトンの提案成立について多く破れた。マディソンは高関税の提案を止めることは成功した。

マディソンの政策は1812年の米英戦争のときに弱い中央政府の存在を認識するまでジェファーソンと密接に動いていたが、この戦争をきっかけに国を守るために強い中央政府の必要性を認識するようになった。その後は合衆国銀行、より強い海軍、および常備軍の支持を始めた。しかし、ランス・バニングやゴードン・S・ウッドのような歴史家達はマディソンの見解の連続性を見ており、1792年のような急激な展開ではないとしている。

ジェファーソン政権が面した大きな課題は、ほとんど常に交戦状態にあるイギリスとフランスという大帝国の間での通商だった。最初の偉大な勝利は1803年のルイジアナ買収だった。フランスのナポレオン・ボナパルトはミシシッピ川以西の広大な領域（フランス領ルイジアナ）を守ることは出来ないと認識し、そこをイギリスに渡さないことがフランスの利益に繋がると考えたときにこれがなった。マディソンとジェファーソン大統領は党の政策をひっくり返して買収工作に入り、議会の承認も勝ち取った。マディソンはイギリスとフランスの間で中立を保とうとしたが、同時に国際法の下でアメリカ合衆国の法的権利にも固執した。しかしロンドンもパリもそれに敬意を払わなかった。マディソンとジェファーソンはイギリスとフランスを罰するためにアメリカ商人が如何なる外国とも貿易することを禁じる通商禁止を行うことに決めた。この通商禁止法は外交政策としては失敗し、その代わりに外国貿易に頼っていた南部海岸地域に大きな苦難を強いることになった。

マディソンは国務長官である間に「マーベリー対マディソン事件」で最高裁判決に与した。これは連邦の上位裁判所での違憲審査制原理を肯定したものだった。

1808年の民主共和党議員総会で、マディソンは大統領選挙の候補者に選出され、ジェファーソン人気の威光に乗って容易に連邦党のチャールズ・コーツワース・ピンクニーを破って当選した。連邦議会はマディソンが就任した時に通商禁止法を撤廃した。

第一合衆国銀行の公認期間20年間が、マディソン政権の2年目である1811年に切れることになっていた。マディソンは1791年にこの銀行の設立をとめられなかったので、その公認が切れるのを待っていた。財務長官のギャラティンはこの銀行を再認定することを望んでおり、1812年に米英戦争が勃発したときに、銀行なくして戦争の費用を賄うことの難しさを認識した。ギャラティンの後継者であるアレクサンダー・J・ダラスは1814年に銀行の再設立を提案したが、マディソンは1815年にこの法案を拒否した。しかし、1815年後半になってマディソンは新しい銀行設立を議会に求め、ジョン・カルフーンやヘンリー・クレイのようなより若く国家主義的な民主共和党員、さらには連邦党員のダニエル・ウェブスターに強く支持された。マディソンは1816年に第二合衆国銀行設立法案に署名して、ウィリアム・ジョーンズをその頭取に指名した。

イギリスの侮辱は続いていた。特にイギリス海軍の艦船が武装していないアメリカの商船を捕まえ、イギリス海軍の任務に就かせることのできる水夫を全て強制徴募した。マディソンの抗議はイギリスから無視されたので、愛国者共和党員に西部と南部の世論を喚起させて戦争に導いた。いわゆる「タカ派」による主張はアメリカによるイギリス領カナダの侵略が容易であり、良い交渉材料になるというものだった。マディソンは当時の誰もが「マディソン氏の戦争」と呼ぶものに慎重に世論を盛り上げたが、陸軍、海軍、砦および州兵を作るだけの時間と金に余裕が無かった。マディソンは開戦について議会を説得した後、1812年アメリカ合衆国大統領選挙で対抗馬デウィット・クリントンに対して勝利して再選されたが、1808年の時よりも票差が詰まっていた。2006年に行われた歴史家による歴代大統領評価では、マディソンが戦争回避に失敗したことで大統領の犯した誤りの悪いほうから6番目に位置付けた歴史家もいた。

それに続く米英戦争の中で、イギリスとカナダ人および同盟ファースト・ネーション（インディアン）が多くの勝利を収めた。その中にはアメリカの将軍が戦わずして自軍より小さな部隊に降伏したデトロイト砦の占領や、マディソンがワシントンD.C.から逃亡し、イギリス軍からホワイトハウスに火をつけられる目にあったワシントン焼き討ちもあった。このワシントン焼き討ちはアメリカ軍がアッパー・カナダのヨーク（現在のトロント）に侵入したことの報復だった。アメリカ軍は2度市内を占領し、アッパー・カナダの議会議事堂を焼いていた。イギリスは西部のアメリカ・インディアンも武装させた。その中でもテカムセとその追随者が著名だが、テカムセはテムズの戦いで破れた。アメリカは五大湖地方でイギリスよりも早く艦隊を作り上げ、オリバー・ハザード・ペリーがイギリス艦隊を破って、イギリス軍による1814年のニューヨーク侵入を阻止した。大西洋上ではイギリス艦隊が海岸線全体を封鎖し、外国との貿易はおろか港間の国内交易も遮断した。ニューイングランドでの経済状況は大変厳しいものだったが、企業家が工場を建設し、それが間もなくアメリカにおける産業革命の基盤になった。

マディソンは大変な逆境に直面した。すなわち分裂した内閣、派閥争いをする党、抵抗する議会、妨害する知事達、さらには無能な将軍達であり、民兵たちは自州から外に出て戦うことを拒んだ。最も深刻だったのは一貫して大衆の支持を得られなかったことだった。カナダとは大量の密輸があったニューイングランドからは戦争への財政的支援や兵士の提供について拒絶があり、脱退の脅しもあった。しかし南部のアンドリュー・ジャクソンや西部のウィリアム・ハリソンは1813年までにインディアンによる大きな脅威を潰していた。

1814年にナポレオンの敗北が明白になった後で、戦争への疲弊感から終戦につながっていった。イギリスもアメリカも戦争継続に疲れており、戦争の大義は忘れられ、インディアン問題は時の経過と共に解決され、停戦する時期が来ていた。しかし、ニューイングランドの連邦党員は連邦からの脱退を議論した敗北主義的ハートフォード会議を開いていた。1815年のガン条約で戦争が終わった。両国共に戦争前の状態に戻すことに同意したので、領地の獲得は無かった。アンドリュー・ジャクソンがイギリス正規軍を破ったニューオーリンズの戦いは条約が署名された15日後だが、その報せがニューオーリンズまで届く前に起こった。

国内からは「無用な戦争」だったという批判もあったが、この戦争の間にイギリス製品の流入がとだえたことによるイギリス経済からのアメリカの自立を促し、国民のイギリスからの文化的・精神的独立を果たしたといえる。和平が最終的になって、アメリカ合衆国はイギリスから確固とした独立を確保したという感覚に覆われた。連邦党は崩壊し、最後は政界から消えて、好感情の時代が現出すると共に、政治的論戦は確かに続いたものの政治的恐怖や脅威は低いものになった。

マディソンはハミルトン支持者の国営銀行、関税に基づく効果的税収制度、常備の職業的軍隊と強い海軍の必要性を認めたが、財務長官アルバート・ギャラティンの提唱する内国改良には一定の線を引いた。マディソンは大統領職から身を引く前の仕事として、道路、橋および運河を含む「内国改良」法案を、州の権限という考え方を元に拒否した。

マディソンは議会の見解である課税と歳出条項の一般の福祉規定がこの法案を正当化するというものを拒否し、次のように言った。

マディソンは「我々の拡張された連邦の様々な場所を密接に束ねる」ことになる道路と運河への連邦政府支援を含め、「国家権力の下で実行されるべき最良のこと」と考えられる様々な手段を推奨した。

第二次バーバリ戦争は、地中海における海賊国に貢物を贈るという習慣を決定的に終わらせ、その地域における海賊の時代の終焉を始めさせることになった。

ガブリエル・デュバル - 1811年

ジョセフ・ストーリー - 1812年

マディソンはその他11人の裁判官を指名した。このうち2人はワシントンD.C.地区巡回裁判所の判事であり、9人は様々な地区裁判所の判事だった。このうち1人は同じ裁判所の異なる職責に2度指名された。

ルイジアナ州 – 1812年4月30日

インディアナ州 – 1816年12月11日

マディソンは1817年に大統領を辞めると、バージニアにある自分ののタバコ・プランテーション、モントペリエに隠棲した。そこはジェファーソンのモンティチェロからそれほど離れていなかった。マディソンは64歳になっていた。妻のドリーは49歳であり、遂に二人でパリへ旅するチャンスが訪れたと考えた。ワシントンやジェファーソンと同様にマディソンは大統領になった時よりも辞めたときの方が貧乏になっていた。これはそのプランテーションが少しずつ財政的破綻に向かっていたためだった。歴史家の中にはマディソンの累積する負債がその憲法制定会議でのノート、すなわち彼が所有する公式記録を生きている間に出版することを拒んだ主要理由の一つと推量する者がいる。「かれはそのノートの価値を知っており、そのプランテーションが失敗したときにドリーが使えるよう、その資産に金をもたらしてくれることを望んだ。すなわち彼はそのノートが宝石である文書の販売で数十万ドルを期待していた。」マディソンの財政的トラブルと精神と肉体の健康の悪化が彼を消耗させ続けることになった。

後年、マディソンはその遺産について極度に関心を抱くようになった。所有している手紙などの文書の修正に乗り出し、日付を変え、言葉や文を付加、削除し、その性格を変えた。70歳後半に達する時までに、この「加工」は執念に変わった。このことはジェファーソンに宛てたラファイエットを批判する手紙を編集したことで見ることができる。マディソンは元々の文章を消しただけでなく、ジェファーソンの筆跡を真似することまでやった。マディソンの心の中では、このことが自身を明らかにすることを意味し、歴史と彼自身に対してその行動を正当化することだった可能性がある。

ジェファーソンの死後の1826年、マディソンはジェファーソンの後を継いでバージニア大学の第2牧師（学長）になった。これが最後の役職になった。マディソンの死ぬ1836年まで10年間、学長の地位に留まった。

1829年、78歳のとき、マディソンはバージニア州憲法を改訂するためのリッチモンド憲法会議で代議員に選ばれた。これはマディソンの立法者としておよび憲法起草者として最後の登場場面だった。この会議で最重要な問題は議員の議席配分だった。州憲法では議席配分を人口で選挙区に割り振っているが、選挙権の無い奴隷を含めた人口で計算しているために、州西部の地域は割り振りが足りないという不平を持っていた。州西部の者はほとんど奴隷を所有しておらず、東部の農園主は多くの奴隷を持っていたために東部の白人は西部の白人よりも票の重みが大きかった。マディソンはその全盛期に「偉大な立法者」として知られており、アメリカ合衆国憲法で使われているような奴隷人口の4分の3を勘定に入れるという妥協案を持ち出そうとしたが、うまく行かなかった。最終的に東部の農園主が勝った。奴隷人口はその主人の地区人口に参入され続けることになった。マディソンはバージニア人がもっと公平にこの問題を解決できなかったことに心を砕かれた。「1829年の会議は、絶望とまでは行かなくとも、マディソンを自己欺瞞の崖っぷちまで着実に追い込んだ。奴隷制の難問が彼を苛んだ。」彼の健康状態はこのとき相当に悪化していたが、連邦議会や軍隊に牧師を指名することに反対する随筆など政治的課題に関する幾つかのメモを作成することができた。この課題は宗教を排除できたが政治的な調和を生まなかったからだった。

マディソンは1836年まで生き、次第にアメリカの政治機構の新しい指導者達から無視されるようになっていた。この年の6月28日、建国の父の最後の生き残りとしてモントピリアで死んだ。モントピリアにあるマディソン家墓地に埋葬されている。マディソンの使用人を長年務めたポール・ジェニングス（英語版）は「ろうそくの火が消えるように静かに呼吸を停止した」と死の状況を説明した。また、ドリー夫人は最愛の夫の死が「取り返しの付かない損失」であったとして親しい友人に苦しみを打ち明けている 。

LIFE誌が1999年に選んだ「この1000年で最も重要な功績を残した世界の人物100人（うちアメリカ人と分類されたのは22人）」に選ばれている。

遺産

歴史家のゲーリー・ウィルズは次のように記した。

多くの郡、幾つかの町と都市、教育施設、山脈および川がマディソンに因んで名付けられている。

マディソン郡 - アメリカ合衆国で21のマディソン郡がある。

都市、例えばウィスコンシン州の州都マディソン

ジェームズ・マディソン・カレッジ、ミシガン州立大学の社会政策と国際関係の専修カレッジ

ジェームズ・マディソン大学、バージニア州ハリソンバーグにある、その運動競技チームはジェームズ・マディソン・デュークスと呼ばれる。

ジェームズ・マディソン・インスティチュート、フロリダ州の州都タラハシーにある、憲法制定への貢献を称えて名付けられた。

マディソン山脈、アイダホ州、1805年にモンタナを通って旅したルイス・クラーク探検隊のメリウェザー・ルイスによって、当時国務長官だったマディソンに因んで名付けられた。

マディソン川、モンタナ州南西部、1805年にルイス・クラーク探検隊によって名付けられた。

マディソン山、ニューハンプシャー州ホワイト山地のプレジデンシャル山脈にある。

アメリカ海軍では、原子力潜水艦USSジェームズ・マディソンと3隻のUSSマディソンと名付けられた艦船があった。

マディソンの肖像画はアメリカ合衆国5000ドル紙幣に使われた。

マディソン・スクエア・ガーデンとマディソン自転車競技

マディソンの死後3年経って、当時ニューヨーク市北端の出発点だった場所にロッジが建てられ、近年亡くなった第4代大統領に因んでマディソン・コテージと名付けられた。マディソン・コテージのあった場所は市の歴史を通じて重要な交差点となり、その解体後に公園となってマディソン・スクエアと名付けられ、今日も残っている。マディソン・スクエアは続いてマディソン街やマディソン・スクエア・ガーデンの名前を生んだ。マディソン・スクエア・ガーデンは最初にできた場所の名前を採ったものである。マディソン・スクエア・ガーデンは著名な自転車レース会場であり、その競技場に因んで名付けられた自転車トラック競技に人気を呼んだ。マディソン競技は今日でもオリンピックの競技種目となっている。