קנון נולד באלסברי שבמיזורי ב-11 באפריל 1879, והיה בנם של ג'ון רנדולף קנון, חקלאי וסוחר, ואידה גלובינה וייטסייד, צאצאית של משפחות קמפר וג'רמניה. הוא התחנך ברוח כפרית-דרומית, ונשאר כל חייו נאמן לזרם הבפטיסטי הדרומי ולמפלגה הדמוקרטית. הוא האמין בעליונות אורח החיים החקלאי והערכים של עיירות קטנות.

בשנת 1901 השלים את לימודיו במכללת לה-גראנג' (כיום Hannibal-LaGrange College), ובהמשך למד במכללת ויליאם ג'ול בליברטי, מיזורי, שם סיים בשנת 1903. בשנת 1908 השלים לימודי משפטים באוניברסיטת מיזורי.

לאחר שעבד כמורה וכמנהל בית ספר, שימש כמרצה להיסטוריה בקולג' סטיבנס בקולומביה בין השנים 1904–1908. בהמשך למד משפטים במקביל לעבודתו, הוסמך לעריכת דין והחל לעסוק בכך בטרוי שבמיזורי, ובהמשך חזר לעיר הולדתו אלסברי.

בשנת 1906 נישא לאידה דוסון וויגינטון, ולזוג נולדו שתי בנות. רעייתו שימשה גם כיועצת פוליטית קרובה לאורך הקריירה שלו, ואף ניהלה עבורו פעילות קמפיין ברחבי צפון-מזרח מיזורי בעוד הוא שהה בוושינגטון.

קנון נכשל בשתי התמודדויותיו הראשונות לתפקידים מקומיים, אך דרכו השתנתה כאשר חבר הקונגרס צ'אמפ קלארקמינה אותו למזכירו האישי בשנת 1911. לאחר שקלארק נבחר ליושב ראש בית הנבחרים, הפך קנון לדמות קרובה למוקדי הכוח בוושינגטון. בהמשך שימש כפקיד היומן של בית הנבחרים בין השנים 1914–1917, וכפרלמנטר הבית בין השנים 1917–1920. הוא נחשב למומחה מוביל בסדרי הפרלמנט, ופרסומיו בתחום הפכו לספרי יסוד, ובהם "Procedure in the House of Representatives" ו-"Cannon's Precedents".

בשנת 1922 נבחר לבית הנבחרים של ארצות הברית, וכיהן בו ברציפות עד מותו. במקביל שימש גם כפרלמנטר של הוועידה הדמוקרטית הלאומית עד 1960.

קנון נודע כתומך מרכזי בחקלאים ובאינטרסים חקלאיים. הוא קידם תוכניות תמיכה במחירי תוצרת חקלאית, הלוואות חקלאיות פדרליות, ותוכניות שימור קרקע ובקרת שיטפונות. אחד הפרויקטים המרכזיים הקשורים בשמו הוא סכר קנון בצפון-מזרח מיזורי, שהוקם בסיועו. הוא גם מילא תפקיד מרכזי בהקמת תוכנית החשמל הכפרי ובמימון מחקר חקלאי ממשלתי.

עם זאת, במקביל לתמיכתו בחקלאות, נודע כ"שמרן תקציבי" שהתנגד להוצאות פדרליות מופרזות. כיושב ראש ועדת ההקצבות משנת 1941 ועד מותו (למעט תקופות של שליטה רפובליקנית בבית), קרא לצמצום הוצאות הצבא לאחר מלחמת העולם השנייה, התנגד לסיוע חוץ, ולעג לתוכנית החלל וכינה אותה "moondoggle".

לעיתים נודע כאדם תקיף ואף נוקשה. הוא הסתבך בעימותים פיזיים ומילוליים עם חברי קונגרס אחרים, ונודע בסגנון דיבור חריף וסאטירי.

בנושאי זכויות אזרח לא חתם על המנשר הדרומי של 1956, והצביע בעד חוקי זכויות האזרח של 1957, 1960 ו-1964, אך נמנע בהצבעה על התיקון ה-24 לחוקת ארצות הברית.

קנון נפטר מאי-ספיקת לב בוושינגטון די. סי. ב-12 במאי 1964. הוא כיהן במשך 41 שנים בקונגרס והותיר חותם משמעותי הן כמייצג אזורי חקלאי והן כמומחה מרכזי להליכי פרלמנט.

מורשתו כוללת כתבים חשובים על סדרי העבודה של בית הנבחרים, כהונתו כעוצר במוסד הסמית'סוניאן, ופרויקטים פדרליים רבים במיזורי. על שמו נקראו בין היתר סכר קנון, שמורת טבע לאומית, ומוסדות חינוך וספורט באזור.