In den Tagen um etwa 1180 hatten sich im Wald von Eiberg fromme Männer um den Einsiedler Heinrich geschart. Sie bauten eine Kapelle. Menschen aus nah und fern suchten bei den Waldbrüdern, zu denen sich auch ein Priester gesellt hatte, Trost und Hilfe. Markgraf Heinrich von Ursin-Ronsberg schenkte ihnen den Wald von Eiberg und erbat sich aus dem Kloster Isny den Mönch Wernher als Vorsteher für die Gemeinschaft, die nun nach der Regel des heiligen Benedikt leben sollte. Damit war das Kloster Irsee 1182 gegründet. Obwohl eine Urkunde über diese Stiftung wohl nie ausgestellt wurde, gilt dieses Jahr als das Gründungsjahr von Kloster und Ort. Im Jahr 1185 überließ Markgraf Heinrich den frommen Brüdern die längst verlassene Stammburg Ursin oben am Berg. Schon wenige Jahre später beschlossen die Mönche unter ihrem ersten Abt Cuono einen Neubau im Tal, wo ihnen das Wasser zufloss, statt es bergan tragen zu müssen. Nach einem Jahrhundert des Erblühens der neuen Abtei folgten schwere Zeiten. Missernten, Teuerungen, Hungersnot, Kriegsnöte, Belagerungen und prachtliebende Äbte brachten das Irseer Kloster an den Rand des Ruins. Um etwa 1370 wirtschaftete Abt Peter von Baisweil das Kloster so sehr herunter, dass die Mönche in fremden Klöstern Zuflucht suchen mussten. Mit Einwilligung des Bischofs von Augsburg nahm die Burgherrin und Vögtin von Kemnath, Maria Ellerbach, die Leitung des Klosters in ihre Hand und sanierte es in 20-jähriger mustergültiger Verwaltungsarbeit. Im späten Mittelalter zählte die Abtei Irsee zu den bedeutendsten im Bistum Augsburg.

Die alte Klosterkirche war baufällig geworden. Am Pfingstfest des Jahres 1699 stürzte der mächtige Sattelturm ein und begrub den Chor unter seinen Trümmern. Schon nach wenigen Monaten wurde unter Abt Romanus Köpfle der Grundstein für ein neues Gotteshaus gelegt. Baumeister war Franz Beer aus Vorarlberg. Dem berühmten Barockbaumeister stand der 19-jährige Wessobrunner Stukkateur Joseph Schmutzer ebenbürtig zur Seite. Nach nur drei Jahren Bauzeit war die Klosterkirche fertig, am 13. Oktober 1704 wurde sie geweiht. Hier sei nur eine Besonderheit der Innenausstattung genannt: die Schiffskanzel, die in ihrer Art einzigartig ist und zum Wahrzeichen der Irseer Kirche wurde. 

An der Schwelle zum 18. Jahrhundert steht ein in besonderem Maße verdienstvoller Abt dem Irseer Kloster vor. Es ist Romanus Köpfle aus Reutte in Tirol. Nicht nur der Kraftakt des Kirchenneubaus wurde unter seiner Führung bewerkstelligt. Sein besonderer Verdienst ist es, dass Irsee mit seinem Herrschaftsgebiet reichsunmittelbar wird und somit der Prälat – das ist der Abt als Grundherr – Sitz und Stimme im Reichstag hat. Unter Abt Willibald Grindl wurden die Klostergebäude völlig neu gebaut. Die Pläne für diese Anlage werden dem Irseer Mönch Magnus Remy zugeschrieben, der auch zahlreiche Gemälde in der Kirche schuf. Während der 34-jährigen Amtszeit (1731–1765) von Abt Bernhard Beck wurde Irsee zu einem Zentrum des geistigen und wissenschaftlichen Lebens in Schwaben und weit über dessen Grenzen hinaus. Gefördert wurden neben Theologie und Philosophie besonders das Studium der Mathematik und der Physik sowie die Musikpflege. Das Naturalienkabinett in Irsee mit seinen mathematischen und physikalischen Geräten erlangte Berühmtheit. Zu Ende des 18. Jahrhunderts galt Irsee als Sitz großer Gelehrtheit.

Im Jahr 1782 – es war das 600-jährige Jubiläum des Klosters – wurde erstmals ein Viehmarkt in Irsee abgehalten. Drei Jahre später fand gleichzeitig auch ein Kramermarkt statt. Auf diesem anfangs zweimal im Jahr stattfindenden Markt geht noch heute der Titel des Ortes "Markt Irsee" zurück.

Von den französischen Revolutionskriegen und den napoleonischen Feldzügen bleibt Irsee nicht verschont. Flüchtlinge ersuchen Unterkunft im Kloster; Durchmärsche, Einquartierungen und Kriegsleistungen lassen ein erschöpftes Land zurück. Das bittere Ende ist die Aufhebung des Klosters im Jahre 1802. Dieses letzte Kapitel in der Geschichte der Benediktinerabtei Irsee bedeutet für den Ort Irsee Abschied von vertraut und lieb gewordenem, von jahrhundertelangem Neben- und Miteinander, Verlust seiner geistigen und geistlichen Mitte. Zum Herrschaftsgebiet des Klosters gehörten damals: Irsee, Romatsried, Eggenthal, Baisweil, Lauchdorf, Ingenried, Schlingen, Ketterschwang, Rieden, Pforzen, Leinau, Mauerstetten mit insgesamt 3221 Einwohnern und einem Viehbestand von 932 Pferden, 3163 Stück Rindvieh, 2199 Kälbern und Schafen.

Die Klosterkirche wird 1804 zur neuen Pfarrkirche für den Ort bestimmt. Für die bisherige Pfarrkirche "St. Stephan" wird ein kompletter Abriss angeordnet, der jedoch nach jahrelangem Ringen zwischen Gemeinde und Staat abgewendet werden konnte. Im Konventgebäude des Klosters wurde 1803 ein Landrichteramt eingerichtet, das jedoch schon ein Jahr später nach Kaufbeuren verlegt wurde. In Irsee verblieb bis 1828 noch das Rentamt, in dem die Bürger ihre Steuern bezahlen mussten. Zuletzt war noch die Pfarrerswohnung in Teilen des Klostergebäudes untergebracht. Als auch der örtliche Seelsorger 1834 in den neu erbauten Pfarrhof umgezogen war, stand das Kloster leer. Während umliegende Nebengebäude – wie etwa die ehemalige Klosterbrauerei, das Haus des Oberamtmannes oder das Gerichtsgebäude – in Privatbesitz übergingen, konnte das Hauptgebäude mangels Nachfrage nicht veräußert werden.

Am 1. September 1849 wurde schließlich vom damaligen Bezirk Schwaben eine Kreisirrenanstalt mit zunächst 80 Patienten in den ehemaligen Räumen des Klosters Irsee eingerichtet. Wie schon zuvor war mit dieser Institution wieder ein für Irsee bedeutender Wirtschaftsfaktor vor Ort. Zahlreiche Irseer Bürger hatten einen Arbeitsplatz in der Anstalt oder standen als Handwerker oder Dienstleister in Geschäftsbeziehungen. Um die Jahrhundertwende und nochmals um etwa 1920 erwägte man die Schließung der Anstalt, wozu es aber nicht kam.

Mit den Jahren des Dritten Reiches schlitterte die Heil- und Pflegeanstalt in Irsee zusammen mit der Hauptstelle in Kaufbeuren in ihr dunkelstes Kapitel seit Bestehen: die Euthanasie-Aktionen von 1939 bis 1945. Die unmenschliche Rassenideologie des Nationalsozialismus und die daraus folgenden Aktionen zur "Vernichtung unwerten Lebens" werden auch in der Heil- und Pflegeanstalt in Irsee und Kaufbeuren praktiziert. Über 2000 Patienten (Erwachsene und Kinder) werden in Vernichtungsanstalten deportiert, sterben nach Verordnung einer fettlosen Hungerkost (E-Kost) oder werden mittels Spritzen und Überdosen von Medikamenten direkt umgebracht. Erst einige Wochen nach Kriegsende wurden die grausamen Aktionen der Euthanasie beendet.

Die Heil- und Pflegeanstalt machte einen Neuanfang. Mit der Zeit änderten sich in der Psychiatrie die Behandlungsmethoden. Die bloße Verwahrung der Patienten in der Anstalt wird nach und nach durch sinnvolle Arbeitstherapie ersetzt. Und so war es im Ort bald ein gewohnter Anblick, dass Patienten auf den Handwerks- und Gartenbaubetrieben der Anstalt bei der täglichen Arbeit mithalfen.

Mitte des 20. Jahrhunderts erreichte der Fortbestand der Heil- und Pflegeanstalt bereits über 100 Jahre. Die Bausubstanz des ehemaligen Klostergebäudes war durch die strapazierende Nutzung abgewirtschaftet und durch Bodensenkungen stellenweise einsturzgefährdet. 1965 beschloss der Bezirk Schwaben die Schließung der Anstalt mit anschließendem Abbruch der Klostergebäude. Zunächst mussten jedoch alle Patienten verlegt werden, was schließlich noch weitere sieben Jahre dauerte. Eine Wartezeit, die für Irsee eine glückliche Wende herbeiführte. Der Bezirkstag revidierte seinen zuvor gefassten Beschluss zum Abbruch und entschied sich 1974 für die Einrichtung eines schwäbischen Bildungszentrums im ehemaligen Kloster Irsee. Die umfangreichen Renovierungsmaßnahmen von Klostergebäude und -kirche konnten 1981 abgeschlossen werden und somit ein weiteres Kapitel beginnen.

Seit nunmehr 35 Jahren (2016) erarbeitet sich nun das "neue" Kloster Irsee als Bildungseinrichtung des Bezirks Schwaben einen Ruf, der über Schwaben hinaus Gäste aus der ganzen Welt zu Tagungen und Seminaren in die alten Klostermauern zieht, in denen Kunst und Kultur wie zu Zeiten der Benediktiner einen hohen Stellenwert genießen.