Some Midrashim don't make any strong connection between the sin of the spies, where the people cried for no justifiable reason about Eretz Yisrael and the destruction of the Temple.
It is possible that some Midrashim just view Tisha B'Av as the day G-d chose to give the Jewish people a real reason to cry in the future and make no more further connection.
Midrash Bamidbar Rabba however, makes a deeper connection.
It views the Temple as a merit, shielding us from the exile. So that if G-d does want to send us into exile, he first has to remove this shield, namely the Temple and then he can send us to exile.
Here's the original Hebrew for those who have the ability to understand it.
במדבר רבה (וילנא) פרשת שלח פרשה טז
כ [יד, א] ותשא כל העדה ויתנו את קולם זש"ה (משלי יח) דברי נרגן כמתלהמים והם ירדו חדרי בטן דברים שרגנו אחר הקדוש ברוך הוא גרמו להם צרה גדולה שאלו לא נשתוו למרגלים לא היו לוקין עמהם אלא השלימו אחריהם שנא' (דברים א) ותרגנו באהליכם ותאמרו מהו ותרגנו תרתם גנות א"י שקראה הקדוש ברוך הוא ארץ טובה, ותשא כל העדה ויתנו את קולם זש"ה (ירמיה יב) נתנה עלי בקולה על כן שנאתיה אותו קול שבכיתם גרם לכם להיות שנואין ועל אותו הדור אמר ישעיה (ישעיה יז) ביום נטעך תשגשגי ובבוקר זרעך תפריחי ביום שאמר ליטע אתכם בארץ נעשיתם סיגים ובבוקר זרעך תפריחי עד שלא בא השרב פרחתם נד קציר ביום נחלה ביום שעברתי ליתן לכם נחלת אביכם נעשיתם קלון בעולם וכאב אנוש זה הפורענות ששלחתה ירושה לדורות שבכו בליל ט' באב ואמר להם הקדוש ברוך הוא אתם בכיתם בכיה של חנם לפני אני אקבע לכם בכיה לדורות ומן אותה שעה נגזרה על ביהמ"ק =בית המקדש= שתתחרב כדי שיגלו ישראל לבין האומות שכה"א (תהלים קו) וישא ידו להם להפיל אותם במדבר ולהפיל זרעם בגוים ולזרותם בארצות נשיאות יד כנגד נשיאות קול.