This what the Rosh (Rabbi Asher ben Yechiel) has to say about this. Rosh is one of the 3 basic sources used by the Shulchan Aruch to decide Jewish Law
First the original Hebrew and then a translation
שו"ת הרא"ש כלל ה סימן ב
מה ששאלת בענין מחצלת קטנה הנקראת סגאדה בלשון ערבי, שדרך ישמעאלים להתפלל עליה ויש בה כמו צורת משקל שחור, אם מותר לתלותה בבית הכנסת לצד ההיכל, אחד מכאן ואחד מכאן, ולהתפלל כנגדה. ואף על פי שחלילה וחס לשום אדם אחד מישראל להתפלל בשום כונה לדבר אסור. דבר זה שאלתי בעבורו וחקרתי עליו, ונתברר לי שנהגו איסור בכאן, בטוליטלא, להניח מחצלת כזו בבית הכנסת כדי לישב עליה, כל שכן לתלותה בצד ההיכל. לפי שאומרים שאותה צורה שחורה העשויה בה היא צורת המקום שהולכים לחוג לשם בארצם. וגם יש אומרים שיש בה צורת מרקוליס, ודרכם להתפלל עליה ולכרוע עליה' בתפלתם. ועוד אמרו לי: מפני זה קורין למחצלת סגאדה, לפי שסוגדין עליה. וכיון שכן, נראה לי שאסור לתלותה בבית הכנסת כלל, כל שכן בצדי ההיכל, וצריך להוציאה מבית הכנסת כדי שלא ישאר לה שום זכר בבית הכנסת. כי מה לנו להניח בבית הכנסת שלנו דבר כזה, שהוא מוכן ומזומן לתפלתם? ואין ראוי לשום אדם מישראל לערער על זה, כדי להניח מחצלת כזו בבית הכנסת; וכל העובר על זה הוא נוטה מדרך ישרה לדרך רעה וראוי ליסרו. הנראה בעיני צויתי לכתוב וחתמתי עליו. אשר בן ה"ר יחיאל ז"ל.
What you asked about the matter of the small prayer rug called Segada in Arabic, that it is the manner of the Muslims to pray on it and it has some type of a form of a black weight (or perhaps scale?) on it, is it permissible to suspend it in a synagogue by the side of the place where the Torah scrolls are stored, one on this side and one on the other, and to pray opposite it, even though, heaven forbid there is no one from Israel that has any intent for a prohibition. This matter I was asked to deal with it and I investigated it and it became clear to me that they were accustomed to prohibit it, here in (the place called) Tultila to put such a rug (or mat) like this in the synagogue and sit on it, and all the more so to hang it by the side of the heichal (where the Torah scrolls are stored), because they say that the black form found on it, is like the form of the place that they go to celebrate their festival in their land. Also there are those that say that it has the shape of {the idol} Markolis, and their manner is to pray on it and bend down in their prayer. Further they tell me that they call this rug (or mat) Sagada because they bow on it. Now since this is so, it appears to me that it is forbidden to hang it in a synagogue entirely, all the more so by the side of the Heichal, and one has to remove it from the synagogue so that there doesn't remain any rememberance of it in the synagogue, for what cause do we have to leave in a synagogue something like this, that is prepared for and ready for their prayers? And it is not fitting for any person of Israel to contest this, in order to leave a rug (or mat) like this in the synagogue; and all that transgress this depart from the upright way to an evil way and it is fitting to chastise him.