האם ריכול על לקוח בבית קפה יכול להוביל לתביעה על לשון הרע?

אור שלום רב, אני יסביר את הסיטואציה, אני עובד בבית קפה.

דיברתי עם עמית לעבודה באזור המטבח ואמרתי על הלקוח שהוא שמן.

במקרה הלקוח עבר ושמע את דברי והסיק שמדובר בו. אמנם לא דיברתי על הלקוח בשמו ולא תיארתי אותו. למרות זאת מיהרתי להתנצל ולהסביר שלא דיברתי עליו. הנ"ל איים עלי ועזב את המקום. למחרת הוא התקשר ואיים בתביעה. האם יש עילה לתביעה?