Селото е съставено от три махали: Южна (Горна), Северна (Долна) и Източна (Отвъдна). Границата между Южната и Северната махала е централния път Харманли – Елхово.
Най-старите заселници, живели на днешната територия на село Хлябово, са траките. Това твърдение е доказано от наличието на интересните мегалитни паметници — долмени, менхири, кромлехи. Те са най-запазените в България. Говори се, че са връстници на Стоунхендж. Затова се счита, че землището на днешното село Хлябово е обитавано още от древността. За това свидетелстват и останките от римски и византийски крепости, военни съоръжения, пътища в диаметър от около 4-20 км около землището. Територията на Сакарския район за пръв път е включена в границите на България през 705 година, при кан Тервел (700-721).
Най-старите писмени документи за съществуването на с. Хлябово са турски данъчни регистри за събиране на поголовен данък (джизие). Първият датира от 11 юли 1618 г., а вторият е от 6 юли 1652 г. В тези документи селото фигурира под името ГЕРДЕЛЮ (ГЕРДЕМЕ) и е в състава на нахия Юскюдар (дн. с. Щит, Свиленградско), подчинено на кааза Едирне (дн. Одрин), която е била владение на султан Баязид хан. През 1618 г. в селото има 46 ханета (семейства), а 34 години по-късно с. Гердеме има 110 ханета или около 1200 жители. Това нарастване на Гердеме се дължи най-вече на прииждащите от цялата страна бягащи българи. Възможно е селото да се е уголемило, според легендата, от обединяването на няколко малки селища, които са страдали от турските разбойнически дружини. Имената на тези поселища, разположени на 4-5 км около днешното село, са: Гулефирчево, Пелифирчево, Гереня, Клепалото, Ирущенци, Евджика, Армудли (Крушево дн. Сакарци). Топонимията е съхранила имената на тези селища, някои останали като имена на местности.
С Указ № 462 от 21.12.1906 г. с. Гердеме е преименувано на с. Хлябово, с 1249 жители.
