Гиллель был уроженцем Вавилонии (современный Ирак), где ещё со времён царя Навуходоносора осела большая еврейская община. С юных лет Гиллель мечтал посвятить свою жизнь изучению Торы, однако в Вавилонии в то время не было ни школ, ни учителей. Когда ему исполнилось сорок лет, он решил переселиться в Иерусалим.

Гиллель был очень бедным и зарабатывал на жизнь тяжёлым трудом, но не жалел ни сил, ни времени на изучение Торы. Вскоре он стал одним из лучших учеников Шемаи и Авталиона, а затем — одним из первых среди знатоков Закона.

В учёбе он руководствовался правилом:

Тот, кто не умножает свои знания, изучая Тору, — лишится и тех знаний, которые у него были; тот, кто ничему не учился, — заслуживает смерти.

У Гиллеля было восемьдесят ближайших учеников. Вспоминая об их способностях, люди говорили, что тридцать из них достойны были получить Тору наравне с Моисеем, а ещё тридцать — заслуживали того, чтобы солнце остановилось для них, как для Иисуса Навина.

Несмотря на высокое положение и огромный авторитет, Гиллель до конца своих дней оставался скромным человеком, всегда готовым прийти на помощь ближнему. Его девизом стали слова:

Если не я за себя, то кто за меня? Но если я только за себя — то чего я стою? И если не теперь — то когда?

Под стать Гиллелю была и eго жена. Про неё рассказывали, что, когда к ней в дом постучался незнакомый человек и сказал, что у него нет денег, чтобы устроить свадебный пир для своей дочери, жена Гиллеля, не раздумывая, отдала ему обед, приготовленный для мужа и его гостей.

Занимаясь Торой, Гиллель никогда не забывал о земных делах: заботу о здоровье он считал важным, богоугодным делом. Как-то раз, когда он уходил из иешивы, ученики поинтересовались, куда он идет.
— Иду совершать угодное Богу дело, — отвечал Гиллель.
— Какое?
— Мыться.
— Разве это такое уж богоугодное дело?
— Конечно. Посмотрите на статуи царей в театрах и цирках. Тот, кто их моет и чистит, не только получает за это плату, но и пользуется почётом и уважением. Тем более должен следить за собой человек, созданный по образу и подобию Божию.

Гиллель славился спокойным характером и уравновешенностью. Никому не удавалось вывести его из себя. Один еврей побился об заклад, что у него это получится. Накануне субботы, когда у всех много дел, он пришёл к дому мудреца и закричал:
— Кто здесь Гиллель? Кто здесь Гиллель?
Гиллель оделся и вышел к нему:
— Что угодно тебе, сын мой?
— Хочу задать тебе один вопрос.
— Спрашивай, сын мой, спрашивай.
— Отчего у вавилонян головы неправильной формы?
Поскольку Гиллель родом из Вавилона, этот вопрос был явным оскорблением. Однако Гиллель невозмутимо произнес:
— Сын мой, важный вопрос ты мне задал. Поэтому отвечу тебе. Всё это оттого, что у вавилонян нет хороших повивальных бабок.
Поняв, что может проиграть пари, еврей ещё несколько раз приходил к Гиллелю с подобными же глупостями. И каждый раз уходил восвояси, получив вежливый, спокойный ответ мудреца.

Как-то раз к Гиллелю пришёл иноверец и обратился с необычной просьбой. Он попросил изложить ему «всю Тору» за то время, что сможет простоять на одной ноге. Гиллель, не задумываясь, ответил:
— Не делай ближнему того, чего себе не желаешь. В этом — суть Торы. Всё остальное лишь толкование. Иди и учись.