Baruchel est né à Ottawa, dans la province d'Ontario au Canada. Sa mère Robyne est écrivain, son père Serge, vendeur d'antiquités. Il a grandi et vit toujours à Montréal, au Québec. Il a également une sœur plus jeune, Taylor. Son père a des origines juifs Séfarades et Canadiens français, tandis que sa mère a des origines catholiques Irlandaises. Jay se définit comme étant « probablement agnostique ».

Baruchel est un fan des Canadiens de Montréal, une équipe professionnelle de hockey sur glace. Il a aussi un tatouage représentant une feuille d'érable sur son muscle pectoral gauche que l'on peut apercevoir dans Fanboys et dans En cloque, mode d'emploi.