Fils de Jean Henri Rémusat, chirurgien de renom, et de Dame Françoise Aydré, Jean-Pierre Abel-Rémusat s’intéressa très jeune au monde chinois, dont les connaissances générales à l’époque se limitèrent aux comptes rendus des Jésuites de la mission de Pékin, entre le XVIIe et le XVIIIe siècle, et à l’engouement que le roi Louis XIV eut pour la Chine environ un siècle plus tôt. Il apprit seul la langue tout en poursuivant ses études à la Faculté de médecine de Paris.

À vingt-deux ans, il publia son premier ouvrage intitulé Essai sur la langue et la littérature chinoise (1810), puis un an plus tard De l’étude des langues étrangères chez les Chinois.

Lorsqu’il débuta l’apprentissage de la langue chinoise, il n’eut à sa disposition que de maigres sources textuelles. Le cercle scientifique qu’il côtoya l’amena à rencontrer un archéologue et collectionneur d’art, Charles-Philippe Campion de Tersan (1736-1819) qui possédait des livres rares sur la Chine. Il obtint également de l’aide de la part d’Antoine-Isaac baron Silvestre de Sacy (1758-1838), orientaliste français et professeur de persan au Collège royal. Ce dernier rendit hommage à Abel-Rémusat lors de la séance publique du 25 juillet 1834 de l’Institut de France, intitulée « Notice historique sur la vie et les ouvrages de M. Abel-Rémusat ».

En 1814, fut créée pour lui la première chaire de chinois au Collège royal (ancien nom du Collège de France) et de ce fait il devint le pionnier des études chinoises en occident. Il obtint donc la chaire de professeur de langues et de littératures chinoises et tartaro-mandchoues jusqu’en 1832. Entre temps, 1824, il devint conservateur des manuscrits à la Bibliothèque royale et put travailler directement à partir du corpus de textes de la collection chinoise. Jean-Pierre Abel-Rémusat traduisit les premiers textes du taoïsme, de Confucius et notamment le Foguo ji 佛國記 ou Mémoires sur les pays bouddhiques du moine pèlerin Faxian, ouvrage qui le rendit célèbre dans le monde entier. L’ouvrage chinois fut repris en 2013 sous forme de traduction et de commentaires annotés par Jean-Pierre Drège, directeur d’études en histoire et civilisation de l’écrit en Chine à l’École Pratique des Hautes Études.

En 1822, il fonda la Société asiatique, devint premier Secrétaire la même année, puis Président en 1829. Il fut également associé étranger de la Société royale des sciences de Göttingen, de la Société asiatique du Bengale (de nos jours Société asiatique de Calcutta) et de la Société asiatique d’Irlande.   

En 1826, il fut reconnu pour son excellent travail de traduction du roman chinois Iu-kiao-li, transcription phonétique dite de l’École Française d’Extrême-Orient, dont la transcription moderne donne yu jiao li 玉嬌梨, traduit en français par Les deux cousines. Ce livre destiné au public français dresse un portrait des Chinois en présentant leurs rites, coutumes et mœurs de la vie de tous les jours.