Cette magnifique bâtisse a été construite au 19ème en tant qu'hôtel particulier par les Sam, une famille alors très influente à Port Au Prince (Tirésias Simon-Sam a été président d'Haïti de 1896 à 1902). En 1935, la famille Sam ayant essuyé quelques revers, la maison est louée par Walter Gustav Oloffson, capitaine dans la marine suédoise, qui la converti en hôtel et lui laissera son nom. En 1950, c'est Roger Coster, un photographe français, qui en reprend la gérance. Il en fait un lieu de villégiature fréquenté par des acteurs, des écrivains et des artistes de toutes provenances, et l'hôtel est alors surnommé le "Greenwich Village des tropiques". En 1960, l'hôtel passe aux mains de l'américain Al Seitz, et accueille régulièrement des personnalités telles que Jackie Onassis et Mick Jagger. A la mort d'Al Seitz en 1982, son épouse continue à faire tourner la maison, mais les temps se font durs : l'ère Duvalier entre dans sa période la plus sombre. Haïti n'est plus un lieu de villégiature, et l'hôtel tourne tant bien que mal en accueillant des reporters et des membres de l'aide internationale. En 1987, Richard A Morse prend la gérance de l'Oloffson. Il le restaure et instaure les jeudi de l'hôtel Oloffson, soirées au cours desquelles se produit son groupe de musique, RAM. Ces soirées ont toujours cours, et ont la réputation de réunir des individus de courants politiques très divergents.
