1932年（昭和7年）に、自動車や燃料関連企業の安全自動車の経営者、中谷保によって創業。
地下にアイススケート場を有する近代的なホテルで、当時は日本を代表する高級ホテルのひとつだった。
改行当時は80室だったが、その後増築されて149室になる。欧州風の鉄筋コンクリート建築の本館と和風建築の日本館に分かれていた。
二・二六事件では反乱軍に占領され、クーデター側の司令部となる。大東亜戦争中に被災し、終戦後の1946年（昭和21年）9月にアメリカ軍により接収された。その後改修され、アメリカ軍関係者のためのホテル、家族向け住宅となる。その後は軍関係者以外は立ち入ることができなかった。
1983年に広尾にアメリカ軍向けの新施設が完成し、旧山王ホテルは1983年10月5日に閉鎖された。
詠美が赤坂で遊んでいたのはこの頃だと思われる。
1996年より三菱地所、安全自動車、および隣接する日枝神社などの共同で再開発の建築事業が着工され、2000年（平成12年）に山王パークタワーとして生まれ変わり、今に至る。