百年前、この地はただの土丘で、漁民が網を干す場所でした。１８９１年清軍が青島に進駐したとき、この山の西側（現青島海洋大学）に兵舎を構え、この小山を見張り台として定めたのです。１８９７年、ドイツ占領後は山頂に炮台が築かれました。１９３４年には湛山寺仏学院は山頂に「湛山経舎」を建て、仏法の教育の場所としても使用しています。
　現在の小魚山公園は１９８５年に建設されました。公園面積は８００平方米、頂上には閣高１８米、屋根には緑色の瑠璃瓦が使われた挑檐式三層八角構造の「覧潮閣」と呼ばれる建物が立っています。この閣内には土産物店があるほか、建物を取り巻く各階のベランダからは、青島湾から匯泉湾まで、西欧風の青島の街並みを一望することができるのです。

　この覧潮閣の西側には「碧波亭」と呼ばれる挑檐式六角亭が、また東側には「用翠亭」と呼ばれる四角亭が並び、１閣２亭の景色は遠方からも眺めることができ、青島の印象的な風景の一つとなっています。
　園内の曲廊には３枚の壁画が飾られています。正面には黒い大理石の中央に「小魚山」と書かれた大きな象形文字。北廊には幅９．１米、高さ２．６７米の「八仙過海」、東廊には同じ大きさで「蒲松齢宇宙」があなたを迎えてくれます。
また公園入り口からはきれいな小道が頂上まで続き、途中の店にはドイツ風の家の模型や水彩画が売られ、みやげ物におすすめです。