鯉魚山為卑南山礫岩所組成的海蝕遺留殘丘，卑南山礫岩分布於卑南山台地、卑南溪東岸以及鹿野溪口北岸，由片岩、板岩、變質砂岩、變質基性火成岩、砂岩等組成，東側以卑南山斷層與利吉混同層接觸；由於鯉魚山地質與北側貓山的差異，被認為與東岸的卑南山斷層不同，而被認為是卑南山受海岸山脈與中央山脈擠壓的過程中，向南延伸的沉積物。鯉魚山因與卑南山台地擦撞，而產生向西南傾沒的背斜狀小丘；後北側卑南山受海岸山脈推擠往內陸移動，而鯉魚山則留在原地，因此成為孤立在沖積扇上的丘陵；西側土質疏鬆，經常發生崩塌，而東側岩塊則較堅硬。
最初阿美族人稱鯉魚山為kinafaragaw，意為蒼蠅很多之地，後轉音為「baragau」或「varagau」，後阿美族人以其形與神話中的大鰲魚相像而稱之為鰲魚山，今風景區前的鯉魚山魚雕像便是以鰲魚做象徵而做成，而非鯉魚為原型，曾因此使民眾不解。另有卑南山的俗稱，起名原因為當時位在卑南街之故。
