勞山下清宮，耐冬高二丈，大數十圍，牡丹高丈餘，花時璀璨如錦，膠州黃生築舍其中而讀焉。一日遙自窗中見女郎，素衣掩映花間，心疑觀中烏得有此？趨出，已遁去，由此屢見，遂隱身叢樹中，以俟其至。無何，女郎又偕一紅裳者來，遙望之，豔麗雙絕，行漸近，紅裳者卻退，曰：「此處有人。」生乃暴起，二女驚奔，袖裙飄拂，香風流溢，追過短牆，寂然已杳。愛慕殷切，因題樹上云：「無限相思苦，含情對短窗。恐歸沙吒利，何處覓無雙？」
歸齋冥想，女郎忽入，驚喜承迎。女笑曰：「君洶洶似強寇，使人恐怖，不知君竟騷士，無妨相親。」生略叩生平，曰：「妾小字香玉，隸籍平康巷，被道士閉置山中，實非所願。」生問：「道士何名？當為卿一滌此垢。」女曰：「不必，彼亦未敢相逼。借此與風流士長作幽會，亦佳。」問：「紅衣者誰？」曰：「此名絳雪，亦妾義姊。」遂相狎。既醒，曙色已紅，女急起，曰：「貪歡忘曉矣。」著衣易履，且曰：「妾酬君作口舌，勿笑也。良夜更易盡，朝暾已上窗。願如梁上燕，棲處自成雙。」
生握腕曰：「卿秀外慧中，使人愛而忘死。顧一日之去，如千里之別，卿乘間常來，勿待夜也。」女諾之。由此夙夜必偕。每使邀絳雪來，輒不至，生以為恨。女曰：「絳姊性殊落落，不似妾情癡也。當從容勸駕，不必過急。」一夕，女慘然入，曰：「君隴不能守，尚望蜀耶？今長別矣。」問：「何之？」以袖拭淚，曰：「此有定數，難為君言。昔日佳什，今成讖語矣。『佳人已屬沙吒利，義士今無古押衙』，可為妾詠。」詰之，不言，但有嗚咽，竟夜不眠，早旦而去，生怪之。次日，有即墨藍氏，入宮游矚，見白牡丹，悅之，掘移逕去，生始悟香玉乃花妖也，悵惋不已。過數日，聞藍氏移花至家，日就萎悴，恨極，作哭花詩五十首，日日臨穴，涕洟其處。
一日憑弔而返，遙見紅衣人，揮涕穴側，從容而近就之，女亦不避，生因把袂，相向汍瀾。已而挽請入室，女亦從之。歎曰：「童稚之姊妹，一朝斷絕。聞君哀傷，彌增妾慟，淚墮九泉，或當感誠再作。然死者神氣已散，倉猝何能與吾兩人共談笑也。」生曰：「小生薄命，妨害情人，當亦無福可消雙美。曩頻煩香玉，道達微忱，胡再不臨？」女曰：「妾以年少書生，什九薄倖，不知君固至情人也。然妾與君交，以情不以淫，若晝夜狎暱，則妾所不能矣。」言已，告別，生曰：「香玉長離，使人寢食俱廢。賴卿少留，慰此懷思，何決絕如是？」女乃止，過宿而去，數日不復至。
冷雨幽窗，苦懷香玉，輾轉牀頭，淚凝枕簟。攬衣更起，挑燈命筆，踵前韻曰：「山院黃昏雨，垂簾坐小窗。相思人不見，中夜淚雙雙。」詩成自吟。忽窗外有人曰：「作者不可無和。」聽之，絳雪也。啟門內之，女視詩，即續其後曰：「連袂人何處？孤燈照晚窗。空山人一個，對影自成雙。」生讀之淚下，因怨相見之疏，女曰：「妾不能如香玉之熱，但可少慰君寂寞耳。」生欲與狎，曰：「相見之歡，何必在此。」於是至無聊時，女輒一至，至則宴飲酬唱，有時不寢遂去，生亦聽之。謂之曰：「香玉吾愛妻，絳雪吾良友也。每欲相問，卿是院中第幾株？早以見示，僕將把植家中，免似香玉被惡人奪去，貽恨百年。」女曰：「故土難移，告君亦無益也。妻尚不能終從，況友乎？」生不聽，捉臂而出，每至壯丹下，輒問：「此為卿否？」女不言，掩口笑之。適生以殘臘歸過歲，二月間，忽夢絳雪至，愀然曰：「妾有大難！君急往，尚得相見，遲無及矣。」醒而異之，急命僕馬，星馳至山。則道士將建屋，有一耐冬，礙其營造，工師方縱斤矣，生知所夢即此，急止之。入夜，絳雪來謝，生笑曰：「向不實告，宜遭此厄。今而後知卿矣，卿如不至，當以艾炷相炙。」女曰：「妾固知君如此，曩故不敢相告。」坐移時，生曰：「今對良友，益思豔妻。久不哭香玉，卿能從我哭乎？」二人乃往，臨穴灑涕，至一更向盡，絳雪抆淚勸止，乃還。
又數夕，生方獨居悽惻，絳雪笑入曰：「喜信報君知，花神感君至情，俾香玉復降宮中。」生喜問：「何時？」答曰：「不知，要不遠耳。」天明下榻，生曰：「僕為卿來，勿長使人孤寂。」女笑諾。兩夜不至，生往抱樹，搖動撫摩，頻喚絳雪，久之無聲，乃返。對燭團艾，將以灼樹，女遽入，奪艾棄之，曰：「君惡作劇，使人創痏，當與君絕矣。」生笑擁之。坐方定，香玉盈盈而入，生望見，泣下流離，急起把握，香玉以一手捉絳雪，相對悲哽。已而坐道離苦，生把之覺虛，如手自握，驚其不類曩昔。香玉泫然曰：「昔妾花之神，故凝；今妾花之鬼，故散也。今雖相聚，君勿以為真，但作夢寐觀可耳。」絳雪曰：「妹來大好，妾被汝家男子糾纏死矣。」遂辭而去。
香玉款愛如生平，但偎傍之間，髣髴以身就影。生邑邑不懽，香玉亦俯仰自恨，曰：「君以白蘞屑，少雜硫黃，日酹妾一杯水，明年此日報君恩。」亦別而去。明日往觀故處，則牡丹萌生矣。生從其言，日加培溉，又作雕闌以護之。香玉來，感激甚至。生謀移植其家，女不可，曰：「妾弱質，不堪復戕。且物生各有定處，妾來原不擬生君家，違之反促年壽。但相憐愛，好合自有日耳。」生恨絳雪不至，香玉曰：「必欲強之使來，妾能致之。」乃與生挑燈出，至樹下，取草一莖，布裳作度，以度樹本，自下而上，至四尺六寸，按其處，使生以兩爪齊搔之。俄絳雪從背後出，笑罵曰：「婢子來，益助桀為虐耶！」牽挽並入。香玉曰：「姊勿怪，暫煩陪侍郎君，一年後，不相擾矣。」自此遂以為常。
生視花芽，日益肥盛，春盡，盈二尺許。歸後，亦以金遺道士，囑令朝夕培養之。次年四月至宮，則花一朵，含苞未放，方流連間，花搖搖欲拆。少時已開，花大如盤，儼然有小美人坐蕊中。裁三四指，轉瞬間，飄然已下，則香玉也。笑曰：「妾忍風雨以待君，君來何遲也！」遂入室。絳雪亦至，笑曰：「日日代人作婦，今幸退而為友。」遂相談讌賡和。至中夜，絳雪乃去，兩人同寢，款洽一如當年。
後生妻卒，遂入山，不復歸。是時，牡丹已大如臂，生每指之曰：「我他日寄魂於此，當生卿之左。」二女笑曰：「君勿忘之。」後十餘年，忽病，其子至，對之而哀。生笑曰：「此我生期，非死期也，何哀為？」謂道士曰：「他日牡丹下有赤芽怒生，一放五葉者，即我也。」遂不復言。子輿擡而歸，至家，尋卒。
次年，果有肥芽突出，葉如其數，道士以為異，益灌溉之。三年，高數尺，大拱把，但不花。老道士死，其弟子不知愛惜，因其不花，斫去之。白牡丹亦憔悴尋死，無何，耐冬亦死。
異史氏曰：情之結者，鬼神可通。花以鬼從，而人以魂寄，非其結於情者深耶？一去而兩殉之，即非堅貞，亦為情死矣。人不能貞，猶是情之不篤耳。仲尼讀唐棣而曰未思，信矣哉！