Akan tetapi kehidupan yang glamor itu tidak berlangsung lama. Setelah wafatnya Kangxi, Keluarga Cao pun terlibat dalam pertarungan istana yang rumit. Dan karena pergaulan dengan kalangan kekaisaran menuntut dana yang besar, maka keluarga Cao memiliki hutang dalam jumlah besar. Pada usia ke-13, Cao Xueqin dengan mata kepalanya sendiri menyaksikan penyegelan rumahnya oleh pemerintah. Setelah itu, keluarganya yang beranggota banyak terpaksa pindah dari bagian selatan kembali ke Beijing. Setelah dewasa, Cao Xueqin tinggal di sebuah gubuk sendirian, dan hidup dengan menjual koleksi karya kaligrafi dan lukisan. Hidupnya miskin sekali. Kontras antara kehidupan lama yang kaya dan kehidupan miskin yang dialaminya kemudian akhirnya memicu Cao Xueqin menulis novel Impian Wisma Merah.

Dalam novel itu, Cao Xueqin terutama melukiskan kehidupan foya-foya di Keluarga Marga Jia dan tiga keluarga besar lainnya yang berhubungan erat dengan kekaisaran. Novel itu memperagakan kehidupan glamor dan bobrok yang dijalani bangsawan masyarakat feodal Tiongkok, serta akhirnya yang tragis.

Dalam novel itu Cao Xueqin menciptakan banyak figur yang berkarakter berbeda-beda. Menurut statistik, figur yang dilukiskannya berjumlah lima ratus. Sebagian besar di antaranya dilukiskan secara terinci, baik wajah dan wataknya. Kini figur-figur utama dalam novel itu, antara lain, Jia Baoyu, Lin Daiyu, Xue Baochai dan Wang Xifeng semuanya adalah figur tipikal yang bertaraf tinggi. Dalam novel ini yang paling menarik bagi pembaca adalah tragedi asmara yang terjadi antara Jia Baoyu dan Lin Daiyu. Nasib gadis-gadis lainnya juga sangat menarik.

Selain memaparkan kehidupan sosial waktu itu, Cao Xueqin juga memaparkan detail-detail kehidupan bangsawan, yang menyangkut pengetahuan di berbagai bidang, antara lain, garmen, konstruksi, taman, boga, kedokteran, agama, opera, seni rupa dan lain sebagainya, sehingga secara menyeluruh menampilkan pengetahuan dan bakat Cao Xueqin. Kini novel Impian Wisma Merah kerap kali dijadikan bahan untuk penelitian tentang adat istiadat dan kerajinan tangan masyarakat waktu itu.

Sayang sekali, Cao Xueqin tidak berhasil menyelesaikan penulisan novel itu. Tahun 1764, Cao Xueqin meninggal dunia karena sakit dalam usia tidak sampai 50 tahun. Impian Wisma Merah dalam bentuk naskah berakhir pada episode ke-80.

Novel Impian Wisma Merah adalah salah satu karya paling besar dalam sejarah kesusastraan Tiongkok, dan dihargai sebagai "ensiklopedia masyarakat feodal Tiongkok, ensiklopedia kebudayaan Tiongkok dan ensiklopedia kesusastraan Tiongkok". Selama 200 tahun lebih sejak lahirnya novel itu, sarjana-sarjana dalam jumlah besar mencurahkan tenaga seumur hidupnya untuk mengadakan penelitian tentang Impian Wisma Merah, sehingga lama kelamaan Ilmu Penelitian Impian Wisma Merah telah berkembang menjadi satu disiplin penelitian khusus. Kini di Tiongkok, cerita dan figur Impian Wisma Merah sudah lama meresap dalam lubuk hati rakyat.