光绪二十一年乙未（1895年）四十八岁
至江宁，谒见两江总督张之洞，康有为记其“昂首足加膝，摇头而大语”，“目中无权贵若此……卒以此得罪张督”。陈衍称张之洞（广雅）“置之闲散，公度甚不乐”。
正月 张荫桓奉命为使日议和，为日方所拒，改命李鸿章为全权大臣赴马关开议。李行前托张荫桓举荐熟悉公法条约而有智略文笔的随员。张复电亟推遵宪，谓“黄遵宪熟倭掌故，文笔智略均佳”。
二月二十七日 公祭沈文肃公葆桢祠，是日，闻日本海军寇澎湖之警。
二月二十八或二十九日 寒食日，与沈瑜庆、陈谅山、叶大壮、梁鼎芬等同游江宁莫愁湖。有诗作。
三月 中日《马关条约》订立。撰有《哭威海》、《马关纪事》、《降将军歌》等诗。
四月 《马关条约》签订，台湾及澎湖列岛被日本割占。遵宪致建侯书中叹道：“新约既定，天旋地转。东南诸省所恃以联络二百馀年所收为藩篱者，竟拱手而让之他人；而且敲骨吸髓，输此巨款，设机造货，夺我生业。”“时势至此，一腔热血，无地可洒。”
四月 袁昶来江宁，见张之洞，携《日本国志》，谓：“此书早布，可省岁币二万万。”
五月 赴湖北办理教案，“方与客登黄鹤楼，忽闻台湾溃之报，遂兴尽而返”。
五月中旬 自武昌东下返江宁。行前与约陈三立面商二三事。
时文廷式学士将南归，与梁鼎芬等饮集吴船，各抚《贺新郎》词以志悲欢，有《吴船听雨图》记之。遵宪词有“凤泊鸾飘也”句。
闰五月 又饮集钟山，送文廷式有诗。又有送叶损轩（大壮）之申江诗。
六月十八日 立秋日，访易顺鼎观，偕游秦淮河；与龙继栋、唐春卿、沈蔼苍、王秉恩、何维朴游玄武湖，均有诗作。
六月二十八日 致函王秉恩（雪澄），商议上海耶松厂款项、鄂局经费等事项。
七月 张之洞派候补道黄遵宪赴上海，会同上海道与法国领事商结五省未结教案。
七月 康有为开赴京师强学会。
九月 康有为在上海来办强学会。遵宪命列十六人之中，由梁鼎芬代签。既而偕吴季清扣访康有为，昂首加足于膝，纵谈天下事。
九月二十日 致电张之洞，请核示议妥徐州、泰州、阳湖朱姓三教案事宜，以便遵照签押。二十一日，张之洞回电：“徐州、泰州、阳湖朱姓三案，所议尚妥，即照此定议。”十月十一日，致梁鼎芬函告，“数日之间既定三案。而忽接法使来电，横生波澜，尚须旬日乃能毕议”。
十一月十二日 致函梁鼎芬表示，“强学会之设，为平生志事所在，深愿附名其末”。并称赞“长素聪明绝特，其才调足以鼓舞一世”，认为“惟此会之设，若志在译书刻报，则招罗名流十数人，逐渐扩充，足以集事；乃欲设大书藏、开博物馆，不能不集款，即不能不兼收并蓄”，以为“当局者当慎简，入会者当博取”。
十一月 呈报江南教案现均议结，日内分案详叙，请分饬各地方官遵办。
十一月 京师强学会遭御史杨崇伊疏劾被封禁，上海强学会亦中止。
十二月四日 新任直隶总督、北洋大臣王文韶奏调黄遵宪赴北洋差委，任总办水师营务处，并奉旨谕准。电请张之洞“臂助”。张不放人。
十二月二十九日 张之洞将回任湖广总督前，上保荐人才折称：“奏调江南差委分省补用道黄遵宪，学识赅通，心思沉细，洋务素能精心考求。近日委办五省教案”，“与法领事精思力辩，批隙导窾，该领事颇就范围，挽回甚多”。“其长于洋务，确有明征，堪胜海关道之任”。