自唐代以来，朝廷就在边远少数民族地区设立了宣慰使或宣抚使，由中央任命，宣慰司或宣抚司是省和县之间的中转机构，起到上传下达的作用，从功能上讲相当于现代的“地区专署”。在明代，宣慰使一般由当地的土司（土官）担任，可以世袭。
宣慰使掌握地方武装，有维护一方安定的职责。偏远地区的行政体系一般不很完善，看王阳明的行程就可以发现，他进入贵州以后，经过平溪卫、清平卫、兴隆卫、平越卫，最后达到龙场驿。“卫”，是朝廷军队的驻扎地，卫所的长官即“总兵”。当宣慰使不能有效履行职责或者起异心的时候，朝廷在当地的驻军就会奉命出兵协助或进行平叛。
朱元璋废除了丞相一职，六部直接对皇帝负责，在地方省一级，则设立都指挥司（主管军事）、承宣布政使司（主管民事行政）和提刑按察使司（主管司法）等三司。除此之外，朝廷还向地方派遣巡抚、巡按代表皇帝视察各地，巡抚一般由六部侍郎充任，逐渐由临时官员演变为常住地方官，设立府衙，成为一省的最高行政、司法和军事官员。巡按则由都察院十三道御史充任，直接对皇帝负责，不受都察院领导。巡按的级别很低，但权力极大，主要负责考察官员，代天子出巡，“大事奏裁，小事立断”。
明朝在边远地区的治理体系比较复杂，一是朝廷有常设机构，如三司；二是临时派出巡察的官员，如巡抚、巡按等，三是地方自治组织，如宣慰司等。
当时贵州设两宣慰司，安贵荣世居水西，辖苗民四十八族；宋然世居贵州城侧，管水东、贵筑等十长。
灵博山下有一座象祠，是苗民的神庙，安贵荣重新修葺祠屋，事成后请王阳明作记，王阳明为作《象祠记》。
龙场驿在安贵荣的辖区内，王阳明以逐臣不敢见冠裳之官为名，没有主动拜访安氏。安贵荣却派人送来了粮食、禽肉和柴薪，王阳明退了回去。安贵荣加重礼物，又额外送来金帛、鞍马等贵重礼物。王阳明这才收下粟米、柴炭和禽肉等日常生活物资，其他则照单退回。
安贵荣因为参与征讨香炉山有功，被朝廷加封贵州布政司参政，有了参政资格，安贵荣欲奏请朝廷削减辖区内的朝廷驿站。为此，他写信请王阳明出谋划策。
