大船渡市から盛岡市などの内陸部を結ぶ交通の要所であるが、同時に古くからの交通の難所でもある。
遠野市側は市内の小友町内を通り、比較的なだらかな路面で通行しやすいが、住田町側は車線こそ2車線ながら、全区間にわたり急勾配・急カーブが連続する。また、頂上部の幅員は狭く大型車のすれ違い通行は困難である。また冬季には県内有数の豪雪地帯となるこの場所は、路面凍結・積雪などの障害が常に発生する。道路にはロードヒーティングなどの消雪設備がほとんど整備されておらず、慣れたドライバーでも運転は困難である。また、この峠は非常に地盤が弱い場所でもあり、積雪による斜面の崩落事故も起こっている。
以上のような状況もあり、国道340号赤羽根峠を迂回する車も多い。
現在岩手県では、大船渡市や住田町で大船渡港と内陸部を結ぶ国道107号・国道397号などを大船渡港湾関連道路と位置づけ、道路改良を進めている。しかし荷沢峠では現在のところ、トンネル化などの抜本的な改良工事の計画は存在しない。
