質問にお答えする前にいくつか問題点があるように思えます。(実験装置の図がないため私の勘違いでしたらすみません)
まず、m+MとLの大小関係は与えられていないので、運動方向を正とするという記述はあまり良くないかと思います(Cの進む向きは不明)。また、それは置いておくとして、B,Cは下向き、Aは上向で取るとしたら束縛条件は異なる気がします。このような問題で物体ごとに座標系を分けたことがないのですがおそらくたとえばすべての座標で天井を原点として(円周などは定数に含めれば)
xc+X=Const.(XはAとBの滑車の座標)
(Y-ya)+(zb-Z)=Const.(←分かりやすいように文字も分けた)
のようになり、物体Aのみ上向で、あとは下向きなので、
Y=-X
ya=-xa
Z=X
zb=xb
なのですが、yaだけ代入せずに残りを整理すれば相対速度の式と一致します。
自分は運動の向きでなく一つの座標系でやることをお勧めします。