大円距離

球面余弦定理

弧度 ${\displaystyle \Delta \sigma }$は球面余弦定理を用いて次のように計算できる。ここで${\displaystyle \phi _{1},\lambda _{1}}$ と${\displaystyle \phi _{2},\lambda _{2}}$ をそれぞれ点1と点2の緯度と経度とし、${\displaystyle \Delta \phi ,\Delta \lambda }$ はそれらの差を表す。

${\displaystyle \Delta \sigma =\arccos {\bigl (}\sin \phi _{1}\sin \phi _{2}+\cos \phi _{1}\cos \phi _{2}\cos \Delta \lambda {\bigr )}}$

ただし歴史上、この${\displaystyle \arccos }$関数の引数が1近傍（すなわち近距離条件）もしくは-1近傍（すなわち対蹠点近傍条件）の条件では計算が扱いにくいとされた^{[注釈 1][注釈 2]}。

しかし、現在用いられる64ビットの浮動小数点数であれば、これらの条件でも、最大丸め誤差は約1mmであり実用上問題を起こさないと考えられている^[2]。

Haversine公式

歴史的に上記の球面余弦定理の利用の欠点を避けるために、Haversine 関数^{[注釈 3]}を用いる計算式（半正矢公式（英語版））が、haversineの関数表を使って多用された^[3]。

${\displaystyle \Delta \sigma =\operatorname {archav} {\bigl (}\operatorname {hav} \Delta \phi +\cos \phi _{1}\cos \phi _{2}\operatorname {hav} \Delta \lambda {\bigr )}}$

これは下記の${\displaystyle \sin ,\ \arcsin }$を用いる弦長計算を経由する式と等価である。

ただし浮動小数点数計算では${\displaystyle \operatorname {archav} }$の引数が1を超えないよう注意が必要である^{[注釈 4]}（対蹠点間で発生するおそれがある）。

単位球面における大円の弦長と弧度

単位球面における大円の弦長${\displaystyle \Delta \sigma _{\text{c}}}$と弧度${\displaystyle \Delta \sigma }$との関係は^{[注釈 5]}、

${\displaystyle \Delta \sigma _{\text{c}}=2\sin {\frac {\Delta \sigma }{2}}}$

${\displaystyle \Delta \sigma =2\arcsin {\frac {\Delta \sigma _{\text{c}}}{2}}}$

ただし上記と同様に浮動小数点数計算では${\displaystyle \arcsin }$の引数${\displaystyle {\frac {\Delta \sigma _{\text{c}}}{2}}}$が1を超えないよう注意が必要である^{[注釈 6]}。

ベクトル表現

弧度${\displaystyle \Delta \sigma }$は、ユークリッド空間上の単位長3次元ベクトルの内積と外積により以下のように表すことができる^[5]。${\displaystyle \mathbf {n} _{1}}$と${\displaystyle \mathbf {n} _{2}}$ は球面上の2点の単位法線ベクトルを表す。計算精度条件の比較は上記と同様となる。

${\displaystyle {\begin{aligned}\Delta \sigma &=\arccos(\mathbf {n} _{1}\cdot \mathbf {n} _{2})\\\Delta \sigma &=\arcsin \left|\mathbf {n} _{1}\times \mathbf {n} _{2}\right|\\\Delta \sigma &=\arctan {\frac {\left|\mathbf {n} _{1}\times \mathbf {n} _{2}\right|}{\mathbf {n} _{1}\cdot \mathbf {n} _{2}}}\\\end{aligned}}\,\!}$

回転楕円体面上の距離