web-dev-qa-db-ja.com

C ++の多変量正規/ガウス分布からのサンプル

多変量正規分布からサンプリングする便利な方法を探していました。それを行うためにすぐに利用できるコードスニペットを知っている人はいますか？行列/ベクトルの場合、 Boost または Eigen を使用するか、慣れていない他の驚異的なライブラリを使用しますが、 [〜＃ 〜] gsl [〜＃〜] ピンチで。また、メソッドが正定値を要求するのではなく、非負-定値共分散行列を受け入れた場合も必要です（たとえば、コレスキー分解の場合のように）。これは、MATLABやNumPyなどに存在しますが、既製のC/C++ソリューションを見つけるのに苦労しました。

自分で実装する必要がある場合、私はつぶやくでしょうが、それで結構です。私がそうすれば、 ウィキペディアはそれを音にします

  1. 生成n0-平均、単位分散、独立した正規サンプル（ブーストがこれを行います）
  2. 共分散行列の固有分解を見つける
  3. nサンプルのそれぞれを対応する固有値の平方根でスケーリングします
  4. 分解によって発見された正規直交固有ベクトルの行列でスケーリングされたベクトルを事前に乗算することにより、サンプルのベクトルを回転させる

これを早く動かしてほしい。共分散行列が正であるかどうかを確認する価値がある場合、誰かが直感を持っていますか？正の場合は、代わりにコレスキーを使用しますか？

c++statisticslinear-algebragaussiannormal-distribution
31
JCooper

この質問は多くの意見を集めているので、私が見つけた最終的な答えのコードを Eigenフォーラムへの投稿 で投稿すると思いました。このコードでは、一変量正規分布にはBoostを使用し、行列処理にはEigenを使用しています。 「内部」名前空間の使用が含まれているため、これはどちらかといえば奇抜な感じがしますが、機能します。誰かが方法を提案したら、私はそれを改善することにオープンです。

#include <Eigen/Dense>
#include <boost/random/mersenne_twister.hpp>
#include <boost/random/normal_distribution.hpp>    

/*
  We need a functor that can pretend it's const,
  but to be a good random number generator 
  it needs mutable state.
*/
namespace Eigen {
namespace internal {
template<typename Scalar> 
struct scalar_normal_dist_op 
{
  static boost::mt19937 rng;    // The uniform pseudo-random algorithm
  mutable boost::normal_distribution<Scalar> norm;  // The gaussian combinator

  EIGEN_EMPTY_STRUCT_CTOR(scalar_normal_dist_op)

  template<typename Index>
  inline const Scalar operator() (Index, Index = 0) const { return norm(rng); }
};

template<typename Scalar> boost::mt19937 scalar_normal_dist_op<Scalar>::rng;

template<typename Scalar>
struct functor_traits<scalar_normal_dist_op<Scalar> >
{ enum { Cost = 50 * NumTraits<Scalar>::MulCost, PacketAccess = false, IsRepeatable = false }; };
} // end namespace internal
} // end namespace Eigen

/*
  Draw nn samples from a size-dimensional normal distribution
  with a specified mean and covariance
*/
void main() 
{
  int size = 2; // Dimensionality (rows)
  int nn=5;     // How many samples (columns) to draw
  Eigen::internal::scalar_normal_dist_op<double> randN; // Gaussian functor
  Eigen::internal::scalar_normal_dist_op<double>::rng.seed(1); // Seed the rng

  // Define mean and covariance of the distribution
  Eigen::VectorXd mean(size);       
  Eigen::MatrixXd covar(size,size);

  mean  <<  0,  0;
  covar <<  1, .5,
           .5,  1;

  Eigen::MatrixXd normTransform(size,size);

  Eigen::LLT<Eigen::MatrixXd> cholSolver(covar);

  // We can only use the cholesky decomposition if 
  // the covariance matrix is symmetric, pos-definite.
  // But a covariance matrix might be pos-semi-definite.
  // In that case, we'll go to an EigenSolver
  if (cholSolver.info()==Eigen::Success) {
    // Use cholesky solver
    normTransform = cholSolver.matrixL();
  } else {
    // Use eigen solver
    Eigen::SelfAdjointEigenSolver<Eigen::MatrixXd> eigenSolver(covar);
    normTransform = eigenSolver.eigenvectors() 
                   * eigenSolver.eigenvalues().cwiseSqrt().asDiagonal();
  }

  Eigen::MatrixXd samples = (normTransform 
                           * Eigen::MatrixXd::NullaryExpr(size,nn,randN)).colwise() 
                           + mean;

  std::cout << "Mean\n" << mean << std::endl;
  std::cout << "Covar\n" << covar << std::endl;
  std::cout << "Samples\n" << samples << std::endl;
}
23
JCooper

これは、C++ 11乱数生成を使用し、Eigen::MatrixBase::unaryExpr()を使用してEigen::internalを回避する、Eigenの多変量正規確率変数を生成するクラスです。

struct normal_random_variable
{
    normal_random_variable(Eigen::MatrixXd const& covar)
        : normal_random_variable(Eigen::VectorXd::Zero(covar.rows()), covar)
    {}

    normal_random_variable(Eigen::VectorXd const& mean, Eigen::MatrixXd const& covar)
        : mean(mean)
    {
        Eigen::SelfAdjointEigenSolver<Eigen::MatrixXd> eigenSolver(covar);
        transform = eigenSolver.eigenvectors() * eigenSolver.eigenvalues().cwiseSqrt().asDiagonal();
    }

    Eigen::VectorXd mean;
    Eigen::MatrixXd transform;

    Eigen::VectorXd operator()() const
    {
        static std::mt19937 gen{ std::random_device{}() };
        static std::normal_distribution<> dist;

        return mean + transform * Eigen::VectorXd{ mean.size() }.unaryExpr([&](auto x) { return dist(gen); });
    }
};

それはとして使用することができます

int size = 2;
Eigen::MatrixXd covar(size,size);
covar << 1, .5,
        .5, 1;

normal_random_variable sample { covar };

std::cout << sample() << std::endl;
std::cout << sample() << std::endl;
9
davidhigh

SVDを実行してから、マトリックスがPDであるかどうかを確認するのはどうですか？これは、Cholskey因数分解を計算する必要がないことに注意してください。 SVDはCholskeyより遅いと思いますが、どちらもフロップ数で3乗でなければなりません。

0
Anil CR