web-dev-qa-db-ja.com

OpenGLテクスチャのOpenCV画像の読み込み

OpenCVをOpenGLテクスチャとして使用して画像（jpgおよびpng）をロードしたいと思います。

画像をOpenGLにロードする方法は次のとおりです。

glEnable(GL_TEXTURE_2D);
  textureData = loadTextureData("textures/trashbin.png");
  cv::Mat image = cv::imread("textures/trashbin.png");
  if(image.empty()){
      std::cout << "image empty" << std::endl;
  }else{
      glGenTextures( 1, &textureTrash );
      glBindTexture( GL_TEXTURE_2D, textureTrash );
      glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MIN_FILTER,GL_LINEAR);
      glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MAG_FILTER,GL_LINEAR);
      glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S , GL_REPEAT );
      glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT );
      glTexImage2D(GL_TEXTURE_2D,0,3,image.cols, image.rows,0,GL_RGB,GL_UNSIGNED_BYTE, image.data);
  }

「image.empty」は常にfalseを返すため、画像が読み込まれます

作成したテクスチャを使用してシーンをレンダリングする方法は次のとおりです。

  glActiveTexture(GL_TEXTURE0);
  glBindTexture(GL_TEXTURE_2D, textureTrash);
  glm_ModelViewMatrix.top() = glm::translate(glm_ModelViewMatrix.top(),0.0f,-13.0f,-10.0f);
  glUniformMatrix4fv(uniformLocations["modelview"], 1, false, glm::value_ptr(glm_ModelViewMatrix.top()));

  std::cout << "textureShaderID: " << glGetUniformLocation(shaderProgram,"texture") << std::endl;

  glUniform1i(glGetUniformLocation(shaderProgram,"texture"), 0);
  objLoader->getMeshObj("trashbin")->render();

そして最後に、テクスチャをジオメトリに適用したいfragmentShader

#version 330
in vec2 tCoord;

// texture //
// TODO: set up a texture uniform //
uniform sampler2D texture;

// this defines the fragment output //
out vec4 color;

void main() {
  // TODO: get the Texel value from your texture at the position of the passed texture coordinate //
  color = texture2D(texture, tCoord);
}

テクスチャ座標は頂点バッファオブジェクトから取得され、.objファイルから正しく設定されます。また、色をたとえばに設定すると、シーン内のオブジェクトを見ることができます。フラグメントシェーダーの赤、またはvec4（tCoord、0,1）;次に、オブジェクトは異なる色でシェーディングされます。

残念ながら、テクスチャを適用したいときに画面が黒のままになります...誰かが私を助けて、なぜ黒のままであるのか教えてもらえますか？

c++openglopencvtextures
10
glethien

テクスチャロードコードを見るだけでは、OpenCVがメモリ内で画像をレイアウトする方法に関する多くの考慮事項を無視しています。 この回答 の反対方向（OpenCVイメージへのglGetTexImage）についてはすでに説明しましたが、CV-GL方向についてここで要約します。

まず第一に、OpenCVは必ずしも密集した画像行を格納しませんが、それらを特定のバイト境界に揃える可能性があります（少なくとも4つ、おそらく8つ以上の量がわかりませんか？）。運が良ければ、4バイトの配置を使用し、GLも4バイトの配置のデフォルトのピクセルストレージモードに設定されます。ただし、手動でピクセルストレージをいじるのが最善です。安全を期すためのモード：

//use fast 4-byte alignment (default anyway) if possible
glPixelStorei(GL_UNPACK_ALIGNMENT, (image.step & 3) ? 1 : 4);

//set length of one complete row in data (doesn't need to equal image.cols)
glPixelStorei(GL_UNPACK_ROW_LENGTH, image.step/image.elemSize());

次に、OpenCVが画像を上から下に保存し、GLは下から上に使用するという事実を考慮する必要があります。これは、tテクスチャ座標を適切にミラーリングするだけで対処できます（シェーダーで直接）、アップロードする前に画像を反転することもできます：

cv::flip(image, flipped, 0);
image = flipped;              //maybe just cv::flip(image, image, 0)?

最後になりましたが、OpenCVはカラー画像をBGR形式で保存するため、RGBとしてアップロードすると色が歪んでしまいます。したがって、GL_BGRでglTexImage2Dを使用します（OpenGL 1.2が必要ですが、誰がそれを持っていませんか？）。

これらは問題の完全な解決策ではないかもしれませんが（これらのエラーは黒の画像ではなく歪んだ画像になるはずなので）、間違いなく対処すべき問題です。

EDIT：フラグメントシェーダーは実際に正常にコンパイルされますか（テクスチャを使用した完全バージョンで）？ GLSL 3.30では、Word textureは組み込み関数の名前でもあるため（非推奨のtexture2D関数の代わりに実際に使用する必要があります）、おそらくコンパイラにはいくつかの名前解決の問題があります（ユニフォーム全体が最適化され、多くのGLSLコンパイラが厳密に標準に準拠していないことがわかっているため、簡略化されたシェーダではこのエラーが無視される可能性があります）。したがって、そのサンプラーユニフォームに別の名前を付けてみてください。

18
Christian Rau

「ChristianRau」のアイデアに基づいた私の実用的なソリューションがここにあります。ありがとうございます。

cv::Mat image = cv::imread("textures/trashbin.png");
  //cv::Mat flipped;
  //cv::flip(image, flipped, 0);
  //image = flipped;
  if(image.empty()){
      std::cout << "image empty" << std::endl;
  }else{
      cv::flip(image, image, 0);
      glGenTextures(1, &textureTrash);
      glBindTexture(GL_TEXTURE_2D, textureTrash);

      glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
      glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);

        // Set texture clamping method
      glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP);
      glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP);


      glTexImage2D(GL_TEXTURE_2D,     // Type of texture
                     0,                 // Pyramid level (for mip-mapping) - 0 is the top level
                     GL_RGB,            // Internal colour format to convert to
                     image.cols,          // Image width  i.e. 640 for Kinect in standard mode
                     image.rows,          // Image height i.e. 480 for Kinect in standard mode
                     0,                 // Border width in pixels (can either be 1 or 0)
                     GL_BGR, // Input image format (i.e. GL_RGB, GL_RGBA, GL_BGR etc.)
                     GL_UNSIGNED_BYTE,  // Image data type
                     image.ptr());        // The actual image data itself

      glGenerateMipmap(GL_TEXTURE_2D);
  }
8
glethien