web-dev-qa-db-ja.com

ドキュメントの自動トリミングを実行する方法カメラを使用して画像を認識しますか？

ドキュメントをトリミングするためのカムスキャナーのようなアプリケーションを作成したいです。

しかし、2つの画像のような同じ機能が必要です。

最初の画像は、カメラでキャプチャされた画像を示しています。

enter image description here

2番目の画像は、このようにキャプチャされた画像部分を認識します。

enter image description here

私はどんどん研究していますが、出てこないので、ここでお願いします。

ありがとう

androidopencvocrcrop
23
Roadies

達成したいのとまったく同じデモがあります

https://github.com/Aniruddha-Tapas/Document-Scanner （自動検出機能を備えています）

https://github.com/jhansireddy/AndroidScannerDemo

17
Hardik

あなたの問題は、スキャンするオブジェクトを検出することだと思います。

パターンマッチングや特徴検出などのオブジェクト検出メカニズムでは、スキャンしているオブジェクトが正確に分からないため、探している結果が得られません。

基本的に、画像内の長方形のオブジェクトを検索します。

これに対する基本的なアプローチは次のとおりです。

  • 画像に対して canny Edge detector を実行します。これを行う前に、画像を少しぼかすことができます。オブジェクトの端がはっきりと見えるはずです。

  • 次に、 ハフ変換 を実行して、画像内の行を検索します。

  • 互いに約90度の角度の線を検索します。問題は、正しいものを見つけることです。たぶん、写真のフレームに最も近い線を合理的に平行に使用するだけで十分でしょう。

  • 交差する点を見つけて、オブジェクトのエッジを定義します。

少なくともこれは、どこでさらに研究するべきかのヒントを与えるはずです。

このようなアプリの追加手順として、ポイントの投影を計算し、オブジェクトのアフィン変換を行う必要があります。

これがお役に立てば幸いです。

このすべてを書いた後、私は見つけました この投稿。 それはあなたを大いに助けるはずです。

私の答えはOpenCVを対象としているため、OpenCVライブラリを使用する必要があります。これを行うには、 Android Native Development Kit（NDK） をインストールする必要があります。 Android OpenCV for Android ページでOpenCVを使用する方法についての優れたチュートリアルがあります。

覚えておくべきことの1つは、Javaラッパーのほとんどの各関数がネイティブメソッドを呼び出すことです。これには多くの時間がかかります。結果をJava部分に追加します。

14
Grey

私は答えるには遅すぎることを知っていますが、それは誰かに役立つかもしれません。

次のコードを試してください。

@Override
protected void onDraw(Canvas canvas) {

  super.onDraw(canvas);
  path = new Path();

  path.moveTo(x1, y1);        // this should set the start point right

  //path.lineTo(x1, y1);    <-- this line should be drawn at the end of     course,sorry
  path.lineTo(x2, y2);
  path.lineTo(x3, y3);
  path.lineTo(x4, y4);
  path.lineTo(x1, y1); 
  canvas.drawPath(path, currentPaint);

}
5
Multidots Solutions

このメソッドで画像マットを渡します：

       void findSquares(Mat image, List<MatOfPoint> squares) {
    int N = 10;

    squares.clear();

    Mat smallerImg = new Mat(new Size(image.width() / 2, image.height() / 2), image.type());

    Mat gray = new Mat(image.size(), image.type());

    Mat gray0 = new Mat(image.size(), CvType.CV_8U);

    // down-scale and upscale the image to filter out the noise
    Imgproc.pyrDown(image, smallerImg, smallerImg.size());
    Imgproc.pyrUp(smallerImg, image, image.size());
    // find squares in every color plane of the image
    Outer:
    for (int c = 0; c < 3; c++) {

        extractChannel(image, gray, c);

        // try several threshold levels
        Inner:
        for (int l = 1; l < N; l++) {

            Imgproc.threshold(gray, gray0, (l + 1) * 255 / N, 255, Imgproc.THRESH_BINARY);


            List<MatOfPoint> contours = new ArrayList<MatOfPoint>();

            // find contours and store them all as a list
            Imgproc.findContours(gray0, contours, new Mat(), Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE);

            MatOfPoint approx = new MatOfPoint();

            // test each contour
            for (int i = 0; i < contours.size(); i++) {

                approx = approxPolyDP(contours.get(i), Imgproc.arcLength(new MatOfPoint2f(contours.get(i).toArray()), true) * 0.02, true);

                // square contours should have 4 vertices after approximation
                // relatively large area (to filter out noisy contours)
                // and be convex.
                // Note: absolute value of an area is used because
                // area may be positive or negative - in accordance with the
                // contour orientation
                double area = Imgproc.contourArea(approx);

                if (area > 5000) {

                    if (approx.toArray().length == 4 &&
                            Math.abs(Imgproc.contourArea(approx)) > 1000 &&
                            Imgproc.isContourConvex(approx)) {

                        double maxCosine = 0;
                        Rect bitmap_rect = null;
                        for (int j = 2; j < 5; j++) {
                            // find the maximum cosine of the angle between joint edges
                            double cosine = Math.abs(angle(approx.toArray()[j % 4], approx.toArray()[j - 2], approx.toArray()[j - 1]));
                            maxCosine = Math.max(maxCosine, cosine);
                            bitmap_rect = new Rect(approx.toArray()[j % 4], approx.toArray()[j - 2]);

                        }

                        // if cosines of all angles are small
                        // (all angles are ~90 degree) then write quandrange
                        // vertices to resultant sequence
                        if (maxCosine < 0.3)
                            squares.add(approx);

                    }
                }
            }
        }
    }
}

この方法では、文書の4つのポイントを取得し、以下の方法を使用してこの画像をカットできます。

      public Bitmap warpDisplayImage(Mat inputMat) {
    List<Point> newClockVisePoints = new ArrayList<>();

    int resultWidth = inputMat.width();
    int resultHeight = inputMat.height();

    Mat startM = Converters.vector_Point2f_to_Mat(orderRectCorners(Previes method four poit list(like : List<Point> points)));

    Point ocvPOut4 = new Point(0, 0);
    Point ocvPOut1 = new Point(0, resultHeight);
    Point ocvPOut2 = new Point(resultWidth, resultHeight);
    Point ocvPOut3 = new Point(resultWidth, 0);



        ocvPOut3 = new Point(0, 0);
        ocvPOut4 = new Point(0, resultHeight);
        ocvPOut1 = new Point(resultWidth, resultHeight);
        ocvPOut2 = new Point(resultWidth, 0);
    }

    Mat outputMat = new Mat(resultWidth, resultHeight, CvType.CV_8UC4);

    List<Point> dest = new ArrayList<Point>();
    dest.add(ocvPOut3);
    dest.add(ocvPOut2);
    dest.add(ocvPOut1);
    dest.add(ocvPOut4);


    Mat endM = Converters.vector_Point2f_to_Mat(dest);

    Mat perspectiveTransform = Imgproc.getPerspectiveTransform(startM, endM);

    Imgproc.warpPerspective(inputMat, outputMat, perspectiveTransform, new Size(resultWidth, resultHeight), Imgproc.INTER_CUBIC);


    Bitmap descBitmap = Bitmap.createBitmap(outputMat.cols(), outputMat.rows(), Bitmap.Config.ARGB_8888);
    Utils.matToBitmap(outputMat, descBitmap);



    return descBitmap;
}
0
user7176550

ネイティブサポート用のコードを使用してgitリポジトリを作成しました。つまり、正しい方法で画像をトリミングしています。 link で見つけてください。

より良い解決策を思いついたら、気軽にコードを編集してください。

0
Vulovic Vukasin