web-dev-qa-db-ja.com

CasperJSを使用して結果をファイルに書き込む

ファイルシステムにファイルを作成し、this.getPageContent()の内容をその中に配置するにはどうすればよいですか？

javascriptcasperjs
42
narek
var fs = require('fs');
fs.write(myfile, myData, 'w');

毎日のスクレイプを保存するために：

var currentTime = new Date();
var month = currentTime.getMonth() + 1;
var day = currentTime.getDate();
var year = currentTime.getFullYear();
var myfile = "data-"+year + "-" + month + "-" + day+".html";
69
Henry

以下の方法を使用して、テキストファイルに追加することもできます

    var casper = require('casper').create();
    var fs = require('fs');
    var fname = new Date().getTime() + '.txt';
    var save = fs.pathJoin(fs.workingDirectory, 'nwaomachux', fname);

    casper.start('http://www.po3w.com/', function() {
        fs.write(save, this.getTitle() + '\n', 'w');
    });

    casper.thenOpen('http://phantomjs.org', function() {
        fs.write(save, this.getTitle(), 'a');
    });

    casper.run();
  • フォルダーnwaomachuxがまだ存在しない場合は、自動的に作成されます。
  • ファイルをsave.jsとして保存した場合、次のコマンドを使用してPhantomJSから実行しますLinux PCの場合

./phantom casperjs/bin/bootstrap.js --casper-path = casperjs --cli save.js

10
iChux

以下は、この機能をcasperオブジェクトに追加するために使用できるヘルパー関数です。

/**
 * Save page markup to a file. Respect an existing savePageContent function, if
 * casper.js core introduces one.
 * 
 * @param String targetFile
 *   A target filename.
 * @return Casper
 */
casper.savePageContent = casper.savePageContent || function(targetFile) {
  var fs = require('fs');
  var f  = require('utils').format;

  // Get the absolute path.
  targetFile = fs.absolute(targetFile);
  // Let other code modify the path.
  targetFile = this.filter('page.target_filename', targetFile) || targetFile;
  this.log(f("Saving page html to %s", targetFile), "debug");
  // Try saving the file.
  try {
    fs.write(targetFile, this.getPageContent(), 'w');
  } catch(err) {
    this.log(f("Failed to save page html to %s; please check permissions", targetFile), "error");
    this.log(err, "debug");
    return this;
  }

  this.log(f("Page html saved to %s", targetFile), "info");
  // Trigger the page.saved event.
  this.emit('page.saved', targetFile);

  return this;
};

この場合の「fs」はNode JS FileSystemオブジェクトではなく、 PhantomJSモジュール であることに注意してください。

6
q0rban

サイトからデータをスクラップする完全な「then」関数は、jsonを返し、ファイル「myFile」に保存する必要があります。

casper.then(function paso2() {
var jsonStr = this.evaluate(function(){
    var puntos = {};
    puntos.alafecha = document.querySelector('div.cont_item_productos_puntos > p.txt_negro').textContent;
    puntos.totales = document.querySelector('ul.lista_prod_puntos > li.ppuntos_1 > span.ppuntos_2').textContent;
    return JSON.stringify(puntos);
});
console.log("this is a response in json format: "+json);
fs.write('myFile.json', jsonStr, 'w');
});
5
Alejandro Silva