Lambda関数からKinesisストリームにデータをプッシュする方法はありますか?インターネットを検索しましたが、それに関連する例は見つかりませんでした。
ありがとう。
はい、LambdaからKinesisStreamに情報を送信できます。送信は非常に簡単です。適切な権限でLambdaを実行していることを確認してください。
const AWS = require('aws-sdk');
const kinesisConstant = require('./kinesisConstants'); //Keep it consistent
const kinesis = new AWS.Kinesis({
apiVersion: kinesisConstant.API_VERSION, //optional
//accessKeyId: '<you-can-use-this-to-run-it-locally>', //optional
//secretAccessKey: '<you-can-use-this-to-run-it-locally>', //optional
region: kinesisConstant.REGION
});
const savePayload = (payload) => {
//We can only save strings into the streams
if( typeof payload !== kinesisConstant.PAYLOAD_TYPE) {
try {
payload = JSON.stringify(payload);
} catch (e) {
console.log(e);
}
}
let params = {
Data: payload,
PartitionKey: kinesisConstant.PARTITION_KEY,
StreamName: kinesisConstant.STREAM_NAME
};
kinesis.putRecord(params, function(err, data) {
if (err) console.log(err, err.stack);
else console.log('Record added:',data);
});
};
exports.save = (payload) => {
const params = {
StreamName: kinesisConstant.STREAM_NAME,
};
kinesis.describeStream(params, function(err, data) {
if (err) console.log(err, err.stack);
else {
//Make sure stream is able to take new writes (ACTIVE or UPDATING are good)
if(data.StreamDescription.StreamStatus === kinesisConstant.STATE.ACTIVE
|| data.StreamDescription.StreamStatus === kinesisConstant.STATE.UPDATING ) {
savePayload(payload);
} else {
console.log(`Kinesis stream ${kinesisConstant.STREAM_NAME} is ${data.StreamDescription.StreamStatus}.`);
console.log(`Record Lost`, JSON.parse(payload));
}
}
});
};
module.exports = {
STATE: {
ACTIVE: 'ACTIVE',
UPDATING: 'UPDATING',
CREATING: 'CREATING',
DELETING: 'DELETING'
},
STREAM_NAME: '<your-stream-name>',
PARTITION_KEY: '<string-value-if-one-shard-anything-will-do',
PAYLOAD_TYPE: 'String',
REGION: '<the-region-where-you-have-lambda-and-kinesis>',
API_VERSION: '2013-12-02'
}
const kinesis = require('./kinesis');
exports.handler = (event, context, callback) => {
console.log('LOADING handler');
const done = (err, res) => callback(null, {
statusCode: err ? '400' : '200',
body: err || res,
headers: {
'Content-Type': 'application/json',
},
});
kinesis.save(event); // here we send it to the stream
done(null, event);
}
これは、コンピューターで行うのとまったく同じように行う必要があります。
nodejs
の例を次に示します。
let aws = require('aws');
let kinesis = new aws.Kinesis();
// data that you'd like to send
let data_object = { "some": "properties" };
let data = JSON.stringify(data_object);
// Push data to kinesis
const params = {
Data: data,
PartitionKey: "1",
StreamName: "stream name"
}
kinesis.putRecord(params, (err, data) => {
if (err) console.error(err);
else console.log("data sent");
}
Lambda
にはストリームへのアクセス許可がないため、このコードは機能しません機能することに注意してください。 AWS
を介してLambda
リソースにアクセスする場合は、IAM
ロールを使用することをお勧めします。
Lambda
を構成するときは、既存の役割を選択するか、役割を作成できます。IAM
に移動し、次にRolesに移動して、Lambda
関数に割り当てた役割名を選択します。putRecord
、putRecords
)。次に、Lambda
をテストします。
はい、これは可能です。同じことを実行しようとして、Node.js 4.3ランタイムを使用してLambdaで実行できました。また、バージョン6.10でも機能します。
コードは次のとおりです。
Lambda関数の上部で次のように宣言します。
var AWS = require("aws-sdk");
var kinesis = new AWS.Kinesis();
function writeKinesis(rawdata){
data = JSON.stringify(rawdata);
params = {Data: data, PartitionKey: "<PARTITION_KEY>", StreamName: "<STREAM_NAME>"};
kinesis.putRecord(params, (err, data) => {
if (err) console.error(err);
else console.log("data sent");
});
}
ここで、exports.handlerで、関数を呼び出します。
writeKinesis(<YOUR_DATA>);
注意すべき点がいくつかあります... Kinesisがデータを取り込むには、データをエンコードする必要があります。以下の例では、CloudWatchからログを取得し、それらをKinesisストリームに送信する関数があります。
Buffer.toString( 'utf8')の内容をwriteKinesis関数に挿入していることに注意してください。
exports.handler = function(input, context) {
...
var zippedInput = new Buffer(input.awslogs.data, 'base64');
zlib.gunzip(zippedInput, function(error, buffer) {
...
writeKinesis(buffer.toString('utf8'));
...
}
...
}
最後に、IAMで、適切な権限を設定します。 Lambda関数は、以下の権限を含むIAMロールのコンテキスト内で実行する必要があります。私の場合、デフォルトのlambda_elasticsearch_executionロールを変更して、次のコードで「lambda_kinesis_execution」というポリシーを含めました。
"Effect": "Allow",
"Action": [
"kinesis:*"
],
"Resource": [
"<YOUR_STREAM_ARN>"
]