web-dev-qa-db-ja.com

VPC設定でAWS Lambdaを追加すると、S3にアクセスするときにタイムアウトが発生します

AWS LambdaからVPCのS3およびリソースにアクセスしようとしていますが、VPCにアクセスするようにAWS Lambdaを設定したため、S3にアクセスするときにタイムアウトになります。ここにコードがあります

from __future__ import print_function

import boto3
import logging
import json

print('Loading function')

s3 = boto3.resource('s3')

import urllib

def lambda_handler(event, context):
    logging.getLogger().setLevel(logging.INFO)
    # Get the object from the event and show its content type
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.unquote_plus(event['Records'][0]['s3']['object']['key']).decode('utf8')
    print('Processing object {} from bucket {}. '.format(key, bucket))
    try:
        response = s3.Object(bucket, key)
        content = json.loads(response.get()['Body'].read())
        # with table.batch_writer() as batch:
        for c in content:
            print('     Processing Item : ID' + str(c['id']))
            # ##################
            # Do custom processing here using VPC resources
            # ##################
    except Exception as e:
        print('Error while processing object {} from bucket {}. '.format(key, bucket))
        print(e)
        raise e

以下に示すように、サブネットとセキュリティグループに適切なアウトバウンドルールを設定してインターネットにアクセスしますが、LambdaはS3にアクセスするときにタイムアウトします。

enter image description here

enter image description here

テスト入力のサンプルもここにあります

# Test Event Configuration
{
  "Records": [
    {
      "awsRegion": "us-east-1",
      "eventName": "ObjectCreated:Put",
      "eventSource": "aws:s3",
      "eventTime": "2016-02-11T19:11:46.058Z",
      "eventVersion": "2.0",
      "requestParameters": {
        "sourceIPAddress": "54.88.229.196"
      },
      "responseElements": {
        "x-amz-id-2": "ljEg+Y/InHDO8xA9c+iz6DTKKenmTaGE9UzHOAabarRmpDF1z0eUJBdpGi37Z2BU9nbTh4p7oZg=",
        "x-amz-request-id": "3D98A2325EC127C6"
      },
      "s3": {
        "bucket": {
          "arn": "arn:aws:s3:::social-gauge-data",
          "name": "social-gauge-data",
          "ownerIdentity": {
            "principalId": "A1NCXDU7DLYS07"
          }
        },
        "configurationId": "b5540417-a0ac-4ed0-9619-8f27ba949694",
        "object": {
          "eTag": "9c5116c70e8b3628380299e39e0e9d33",
          "key": "posts/test/testdata",
          "sequencer": "0056BCDCF1F544BD71",
          "size": 72120
        },
        "s3SchemaVersion": "1.0"
      },
      "userIdentity": {
        "principalId": "AWS:AROAIUFL6WAMNRLUBLL3K:AWSFirehoseDelivery"
      }
    }
  ]
}
amazon-web-servicesamazon-s3aws-lambdaamazon-vpc
31
blueskin

LambdaでVPCサポートを有効にすると、関数はS3を含むVPCの外部にアクセスできなくなります。特にS3では、 VPCエンドポイント を使用してこれを解決できます。 VPC以外のほとんどすべての場合、Lambda関数からトラフィックをルーティングするには、VPCでNATインスタンスまたはマネージドNATゲートウェイを作成する必要がありますVPCの外部のエンドポイントに。

Lambda VPCサポートの発表 を読み、最後にある「知っておくべきこと」セクションに特に注意を払います。

45
Mark B