Amazon Forecast × WebFOCUSで予測分析してみた

Amazon Forecast は、統計アルゴリズムと機械学習アルゴリズムを使用して、非常に正確な時系列予測を実現するフルマネージドサービスです。Amazon.com における時系列予測に使用されているのと同じテクノロジーに基づいている Forecast は、履歴データに基づいてfuture state-of-the-art 時系列データを予測するためのアルゴリズムを提供します。
機械学習の経験は必要ありません。

時系列の予測は、小売、金融、物流、ヘルスケアなどの複数の分野で有益です。Forecast を使用して、在庫、労働力、ウェブトラフィック、サーバー容量、および財務に関するドメイン固有のメトリクスを予測することもできます。

https://docs.aws.amazon.com/ja_jp/forecast/latest/dg/what-is-forecast.html

• 自動機械学習 – Forecast は、データセットに最適な機械学習アルゴリズムの組み合わせを見つけて、複雑な機械学習タスクを自動化します。
• State-of-the-art アルゴリズム – Amazon.com で使用されているのと同じテクノロジーに基づく機械学習アルゴリズムの組み合わせを適用します。Forecast は、一般的に使用される統計手法から複雑なニューラルネットワークまで、幅広いトレーニングアルゴリズムを提供します。
• 欠落値のサポート – Forecast では、データセット内の欠落値を自動的に処理するためのいくつかの filling メソッドが用意されています。
• 追加のビルトインデータセット – Forecast は、モデルを改善するためにビルトインデータセットを自動的に組み込むことができます。これらのデータセットは既に特徴エンジニアリングされており、追加の設定は必要ありません。

import boto3
import csv
import os

def lambda_handler(event, context):
    s3_bucket = "webfocus-forecast-awsbucket"
    s3_prefix = "forecast-output/"

    s3 = boto3.client("s3")

    # List all objects in the bucket and prefix
    objects = s3.list_objects(Bucket=s3_bucket, Prefix=s3_prefix)

    # List to store the content of all CSV files
    csv_contents = []

    for obj in objects.get("Contents", []):
        obj_key = obj["Key"]
        if obj_key.endswith(".csv"):
            response = s3.get_object(Bucket=s3_bucket, Key=obj_key)
            content = response["Body"].read().decode("utf-8")
            csv_contents.append(content)

    # Transform CSV contents
    transformed_csv_content = transform_csv(csv_contents)

    # Save the transformed CSV content to a temporary file
    output_file = "/tmp/transformed.csv"
    with open(output_file, "w") as f:
        f.write(transformed_csv_content)

    # Upload the file to S3
    s3_output_path = "forecast-merge/transformed.csv"
    s3.upload_file(output_file, s3_bucket, s3_output_path)

    print("Transformed CSV file saved to '{}'".format(s3_output_path))

# Function to perform CSV transformations
def transform_csv(csv_contents):
    # Create a new list to hold the transformed lines
    transformed_lines = ["item_id,date,p10,p50,p90"]

    # Iterate through CSV contents and transform
    for content in csv_contents:
        # Split the content into lines
        lines = content.strip().split("\n")

        # Skip the header line
        header = lines[0]

        # Iterate through data lines and transform
        for line in lines[1:]:
            fields = line.split(",")
            if len(fields) >= 5:
                item_id, date, p10, p50, p90 = fields
                transformed_date = date.replace("T", " ").replace("Z", "").replace("-", "/")
                transformed_line = f"{item_id},{transformed_date},{p10},{p50},{p90}"
                transformed_lines.append(transformed_line)

    # Combine the transformed lines into content
    transformed_csv_content = "\n".join(transformed_lines)
    return transformed_csv_content