Ubuntu 20.04のPythonのバージョンは3.8です。 事情があってPython 3.7が必要だったので、ソースからビルドしてインストールしてみました。

準備​

sudo apt install build-essential  -y
sudo apt install libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev -y
sudo apt install libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev libffi-dev uuid-dev -y

wget https://www.python.org/ftp/python/3.7.10/Python-3.7.10.tgz
tar zxvf Python-3.7.10.tgz 
cd Python-3.7.10/
./configure --enable-optimizations
make -j4
sudo make altinstall

Raspberry PiにインストールしたPrometheusとNode exporterで取得したnode_cpu_scaling_frequency_hertzをGrafanaで可視化してみました。

設定無しでするとこんな感じ。

これを、CPUのコアごとのグラフにしてみたいと思います。

手順​

Variableの追加​

右上の設定ボタン（ギアアイコン）から、Variablesを追加します。

• General

• Query Options

• Selection Options

Panelの設定​

QueryのMetricsはこんな感じです。

※/ 1024 / 1024 / 1024の部分は単位をGHzにしているだけですのであまり本題とは関係ありません。

右側のPanel設定の一番下にRepeat optionsがあります。ここにVariableで追加したものが選択できます。 （選択肢が出ないときは右上のApplyを一度押すといいかもしれません）

Variablesの設定をしたので、画面上部に選択肢が出てくるようになりました。

表示をGaugeにしたらこんな感じです。

CPUコアごとの表示というのはあまり用途は無いですが、監視対象の全ホストのCPU利用率を一覧で見るなどは使いみちがあるかと思いました。

あけましておめでとうございます。

AWS Lambdaがコンテナイメージをサポートしたので、Puppeteerでキャプチャを取るLambdaをつくてみました。

クラスメソッドさんの以下の記事の通りで、ローカルでの実行はうまくいきましたが、Lambdaへのデプロイするとうまく動作しませんでした。（Chromeの起動タイミングでエラー？）

Lambda コンテナイメージで Puppeteer を使ってみた | Developers.IO https://dev.classmethod.jp/articles/try-using-puppeteer-with-a-lambda-container-image/

試行錯誤の結果が、こちらとなります。

ソース​

全体はこちらにアップロード済みです。 https://github.com/moritalous/m5core2-yweather/tree/master/lambda

Dockerfile​

クラスメソッドさんはGoogle Chromeとpuppeteer-coreの組み合わせでしたが、puppeteer単体で動かしたかったので、インストールするパッケージを変えました。 インストールするパッケージはこちらを参考にしました。 日本語フォントgoogle-noto-sans-japanese-fontsもインストールします。

FROM amazon/aws-lambda-nodejs:12
RUN yum -y install libX11 libXcomposite libXcursor libXdamage libXext libXi libXtst cups-libs libXScrnSaver libXrandr alsa-lib pango atk at-spi2-atk gtk3 google-noto-sans-japanese-fonts
COPY app.js package*.json ./
RUN npm install
CMD [ "app.lambdaHandler" ]

ソースコード​

依存ライブラリーはpuppeteerとsharpです。 sharpは取得したスクリーンショットをリサイズするために追加しました。

  "dependencies": {
    "puppeteer": "^5.5.0",
    "sharp": "^0.27.0"
  }

puppeteer.launchに指定するargsについて ローカルでの実行の場合は--no-sandboxと--disable-setuid-sandboxの指定だけでうまくいきましたが、Lambda上ではエラーになりました。 /tmpディレクトリ以外が読み取り専用だからではないでしょうか？

試行錯誤した結果、こんな感じです。

const browser = await puppeteer.launch({
    headless: true,
    args: [
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '-–disable-dev-shm-usage',
        '--disable-gpu',
        '--no-first-run',
        '--no-zygote',
        '--single-process',
    ]
});

キャプチャを撮って、リサイズして、PNGにしました。 API Gateway経由で返却したので、Base64エンコードしてレスポンスにセットします。

buff = await page.screenshot({
    clip: rect
});

buff = await sharp(buff).resize(320, 240).png().toBuffer();

base64 = buff.toString('base64');

await browser.close();

const response = {
    statusCode: 200,
    headers: {
        'Content-Length': Buffer.byteLength(base64),
        'Content-Type': 'image/png',
        'Content-disposition': 'attachment;filename=weather.png'
    },
    isBase64Encoded: true,
    body: base64
};

ECRへプッシュ​

Lambdaのコンテナイメージサポートですが、

• コンテナレジストリはECRでかつプライベート

ということのようです。

はじめはGitHub Container Registryで試してだめで、次にECRのパブリックで試してだめでした。。

$ aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin [AWSアカウントID].dkr.ecr.ap-northeast-1.amazonaws.com
$ docker build -t [AWSアカウントID].dkr.ecr.ap-northeast-1.amazonaws.com/[リポジトリ名]:latest .
$ docker push [AWSアカウントID].dkr.ecr.ap-northeast-1.amazonaws.com/[リポジトリ名]:latest

Lambdaの作成​

基本的にウィザードに従うだけです。

一点注意ですが、ECRに新しいイメージをプッシュするたびに、Lambdaで使用するイメージを指定し直す必要があります。 sha256ダイジェストの値を見ているようで、latestタグだとしても毎回指定する必要があります。

API Gatewayの作成​

Lambdaの画面でトリガーを追加します。かんたんです。 REST APIだと昔はバイナリサポートを有効化するとか色々手順があった気がしますが、何もしなくてもPNGイメージの返却ができました。

完成​

ヤフーの天気をPNG画像にしてみました。

前回の続きです。 Greengrass側で動作するPythonプログラムからAWS IoT Coreへメッセージをパブリッシュできました。

公式ドキュメントがまだ整ってないのでちょっと大変でした。 https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html#ipc-iot-core-mqtt

環境​

ハード：Raspberry Pi 4 OS：Raspberry Pi OS(32bit)

ディレクトリ構成​

$ tree 
.
├── artifacts
│   └── com.example.HelloWorld
│       └── 1.0.0
│           ├── hello_world.py
│           └── ipc_utils.py
└── recipes
    └── com.example.HelloWorld-1.0.0.yaml

ソース​

• ipc_utils.py

これは公式ドキュメントにも記載があります。

## Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
## SPDX-License-Identifier: Apache-2.0

import os

from awscrt.io import (
    ClientBootstrap,
    DefaultHostResolver,
    EventLoopGroup,
    SocketDomain,
    SocketOptions,
)
from awsiot.eventstreamrpc import Connection, LifecycleHandler, MessageAmendment

TIMEOUT = 10


class IPCUtils:
    def connect(self):
        elg = EventLoopGroup()
        resolver = DefaultHostResolver(elg)
        bootstrap = ClientBootstrap(elg, resolver)
        socket_options = SocketOptions()
        socket_options.domain = SocketDomain.Local
        amender = MessageAmendment.create_static_authtoken_amender(os.getenv("SVCUID"))
        hostname = os.getenv("AWS_GG_NUCLEUS_DOMAIN_SOCKET_FILEPATH_FOR_COMPONENT")
        connection = Connection(
            host_name=hostname,
            port=8033,
            bootstrap=bootstrap,
            socket_options=socket_options,
            connect_message_amender=amender,
        )
        self.lifecycle_handler = LifecycleHandler()
        connect_future = connection.connect(self.lifecycle_handler)
        connect_future.result(TIMEOUT)
        return connection

• hello_world.py

Javaのサンプルを参考に、頑張ってみました。

import awsiot.greengrasscoreipc.client as client
import awsiot.greengrasscoreipc.model as model
from ipc_utils import IPCUtils
import json

print("Start Lambda !!!")

ipc_utils = IPCUtils()
connection = ipc_utils.connect()
ipc_client = client.GreengrassCoreIPCClient(connection)

message = {"hello": "world"}
message = json.dumps(message).encode('utf-8')

request = ipc_client.new_publish_to_iot_core()

publishMessage = model.PublishToIoTCoreRequest(topic_name='test/topic', qos='1', payload=message)

future = request.activate(publishMessage)
result = future.result(timeout=10.0)

print("Finish Lambda !!!")

• com.example.HelloWorld-1.0.0.yaml

レシピの書き方が大苦戦。。

accessControlのところはaws.greengrass.ipc.mqttproxy、 operationsがaws.greengrass#PublishToIoTCore、 resourcesがトピック名です。 Greengrass 1.0のころのサブスクリプションのイメージですね。

---
RecipeFormatVersion: '2020-01-25'
ComponentName: com.example.HelloWorld
ComponentVersion: '1.0.0'
ComponentDescription: A component that publishes messages.
ComponentPublisher: Amazon
ComponentConfiguration:
  DefaultConfiguration:
    accessControl:
      aws.greengrass.ipc.mqttproxy:
        "com.example.HelloWorld:pubsub:1":
          policyDescription: Allows access to publish to test/topic.
          operations:
            - "aws.greengrass#PublishToIoTCore"
          resources:
            - "test/topic"
Manifests:
  - Lifecycle:
      Install:
        Timeout: 1000
        Script: pip3 install awsiotsdk
      Run: |
        python3 {artifacts:path}/hello_world.py

デプロイ​

Greengrass 2.0の特徴で、「Lambdaにデプロイせずにローカルでデプロイできる」機能があります。

sudo /greengrass/v2/bin/greengrass-cli \
    --ggcRootPath=/greengrass/v2 \
    deployment create \
    --recipeDir recipes \
    --artifactDir artifacts \
    --merge "com.example.HelloWorld=1.0.0"

おめでとうございます！！！

re:InventでGreengassのバージョンアップが発表されました〜！！！

AWS IoT Greengrass 2.0 を発表 — オープンソースエッジランタイムと新しい開発者向け機能

ちょっと試してみたのですが、1.0とは別物です（笑）

環境​

ハード：Raspberry Pi 4 OS：Raspberry Pi OS(32bit)

OSは新規インストール、SSH接続ができる状態でスタートしました。

インストール​

Cgroupsを有効化​

いつものcgroup_enable=memory cgroup_memory=1を末尾に足します。 ※いつもの過ぎて公式ドキュメントに載ってなさそう

- console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles
+ console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles cgroup_enable=memory cgroup_memory=1

Javaのインストール​

Greengrass 2.0はなんとJavaでできております。Open JDKをインストールします。

sudo apt install openjdk-8-jdk

AWS認証情報の取得​

Greengrassの動作にはAWS CLIやAWSの認証情報は不要ですが、インストール作業には必要です。 （インストール時にモノの登録とかIAMロール、ポリシーの作成を行うからです）

インストール時だけ必要な認証情報なので、最近提供されたばかりの AWS CloudShellを使ってみます

• IAMロール、ポリシーの作成

ACCOUNT_ID=`aws sts get-caller-identity | jq -r '.Account'`

cat << EOF > GreengrassV2InstallAssumeRolePolicy.json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::${ACCOUNT_ID}:root"
      },
      "Action": "sts:AssumeRole",
      "Condition": {}
    }
  ]
}
EOF

cat << EOF > GreengrassV2InstallPolicy.json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "greengrass:CreateDeployment",
        "iot:AddThingToThingGroup",
        "iot:AttachPolicy",
        "iot:AttachThingPrincipal",
        "iot:CreateJob",
        "iot:CreateKeysAndCertificate",
        "iot:CreatePolicy",
        "iot:CreateRoleAlias",
        "iot:CreateThing",
        "iot:CreateThingGroup",
        "iot:DescribeEndpoint",
        "iot:DescribeRoleAlias",
        "iot:DescribeThingGroup",
        "iot:GetPolicy",
        "iam:GetRole",
        "iam:GetPolicy",
        "iam:CreateRole",
        "iam:PassRole",
        "iam:CreatePolicy",
        "iam:AttachRolePolicy"
      ],
      "Resource": "*"
    }
  ]
}
EOF

aws iam create-policy --policy-name GreengrassV2InstallPolicy --policy-document file://GreengrassV2InstallPolicy.json
aws iam create-role --role-name GreengrassV2InstallRole --assume-role-policy-document file://GreengrassV2InstallAssumeRolePolicy.json
aws iam attach-role-policy --policy-arn arn:aws:iam::${ACCOUNT_ID}:policy/GreengrassV2InstallPolicy --role-name GreengrassV2InstallRole

• 認証情報の生成

aws sts assume-role --role-arn arn:aws:iam::${ACCOUNT_ID}:role/GreengrassV2InstallRole --role-session-name session1

こんな感じで出力されます

{
    "Credentials": {
        "AccessKeyId": "XXXXXXXXXX",
        "SecretAccessKey": "XXXXXXXXXX",
        "SessionToken": "XXXXXXXXXX",
        "Expiration": "XXXX-XX-XXTXX:XX:XX+XX:XX"
    },
    "AssumedRoleUser": {
        "AssumedRoleId": "XXXXXXXXXX",
        "Arn": "XXXXXXXXXX"
    }
}

インストール​

• Greengrassモジュールのダウンロードと展開

cd ~
curl -s https://d2s8p88vqu9w66.cloudfront.net/releases/greengrass-nucleus-latest.zip > greengrass-nucleus-latest.zip
unzip greengrass-nucleus-latest.zip -d GreengrassCore

• 認証情報の設定

先程取得した認証情報を環境変数にセットします。

export AWS_ACCESS_KEY_ID=XXXXXXXXXX
export AWS_SECRET_ACCESS_KEY=XXXXXXXXXX
export AWS_SESSION_TOKEN=XXXXXXXXXX

• インストール

sudo -E java -Droot="/greengrass/v2" -Dlog.store=FILE \
    -jar ./GreengrassCore/lib/Greengrass.jar \
    --aws-region ap-northeast-1 \
    --thing-name GreengrassCore-1767ad88a82 \
    --thing-group-name GreengrassGroup \
    --component-default-user ggc_user:ggc_group \
    --provision true \
    --setup-system-service true \
    --deploy-dev-tools true

かんたん！！！ サービス登録もされており、起動もしてます。

sudo systemctl status greengrass
● greengrass.service - Greengrass Core
   Loaded: loaded (/etc/systemd/system/greengrass.service; enabled; vendor preset: enabled)
   Active: active (running) since Sat 2020-12-19 13:21:07 GMT; 4s ago
 Main PID: 9148 (sh)
    Tasks: 12 (limit: 4915)
   Memory: 33.4M
   CGroup: /system.slice/greengrass.service
           ├─9148 /bin/sh /greengrass/v2/alts/current/distro/bin/loader
           └─9152 java -Dlog.store=FILE -Droot=/greengrass/v2 -jar /greengrass/v2/alts/current/distro/lib/Greengrass.jar --setup-syst

Dec 19 13:21:07 raspberrypi systemd[1]: Started Greengrass Core.
Dec 19 13:21:07 raspberrypi sh[9148]: Greengrass root: /greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: JVM options:  -Droot=/greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: Nucleus options: --setup-system-service false
Dec 19 13:21:11 raspberrypi sh[9148]: Added ggc_user to ggc_group

使ってみた​

Greengrass 2.0は、「レシピでコンポーネントを作ってデプロイする」という考え方になっているようです。

Greengrass 1.0は「Lambdaをエッジで」という感じでしたが、Greengrass 2.0はLambdaにとらわれず、「クラウドから任意のプログラムをデプロイできる仕組み」にバージョンアップしたイメージです。 サンプルがこんな感じなので、その気になれば何でもOK的な感じですよね。もちろんLambdaもデプロイできます。

Lambdaをデプロイしてみた​

超簡単なLambdaをデプロイしてみました。

import json

def lambda_handler(event, context):
    # TODO implement
    print (json.dumps(event))
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

print (json.dumps('start lambda'))

コンポーネントの作成​

イベントソースを設定したり、タイムアウト、ロングライブ設定など、表現は変わってますが、旧バージョンと大体同じことができそうです。

ボリュームやデバイスの設定も、Lambdaに対して行うので、旧バージョンよりわかりやすい感じになりました。

デプロイ​

まずはデプロイ対象を指定します。モノのグループを選ぶと、グループに追加になったコアに対しても自動で適用されるようです。

次に、デプロイするコンポーネントを選択します。自分で作ったコンポーネントの他に、AWSが提供するコンポーネントも沢山あります。もともとコネクタで提供されていた機能もここに統合されているような気がします。

コンポーネントごとの個別設定を行います。

これがNucleus（Greengrassコアのことと思います）の個別設定です。MQTTの接続ポートを替えたりできそうです。jvmOptionsまで変えれます。

最後にデプロイの設定です。タイムアウトや失敗時のロールバック設定ができます。

これでデプロイが実行されます。

動作確認​

マネジメントコンソールのテストで、hello/worldトピックにメッセージを投げて、ログが出力されることを確認。

root@raspberrypi:~# tail /greengrass/v2/logs/gg_sample.log -n 1
2020-12-19T13:53:36.759Z [INFO] (pool-2-thread-22) gg_sample: lambda_function.py:5,{"message": "Hello from AWS IoT console"}. {serviceInstance=0, serviceName=gg_sample, currentState=RUNNING}
root@raspberrypi:~# 

Lambda間の通信や、IoT CoreへのPublishはこちらの方法を使うようです。勉強中です

Interprocess communication https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html