メインコンテンツまでスキップ

「Greengrass」タグの記事が5件件あります

全てのタグを見る

· 約3分
moritalous
お知らせ

過去にQiitaに投稿した内容のアーカイブです。

前回の続きです。 Greengrass側で動作するPythonプログラムからAWS IoT Coreへメッセージをパブリッシュできました。

公式ドキュメントがまだ整ってないのでちょっと大変でした。 https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html#ipc-iot-core-mqtt

環境

ハード:Raspberry Pi 4 OS:Raspberry Pi OS(32bit)

ディレクトリ構成

RaspberryPi
$ tree 
.
├── artifacts
│ └── com.example.HelloWorld
│ └── 1.0.0
│ ├── hello_world.py
│ └── ipc_utils.py
└── recipes
└── com.example.HelloWorld-1.0.0.yaml

ソース

  • ipc_utils.py

これは公式ドキュメントにも記載があります。

ipc_utils.py
## Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
## SPDX-License-Identifier: Apache-2.0

import os

from awscrt.io import (
ClientBootstrap,
DefaultHostResolver,
EventLoopGroup,
SocketDomain,
SocketOptions,
)
from awsiot.eventstreamrpc import Connection, LifecycleHandler, MessageAmendment

TIMEOUT = 10


class IPCUtils:
def connect(self):
elg = EventLoopGroup()
resolver = DefaultHostResolver(elg)
bootstrap = ClientBootstrap(elg, resolver)
socket_options = SocketOptions()
socket_options.domain = SocketDomain.Local
amender = MessageAmendment.create_static_authtoken_amender(os.getenv("SVCUID"))
hostname = os.getenv("AWS_GG_NUCLEUS_DOMAIN_SOCKET_FILEPATH_FOR_COMPONENT")
connection = Connection(
host_name=hostname,
port=8033,
bootstrap=bootstrap,
socket_options=socket_options,
connect_message_amender=amender,
)
self.lifecycle_handler = LifecycleHandler()
connect_future = connection.connect(self.lifecycle_handler)
connect_future.result(TIMEOUT)
return connection
  • hello_world.py

Javaのサンプルを参考に、頑張ってみました。

hello_world.py
import awsiot.greengrasscoreipc.client as client
import awsiot.greengrasscoreipc.model as model
from ipc_utils import IPCUtils
import json

print("Start Lambda !!!")

ipc_utils = IPCUtils()
connection = ipc_utils.connect()
ipc_client = client.GreengrassCoreIPCClient(connection)

message = {"hello": "world"}
message = json.dumps(message).encode('utf-8')

request = ipc_client.new_publish_to_iot_core()

publishMessage = model.PublishToIoTCoreRequest(topic_name='test/topic', qos='1', payload=message)

future = request.activate(publishMessage)
result = future.result(timeout=10.0)

print("Finish Lambda !!!")
  • com.example.HelloWorld-1.0.0.yaml

レシピの書き方が大苦戦。。

accessControlのところはaws.greengrass.ipc.mqttproxy、 operationsがaws.greengrass#PublishToIoTCore、 resourcesがトピック名です。 Greengrass 1.0のころのサブスクリプションのイメージですね。

com.example.HelloWorld-1.0.0.yaml
---
RecipeFormatVersion: '2020-01-25'
ComponentName: com.example.HelloWorld
ComponentVersion: '1.0.0'
ComponentDescription: A component that publishes messages.
ComponentPublisher: Amazon
ComponentConfiguration:
DefaultConfiguration:
accessControl:
aws.greengrass.ipc.mqttproxy:
"com.example.HelloWorld:pubsub:1":
policyDescription: Allows access to publish to test/topic.
operations:
- "aws.greengrass#PublishToIoTCore"
resources:
- "test/topic"
Manifests:
- Lifecycle:
Install:
Timeout: 1000
Script: pip3 install awsiotsdk
Run: |
python3 {artifacts:path}/hello_world.py

デプロイ

Greengrass 2.0の特徴で、「Lambdaにデプロイせずにローカルでデプロイできる」機能があります。

RaspberryPi
sudo /greengrass/v2/bin/greengrass-cli \
--ggcRootPath=/greengrass/v2 \
deployment create \
--recipeDir recipes \
--artifactDir artifacts \
--merge "com.example.HelloWorld=1.0.0"

image.png

おめでとうございます!!!

· 約7分
moritalous
お知らせ

過去にQiitaに投稿した内容のアーカイブです。

re:InventでGreengassのバージョンアップが発表されました〜!!!

AWS IoT Greengrass 2.0 を発表 — オープンソースエッジランタイムと新しい開発者向け機能

ちょっと試してみたのですが、1.0とは別物です(笑)

環境

ハード:Raspberry Pi 4 OS:Raspberry Pi OS(32bit)

OSは新規インストール、SSH接続ができる状態でスタートしました。

インストール

Cgroupsを有効化

いつものcgroup_enable=memory cgroup_memory=1を末尾に足します。 ※いつもの過ぎて公式ドキュメントに載ってなさそう

/boot/cmdline.txt
- console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles
+ console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles cgroup_enable=memory cgroup_memory=1

Javaのインストール

Greengrass 2.0はなんとJavaでできております。Open JDKをインストールします。

RaspberryPi4
sudo apt install openjdk-8-jdk

AWS認証情報の取得

Greengrassの動作にはAWS CLIやAWSの認証情報は不要ですが、インストール作業には必要です。 (インストール時にモノの登録とかIAMロール、ポリシーの作成を行うからです)

インストール時だけ必要な認証情報なので、最近提供されたばかりの AWS CloudShellを使ってみます

  • IAMロール、ポリシーの作成
CloudShell
ACCOUNT_ID=`aws sts get-caller-identity | jq -r '.Account'`

cat << EOF > GreengrassV2InstallAssumeRolePolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::${ACCOUNT_ID}:root"
},
"Action": "sts:AssumeRole",
"Condition": {}
}
]
}
EOF

cat << EOF > GreengrassV2InstallPolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"greengrass:CreateDeployment",
"iot:AddThingToThingGroup",
"iot:AttachPolicy",
"iot:AttachThingPrincipal",
"iot:CreateJob",
"iot:CreateKeysAndCertificate",
"iot:CreatePolicy",
"iot:CreateRoleAlias",
"iot:CreateThing",
"iot:CreateThingGroup",
"iot:DescribeEndpoint",
"iot:DescribeRoleAlias",
"iot:DescribeThingGroup",
"iot:GetPolicy",
"iam:GetRole",
"iam:GetPolicy",
"iam:CreateRole",
"iam:PassRole",
"iam:CreatePolicy",
"iam:AttachRolePolicy"
],
"Resource": "*"
}
]
}
EOF

aws iam create-policy --policy-name GreengrassV2InstallPolicy --policy-document file://GreengrassV2InstallPolicy.json
aws iam create-role --role-name GreengrassV2InstallRole --assume-role-policy-document file://GreengrassV2InstallAssumeRolePolicy.json
aws iam attach-role-policy --policy-arn arn:aws:iam::${ACCOUNT_ID}:policy/GreengrassV2InstallPolicy --role-name GreengrassV2InstallRole

  • 認証情報の生成
CloudShell
aws sts assume-role --role-arn arn:aws:iam::${ACCOUNT_ID}:role/GreengrassV2InstallRole --role-session-name session1

こんな感じで出力されます

{
"Credentials": {
"AccessKeyId": "XXXXXXXXXX",
"SecretAccessKey": "XXXXXXXXXX",
"SessionToken": "XXXXXXXXXX",
"Expiration": "XXXX-XX-XXTXX:XX:XX+XX:XX"
},
"AssumedRoleUser": {
"AssumedRoleId": "XXXXXXXXXX",
"Arn": "XXXXXXXXXX"
}
}

インストール

  • Greengrassモジュールのダウンロードと展開
RaspberryPi4
cd ~
curl -s https://d2s8p88vqu9w66.cloudfront.net/releases/greengrass-nucleus-latest.zip > greengrass-nucleus-latest.zip
unzip greengrass-nucleus-latest.zip -d GreengrassCore
  • 認証情報の設定

先程取得した認証情報を環境変数にセットします。

RaspberryPi4
export AWS_ACCESS_KEY_ID=XXXXXXXXXX
export AWS_SECRET_ACCESS_KEY=XXXXXXXXXX
export AWS_SESSION_TOKEN=XXXXXXXXXX
  • インストール
RaspberryPi4
sudo -E java -Droot="/greengrass/v2" -Dlog.store=FILE \
-jar ./GreengrassCore/lib/Greengrass.jar \
--aws-region ap-northeast-1 \
--thing-name GreengrassCore-1767ad88a82 \
--thing-group-name GreengrassGroup \
--component-default-user ggc_user:ggc_group \
--provision true \
--setup-system-service true \
--deploy-dev-tools true

かんたん!!! サービス登録もされており、起動もしてます。

RaspberryPi4
sudo systemctl status greengrass
● greengrass.service - Greengrass Core
Loaded: loaded (/etc/systemd/system/greengrass.service; enabled; vendor preset: enabled)
Active: active (running) since Sat 2020-12-19 13:21:07 GMT; 4s ago
Main PID: 9148 (sh)
Tasks: 12 (limit: 4915)
Memory: 33.4M
CGroup: /system.slice/greengrass.service
├─9148 /bin/sh /greengrass/v2/alts/current/distro/bin/loader
└─9152 java -Dlog.store=FILE -Droot=/greengrass/v2 -jar /greengrass/v2/alts/current/distro/lib/Greengrass.jar --setup-syst

Dec 19 13:21:07 raspberrypi systemd[1]: Started Greengrass Core.
Dec 19 13:21:07 raspberrypi sh[9148]: Greengrass root: /greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: JVM options: -Droot=/greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: Nucleus options: --setup-system-service false
Dec 19 13:21:11 raspberrypi sh[9148]: Added ggc_user to ggc_group

使ってみた

Greengrass 2.0は、「レシピでコンポーネントを作ってデプロイする」という考え方になっているようです。

image.png

Greengrass 1.0は「Lambdaをエッジで」という感じでしたが、Greengrass 2.0はLambdaにとらわれず、「クラウドから任意のプログラムをデプロイできる仕組み」にバージョンアップしたイメージです。 サンプルがこんな感じなので、その気になれば何でもOK的な感じですよね。もちろんLambdaもデプロイできます。

image.png

Lambdaをデプロイしてみた

超簡単なLambdaをデプロイしてみました。

lambda_function.py
import json

def lambda_handler(event, context):
# TODO implement
print (json.dumps(event))
return {
'statusCode': 200,
'body': json.dumps('Hello from Lambda!')
}

print (json.dumps('start lambda'))

コンポーネントの作成

イベントソースを設定したり、タイムアウト、ロングライブ設定など、表現は変わってますが、旧バージョンと大体同じことができそうです。

image.png

ボリュームやデバイスの設定も、Lambdaに対して行うので、旧バージョンよりわかりやすい感じになりました。

image.png

デプロイ

まずはデプロイ対象を指定します。モノのグループを選ぶと、グループに追加になったコアに対しても自動で適用されるようです。

image.png

次に、デプロイするコンポーネントを選択します。自分で作ったコンポーネントの他に、AWSが提供するコンポーネントも沢山あります。もともとコネクタで提供されていた機能もここに統合されているような気がします。

image.png

コンポーネントごとの個別設定を行います。

image.png

これがNucleus(Greengrassコアのことと思います)の個別設定です。MQTTの接続ポートを替えたりできそうです。jvmOptionsまで変えれます。

image.png

最後にデプロイの設定です。タイムアウトや失敗時のロールバック設定ができます。

image.png

これでデプロイが実行されます。

動作確認

マネジメントコンソールのテストで、hello/worldトピックにメッセージを投げて、ログが出力されることを確認。

RaspberryPi(piユーザーでは権限がなくログが見れないのでrootで確認)
root@raspberrypi:~# tail /greengrass/v2/logs/gg_sample.log -n 1
2020-12-19T13:53:36.759Z [INFO] (pool-2-thread-22) gg_sample: lambda_function.py:5,{"message": "Hello from AWS IoT console"}. {serviceInstance=0, serviceName=gg_sample, currentState=RUNNING}
root@raspberrypi:~#

Lambda間の通信や、IoT CoreへのPublishはこちらの方法を使うようです。勉強中です

Interprocess communication https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html

· 約4分
moritalous
お知らせ

過去にQiitaに投稿した内容のアーカイブです。

いきなりですがまとめです。

  • OTA更新は/greengrass/ggc/core/greengrassdではなく/greengrass/ota/ota_agent/ggc-otaが起動している必要がある
  • 更新モジュールはS3からとってきている
  • マネジメントコンソールでGreengrass Core 更新ジョブを作成する(APIも存在する)
  • Greengrass Core ソフトウェアだけでなくGreengrass Core OTA エージェントの更新も可能(別々に実施する必要がある)
  • ジョブ作成後、即座に反映される
  • 更新の前後に自前のスクリプトを実施させることが可能。
    更新前にsystemctl stopして、更新後にsystemctl startするんだと思う。
    ただし、OTAエージェントの更新前にstopすると、OTAエージェントの更新が途中で止まってしまったので、こっちは何もしなくて良さそう。
  • 2020/6/6に試したところ、OTA エージェントのバージョンを更新すると、ダウングレードする気がする

検証内容

環境

Docker上で検証(Docker Desktop 2.2.0.4 on Mac)

Greengrass(更新前) v1.10.0 OTAエージェント v1.2.0

Docker関連

FROM amazon/aws-iot-greengrass:1.10.0-amazonlinux

RUN yum install -y procps sysvinit-tools wget

OTA更新時に必要なものがあるので、追加インストールします。

docker-compose.yml
version: '3'
services:
greengrass:
build:
context: .
dockerfile: Dockerfile
volumes:
- ./greengrass/certs:/greengrass/certs
- ./greengrass/config:/greengrass/config
- ./greengrass/deployment:/greengrass/ggc/deployment
- ./greengrass/log:/greengrass/ggc/var/log
- ./greengrass/usr:/greengrass/usr
- ./greengrass/var/log/greengrass:/var/log/greengrass
- ./workspace:/workspace
restart: always
privileged: true
command: /sbin/init
environment:
TZ: Asia/Tokyo
tty: true

volumesでcertsconfigをマウント。その他はログを見たりするためにマウントしました。

OTAエージェントのログは、Greengrass Coreのログとは別に/var/log/greengrassに出力されます。(Greengrass Coreのログは/greengrass/ggc/var/log

systemdを使用したいのでprivileged: truecommand: /sbin/initを追加しました。

systemd関連

[Unit]
Description=Greengrass Daemon

[Service]
Type=forking
PIDFile=/var/run/greengrassd.pid
Restart=on-failure
ExecStart=/greengrass/ggc/core/greengrassd start
ExecReload=/greengrass/ggc/core/greengrassd restart
ExecStop=/greengrass/ggc/core/greengrassd stop

[Install]
WantedBy=multi-user.target
[Unit]
Description=Greengrass OTA Agent

[Service]
Type=forking
PIDFile=/var/run/ggc-ota.pid
Restart=on-failure
KillMode=mixed
ExecStart=/greengrass/ota/ota_agent/ggc-ota
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
[Install]
WantedBy=multi-user.target
bash-4.2# systemctl enable greengrass.service
bash-4.2# systemctl enable greengrass_ota.service

bash-4.2# systemctl start greengrass.service
bash-4.2# systemctl start greengrass_ota.service

Greengrass設定

config.json
{

"coreThing": {

},
"runtime": {

},
"managedRespawn": true

}
/greengrass/usr/scripts/ggc_pre_update.sh
systemctl stop greengrass.service
systemctl start greengrass.service

ota_pre_update.shota_post_update.shも配置できるので、同様にstopしてみたのですが、OTAエージェントの更新が途中で止まってしまいました。OTAエージェントは事前のstopも事後のstartも不要な感じです。

検証

OTA更新前の状態

bash-4.2# ls -l /greengrass/ggc/packages/
total 4
drwxr-xr-x 1 root root 4096 Jun 6 21:13 1.10.0

bash-4.2# ls -l /greengrass/ota/
total 4
lrwxrwxrwx 1 root root 16 Nov 26 2019 ota_agent -> ota_agent_v1.2.0
drwxr-xr-x 1 root root 4096 Jun 6 21:13 ota_agent_v1.2.0

bash-4.2#

OTA更新後の状態

bash-4.2# ls -l /greengrass/ggc/packages/
total 4
drwxr-xr-x 8 root root 4096 Jun 6 21:57 1.10.1_1

bash-4.2# ls -l /greengrass/ota/
total 4
lrwxrwxrwx 1 root root 21 Jun 6 21:55 ota_agent -> ./ota_agent_v1.0.0_1/
drwxr-xr-x 4 root root 4096 Jun 6 21:55 ota_agent_v1.0.0_1

bash-4.2#

OTAエージェントがバージョンダウンしてるよね?

参考にしたサイト

 https://docs.aws.amazon.com/ja_jp/greengrass/latest/developerguide/core-ota-update.html  https://qiita.com/mikene_koko/items/4c71c969f55e3fe24190  https://qiita.com/snaka/items/48c0998ffa1e34975a6f  https://qiita.com/a_yasui/items/f2d8b57aa616e523ede4

· 約2分
moritalous
お知らせ

過去にQiitaに投稿した内容のアーカイブです。

※追記 Greengrass Nodejs SDKのGitHubに書いてますね。。 https://github.com/aws/aws-greengrass-core-sdk-js

Rename the file to nodejs8.10 Make sure the file is not a symlink.

シンボリックリンクもだめらしいです。


GreengrassにNode.js(v8.10)のLambdaをデプロイすると、エラーになります。

Deployment xxxxx of type NewDeployment for group xxxxx failed error: worker with xxxxx failed to initialize

ログを確認すると、nodejs8.10というバイナリがないよと言っているようです。

/greengrass/ggc/var/log/system/runtime.log
[ERROR]-runtime execution error: unable to start lambda container.  {"errorString": "failed to run container sandbox: container_linux.go:344: starting container process caused \"exec: \\\"nodejs8.10\\\": executable file not found in $PATH\""}

無理やり作ってやると、うまくいくようになりました。

sudo ln -s /usr/bin/nodejs /usr/bin/nodejs8.10

Node.jsのセットアップの問題?

環境

OS: Ubuntu 18.04(VirtualBox on Mac) Greengrass: 1.9.4 Node.js:10.17.0

Node.jsのインストールは公式サイト( https://github.com/nodesource/distributions/blob/master/README.md )に従いました。(2019/11/24時点で最新のv10.17.0がインストールされました)

curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -
sudo apt-get install -y nodejs

Raspberry Piでは続きがあります

Raspberry Piでも同様の問題が起きますが、上記手順でデプロイは成功するようになります。ただし、Lambdaの実行時にエラーとなって実行されません。 こちらは解決法がわかりません。。。ヘルプ。。。

Raspberry Pi Zero W OS:Raspbian Buster Greengrass: 1.9.3 Node.js:10.16.3

Lambdaが呼び出されると、以下のエラー

/greengrass/ggc/var/log/user/[リージョン]/[アカウントID]/[Lambda名].log
[ERROR]-standard_init_linux.go:207: exec user process caused "operation not permitted"

· 約4分
moritalous
お知らせ

過去にQiitaに投稿した内容のアーカイブです。

Greengrass Coreがv1.9.3でArmv6lをサポートしました。ラズパイZeroでもGreengrassが動作するようになりました。

https://docs.aws.amazon.com/ja_jp/greengrass/latest/developerguide/what-is-gg.html

久しぶりにGreengrassに触るので、Greengrassコネクタを使ってLチカをしてみました。 GreengrassコネクタにRaspberry Pi GPIOコネクタが用意されているので簡単です。

ラズパイZeroの準備

以下の公式ドキュメントに従って行います。

Raspberry Pi のセットアップ https://docs.aws.amazon.com/ja_jp/greengrass/latest/developerguide/setup-filter.rpi.html

モジュール 2: AWS IoT Greengrass Core ソフトウェアのインストール https://docs.aws.amazon.com/ja_jp/greengrass/latest/developerguide/module2.html

Greengrassの設定

リソースの追加

Raspberry Pi GPIOコネクタがGPIOにアクセスするため、リソースを設定します。

対象のGreengrassグループを選択し、リソースタブを表示し、ローカルリソースの追加ボタンを押します。

設定項目設定値
リソース名任意の名前
リソースタイプデバイス
デバイスパス/dev/gpiomem
グループ所有者のファイルアクセス許可リソースを所有するLinuxグループのOSグループアクセス許可を自動的に追加
Lambda関数の関連無指定でOK

コネクタの追加

Raspberry Pi GPIOコネクタを追加します。

対象のGreengrassグループを選択し、コネクタタブを表示し、コネクタの追加ボタンを押します。

Raspberry Pi GPIOを選択したあと、パラメータはこんな感じで指定しました。

設定項目設定値
Resource for /dev/gpiomem device作成したリソース
Input GPIO pins2 ※ボタンのGPIOピン番号
Input GPIO polling period50(millisecond)
Output GPIO pins17 ※LEDのGPIOピン番号

Lambdaの作成

ボタンが押された/離されたイベントで起動し、LEDのオン/オフを設定する処理を行います。試行錯誤したのであまりきれいではありませんが。。

import os
import greengrasssdk
import json
import sys
import logging

## Setup logging to stdout
logger = logging.getLogger(__name__)
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)

iot_client = greengrasssdk.client('iot-data')

thingName = os.environ['AWS_IOT_THING_NAME']

def get_read_topic(gpio_num):
return '/'.join(['gpio', thingName, str(gpio_num), 'read'])

def get_write_topic(gpio_num):
return '/'.join(['gpio', thingName, str(gpio_num), 'write'])

def send_message_to_connector(topic, message=''):
iot_client.publish(topic=topic, payload=str(message))

def set_gpio_state(gpio, state):
send_message_to_connector(get_write_topic(gpio), str(state))

def read_gpio_state(gpio):
send_message_to_connector(get_read_topic(gpio))

def function_handler(event, context):
logger.info("Received message!")
logger.info(event)
logger.info(type(event))

# event
# 1 : button off
# 0 : button on

state = 0
if(event == 0):
state = 1
set_gpio_state(17, state)

return

LambdaにはAWS IoT Greengrass Core SDK for Pythonを含める必要があります。このあたりを参考にしました。

Lambda 関数の作成とパッケージ化 https://docs.aws.amazon.com/ja_jp/greengrass/latest/developerguide/create-lambda.html

Lambdaの追加

作成したLambdaをGreengrassに追加します。

対象のGreengrassグループを選択し、Lambdaタブを表示し、Lambdaの追加ボタンを押します。

設定項目設定値
Lambdaの追加既存の Lambda 関数の使用
Lambda の選択作成したLambda
Lambda バージョンの選択作成したLambdaのバージョン

サブスクリプションの追加

対象のGreengrassグループを選択し、サブスクリプションタブを表示し、サブスクリプションの追加ボタンを押します。

ボタンイベント -> Greengrassコネクタ -> Lambda呼び出し

ソースターゲットトピック
Raspberry Pi GPIOLambdagpio/+/ボタンのGPIOピン番号/state

Lambda -> Greengrassコネクタ -> LEDオンオフ

ソースターゲットトピック
LambdaRaspberry Pi GPIOgpio/+/LEDのGPIOピン番号/write

サブスクリプションをいじれば、クラウド経由でLチカも簡単です。

デプロイ

これで設定は完了です。デプロイしましょう。