生成AIではモデルにより文字列のベクトル化が行えます。 Amazon Bedrockでは、「Titan Embeddings」というモデルが提供されています。 Titan Embeddingsのユースケースのひとつに semantic similarity（意味的類似度） というものがあります。
意味の近い言葉は、近くに来るよということだと思います。
この機能を使って、re:Invent 2023のセッションを可視化してみました。
re:Invent 2023のセッション情報をBedrockで分析してみた。の各Topicごとの図です。ご査収ください。
過去にQiitaに投稿した内容のアーカイブです。
前回の続きです。 Greengrass側で動作するPythonプログラムからAWS IoT Coreへメッセージをパブリッシュできました。
公式ドキュメントがまだ整ってないのでちょっと大変でした。 https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html#ipc-iot-core-mqtt
ハード：Raspberry Pi 4 OS：Raspberry Pi OS(32bit)
$ tree
.
├── artifacts
│ └── com.example.HelloWorld
│ └── 1.0.0
│ ├── hello_world.py
│ └── ipc_utils.py
└── recipes
└── com.example.HelloWorld-1.0.0.yaml
これは公式ドキュメントにも記載があります。
## Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
## SPDX-License-Identifier: Apache-2.0
import os
from awscrt.io import (
ClientBootstrap,
DefaultHostResolver,
EventLoopGroup,
SocketDomain,
SocketOptions,
)
from awsiot.eventstreamrpc import Connection, LifecycleHandler, MessageAmendment
TIMEOUT = 10
class IPCUtils:
def connect(self):
elg = EventLoopGroup()
resolver = DefaultHostResolver(elg)
bootstrap = ClientBootstrap(elg, resolver)
socket_options = SocketOptions()
socket_options.domain = SocketDomain.Local
amender = MessageAmendment.create_static_authtoken_amender(os.getenv("SVCUID"))
hostname = os.getenv("AWS_GG_NUCLEUS_DOMAIN_SOCKET_FILEPATH_FOR_COMPONENT")
connection = Connection(
host_name=hostname,
port=8033,
bootstrap=bootstrap,
socket_options=socket_options,
connect_message_amender=amender,
)
self.lifecycle_handler = LifecycleHandler()
connect_future = connection.connect(self.lifecycle_handler)
connect_future.result(TIMEOUT)
return connection
Javaのサンプルを参考に、頑張ってみました。
import awsiot.greengrasscoreipc.client as client
import awsiot.greengrasscoreipc.model as model
from ipc_utils import IPCUtils
import json
print("Start Lambda !!!")
ipc_utils = IPCUtils()
connection = ipc_utils.connect()
ipc_client = client.GreengrassCoreIPCClient(connection)
message = {"hello": "world"}
message = json.dumps(message).encode('utf-8')
request = ipc_client.new_publish_to_iot_core()
publishMessage = model.PublishToIoTCoreRequest(topic_name='test/topic', qos='1', payload=message)
future = request.activate(publishMessage)
result = future.result(timeout=10.0)
print("Finish Lambda !!!")
レシピの書き方が大苦戦。。
accessControlのところはaws.greengrass.ipc.mqttproxy、
operationsがaws.greengrass#PublishToIoTCore、
resourcesがトピック名です。
Greengrass 1.0のころのサブスクリプションのイメージですね。
---
RecipeFormatVersion: '2020-01-25'
ComponentName: com.example.HelloWorld
ComponentVersion: '1.0.0'
ComponentDescription: A component that publishes messages.
ComponentPublisher: Amazon
ComponentConfiguration:
DefaultConfiguration:
accessControl:
aws.greengrass.ipc.mqttproxy:
"com.example.HelloWorld:pubsub:1":
policyDescription: Allows access to publish to test/topic.
operations:
- "aws.greengrass#PublishToIoTCore"
resources:
- "test/topic"
Manifests:
- Lifecycle:
Install:
Timeout: 1000
Script: pip3 install awsiotsdk
Run: |
python3 {artifacts:path}/hello_world.py
Greengrass 2.0の特徴で、「Lambdaにデプロイせずにローカルでデプロイできる」機能があります。
sudo /greengrass/v2/bin/greengrass-cli \
--ggcRootPath=/greengrass/v2 \
deployment create \
--recipeDir recipes \
--artifactDir artifacts \
--merge "com.example.HelloWorld=1.0.0"
おめでとうございます！！！
過去にQiitaに投稿した内容のアーカイブです。
re:InventでGreengassのバージョンアップが発表されました〜！！！
AWS IoT Greengrass 2.0 を発表 — オープンソースエッジランタイムと新しい開発者向け機能
ちょっと試してみたのですが、1.0とは別物です（笑）
ハード：Raspberry Pi 4 OS：Raspberry Pi OS(32bit)
OSは新規インストール、SSH接続ができる状態でスタートしました。
いつものcgroup_enable=memory cgroup_memory=1を末尾に足します。
※いつもの過ぎて公式ドキュメントに載ってなさそう
- console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles
+ console=serial0,115200 console=tty1 root=PARTUUID=a1849cf9-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles cgroup_enable=memory cgroup_memory=1
Greengrass 2.0はなんとJavaでできております。Open JDKをインストールします。
sudo apt install openjdk-8-jdk
Greengrassの動作にはAWS CLIやAWSの認証情報は不要ですが、インストール作業には必要です。 （インストール時にモノの登録とかIAMロール、ポリシーの作成を行うからです）
インストール時だけ必要な認証情報なので、最近提供されたばかりの AWS CloudShellを使ってみます
ACCOUNT_ID=`aws sts get-caller-identity | jq -r '.Account'`
cat << EOF > GreengrassV2InstallAssumeRolePolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::${ACCOUNT_ID}:root"
},
"Action": "sts:AssumeRole",
"Condition": {}
}
]
}
EOF
cat << EOF > GreengrassV2InstallPolicy.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"greengrass:CreateDeployment",
"iot:AddThingToThingGroup",
"iot:AttachPolicy",
"iot:AttachThingPrincipal",
"iot:CreateJob",
"iot:CreateKeysAndCertificate",
"iot:CreatePolicy",
"iot:CreateRoleAlias",
"iot:CreateThing",
"iot:CreateThingGroup",
"iot:DescribeEndpoint",
"iot:DescribeRoleAlias",
"iot:DescribeThingGroup",
"iot:GetPolicy",
"iam:GetRole",
"iam:GetPolicy",
"iam:CreateRole",
"iam:PassRole",
"iam:CreatePolicy",
"iam:AttachRolePolicy"
],
"Resource": "*"
}
]
}
EOF
aws iam create-policy --policy-name GreengrassV2InstallPolicy --policy-document file://GreengrassV2InstallPolicy.json
aws iam create-role --role-name GreengrassV2InstallRole --assume-role-policy-document file://GreengrassV2InstallAssumeRolePolicy.json
aws iam attach-role-policy --policy-arn arn:aws:iam::${ACCOUNT_ID}:policy/GreengrassV2InstallPolicy --role-name GreengrassV2InstallRole
aws sts assume-role --role-arn arn:aws:iam::${ACCOUNT_ID}:role/GreengrassV2InstallRole --role-session-name session1
こんな感じで出力されます
{
"Credentials": {
"AccessKeyId": "XXXXXXXXXX",
"SecretAccessKey": "XXXXXXXXXX",
"SessionToken": "XXXXXXXXXX",
"Expiration": "XXXX-XX-XXTXX:XX:XX+XX:XX"
},
"AssumedRoleUser": {
"AssumedRoleId": "XXXXXXXXXX",
"Arn": "XXXXXXXXXX"
}
}
cd ~
curl -s https://d2s8p88vqu9w66.cloudfront.net/releases/greengrass-nucleus-latest.zip > greengrass-nucleus-latest.zip
unzip greengrass-nucleus-latest.zip -d GreengrassCore
先程取得した認証情報を環境変数にセットします。
export AWS_ACCESS_KEY_ID=XXXXXXXXXX
export AWS_SECRET_ACCESS_KEY=XXXXXXXXXX
export AWS_SESSION_TOKEN=XXXXXXXXXX
sudo -E java -Droot="/greengrass/v2" -Dlog.store=FILE \
-jar ./GreengrassCore/lib/Greengrass.jar \
--aws-region ap-northeast-1 \
--thing-name GreengrassCore-1767ad88a82 \
--thing-group-name GreengrassGroup \
--component-default-user ggc_user:ggc_group \
--provision true \
--setup-system-service true \
--deploy-dev-tools true
かんたん！！！ サービス登録もされており、起動もしてます。
sudo systemctl status greengrass
● greengrass.service - Greengrass Core
Loaded: loaded (/etc/systemd/system/greengrass.service; enabled; vendor preset: enabled)
Active: active (running) since Sat 2020-12-19 13:21:07 GMT; 4s ago
Main PID: 9148 (sh)
Tasks: 12 (limit: 4915)
Memory: 33.4M
CGroup: /system.slice/greengrass.service
├─9148 /bin/sh /greengrass/v2/alts/current/distro/bin/loader
└─9152 java -Dlog.store=FILE -Droot=/greengrass/v2 -jar /greengrass/v2/alts/current/distro/lib/Greengrass.jar --setup-syst
Dec 19 13:21:07 raspberrypi systemd[1]: Started Greengrass Core.
Dec 19 13:21:07 raspberrypi sh[9148]: Greengrass root: /greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: JVM options: -Droot=/greengrass/v2
Dec 19 13:21:07 raspberrypi sh[9148]: Nucleus options: --setup-system-service false
Dec 19 13:21:11 raspberrypi sh[9148]: Added ggc_user to ggc_group
Greengrass 2.0は、「レシピでコンポーネントを作ってデプロイする」という考え方になっているようです。
Greengrass 1.0は「Lambdaをエッジで」という感じでしたが、Greengrass 2.0はLambdaにとらわれず、「クラウドから任意のプログラムをデプロイできる仕組み」にバージョンアップしたイメージです。 サンプルがこんな感じなので、その気になれば何でもOK的な感じですよね。もちろんLambdaもデプロイできます。
超簡単なLambdaをデプロイしてみました。
import json
def lambda_handler(event, context):
# TODO implement
print (json.dumps(event))
return {
'statusCode': 200,
'body': json.dumps('Hello from Lambda!')
}
print (json.dumps('start lambda'))
イベントソースを設定したり、タイムアウト、ロングライブ設定など、表現は変わってますが、旧バージョンと大体同じことができそうです。
ボリュームやデバイスの設定も、Lambdaに対して行うので、旧バージョンよりわかりやすい感じになりました。
まずはデプロイ対象を指定します。モノのグループを選ぶと、グループに追加になったコアに対しても自動で適用されるようです。
次に、デプロイするコンポーネントを選択します。自分で作ったコンポーネントの他に、AWSが提供するコンポーネントも沢山あります。もともとコネクタで提供されていた機能もここに統合されているような気がします。
コンポーネントごとの個別設定を行います。
これがNucleus（Greengrassコアのことと思います）の個別設定です。MQTTの接続ポートを替えたりできそうです。jvmOptionsまで変えれます。
最後にデプロイの設定です。タイムアウトや失敗時のロールバック設定ができます。
これでデプロイが実行されます。
マネジメントコンソールのテストで、hello/worldトピックにメッセージを投げて、ログが出力されることを確認。
root@raspberrypi:~# tail /greengrass/v2/logs/gg_sample.log -n 1
2020-12-19T13:53:36.759Z [INFO] (pool-2-thread-22) gg_sample: lambda_function.py:5,{"message": "Hello from AWS IoT console"}. {serviceInstance=0, serviceName=gg_sample, currentState=RUNNING}
root@raspberrypi:~#
Lambda間の通信や、IoT CoreへのPublishはこちらの方法を使うようです。勉強中です
Interprocess communication https://docs.aws.amazon.com/greengrass/v2/developerguide/interprocess-communication.html