Geminiマルチモーダルプログラミングハンズオン

genai-users.connpass.com

この記事は上記ハンズオン勉強会の資料です。

準備設定

秘密鍵がダウンロードされます。

git clone https://github.com/shu-kob/gemini-multimodal

cd gemini-multimodal

ダウンロードした秘密鍵を gemini-multimodal/ 配下に配置し、

環境変数の設定ファイルに記載（ ここでは .zprofile ）

export GOOGLE_APPLICATION_CREDENTIALS="/Users/username/programing/gemini-multimodal/projectid-abcdefg.json"

source ~/.zprofile

cloud.google.com

pip install --upgrade pip

pip install vertexai

音声解析

cloud.google.com

Google Cloud Storageに音声をアップロードします。

aicross.co.jp

ここでは、コールセンターを模擬した音声を自分で収録したファイルを使います。

project_id と audio_file_uri を変更します。

python3 audio.py

Traceback (most recent call last):
  File "/Users/kobuchishu/programing/gemini-multimodal/audio.py", line 1, in <module>
    import vertexai
ModuleNotFoundError: No module named 'vertexai'

というエラーが出るときは下記を参照

qiita.com

公式サイトからインストールしていたらなるっぽいです。

以下をお試しください。

zenn.dev

画像・動画解析

cloud.google.com

画像解析

Google Cloud Storageに画像をアップロードします。

project_id と image_file_uri を変更します。

python3 image.py

動画解析

pixabay.com

フリー動画サイトなどから動画を収集します。

Google Cloud Storageに動画をアップロードします。

project_id と video_file_uri を変更します。

python3 video.py

今後のイベント情報

langchain.connpass.com ↑小渕登壇します

オンサイトのみで一般参加は2名オーバー この日天気悪いかも

気をつけてお越しください

※【追記】 台風接近に伴い、オンライン開催への切り替えまたは 延期してオンサイト開催にするとのことです。

3-shake.connpass.com ↑小渕は運営やっております。 SREのイベントですが、LLMのオブザーバビリティという話があります！ 無料懇親会付きです！

pages.sreake.com ↑小渕登壇します。無料懇親会付きです！