Toilを無くして徒然なるままに日暮し硯に向かひたい

生成AIアプリケーション開発などを行うエンジニアのブログです。

WebサイトやGitHubソースコードを処理 (ハンズオン)

#7 WebサイトやGitHubソースコードを処理 (ハンズオン)【オンライン】 - connpassgenai-users.connpass.com

勉強会の資料です。

Google Cloudでクレデンシャルを取得

IAMと管理 > サービスアカウント

↓こちらの記事を参考

shu-kob.hateblo.jp

環境変数にセット

以下はMacで、.zprofileの場合

export GOOGLE_APPLICATION_CREDENTIALS="/path/PROJECT_ID-XXXXXXXXXX.json"
source ~/.zprofile

ソースコードを取得

github.com

git clone https://github.com/shu-kob/genai-web-github-loader
cd genai-web-github-loader
npm i

Webページを読んで要約

loadWebPages.tsで、プロジェクトIDの書き換え

const project = 'PROJECT_ID' // 書き換える

実行

npx tsx loadWebPages.ts https://www.raumen.co.jp/rapedia/study_history/

ソースコードの読み込んで仕様書を作成

loadGitHubでプロジェクトIDの書き換え

const project = 'PROJECT_ID' // 書き換える

実行

npx tsx loadGitHub.ts https://github.com/shu-kob/genai-web-github-loader