Toilを無くして徒然なるままに日暮し硯に向かひたい

生成AIアプリケーション開発などを行うエンジニアのブログです。

WebサイトやGitHubソースコードを処理 (ハンズオン)

#7 WebサイトやGitHubソースコードを処理 (ハンズオン)【オンライン】 - connpassgenai-users.connpass.com 勉強会の資料です。 Google Cloudでクレデンシャルを取得 IAMと管理 > サービスアカウント ↓こちらの記事を参考 shu-kob.hateblo.jp 環境変数にセッ…

AIを用いたOCR

OCRとは、Optical Character Recognitionの略で、日本語では光学文字認識といいます。 OCRとは何か? OCRは、スキャンした書類や画像に含まれる文字を、コンピュータが読み取り、テキストデータに変換する技術です。つまり、紙に書かれた文字をデジタルの文…

Apple Intelligence触ってみたい

k-tai.watch.impress.co.jp iPhone16で、Apple Intelligenceという名の生成AIが搭載されるようですね。 Xなどではいまいち、盛り上がりに欠けているものの、生成AIを生業にするものとしては、 触ってみたいです。 Google PixelがGeminiを搭載したAIスマホと…

生成AIにおけるベクトルインデックス

生成AIにおけるベクトルインデックス:詳細解説 ベクトルインデックスとは? ベクトルインデックスは、生成AIにおいて、テキスト、画像、音声などの非構造化データを、数値のベクトルに変換し、そのベクトル間の類似度に基づいて検索や推薦を行うための技術…

Google Cloud Gemini向けの生成AIのプロンプトエンジニアリング

cloud.google.com 生成AIのプロンプトエンジニアリングは様々な手法がありますが、 Gemini for Google Cloudなんて出ているのですね。 Google Cloud のプロダクトとサービスに関しては、Geminiは学習済のようで、詳しいようです。 読んで勉強したいと思いま…

Mini-Omni OSSでSpeech-to-Speechができるようになる?

arxiv.org GPT-4oの進化系で、リアルタイム音声会話のできる生成AIがOSSで出たようです。 github.com その名もMini-Omni。 小型モデルでどうリアルタイム音声会話を実現したのか興味深いですね。 生成AIでリアルタイム音声会話は難しく、Speech-to-Text-to-S…

Google Cloudの生成AIサンプルアプリEnterprise Knowledge Solution (EKS)

github.com Google Cloudの生成AIサンプルアプリ「Enterprise Knowledge Solution」 (EKS)がGitHubで公開されています。 EKSはAmazon Elastic Kubernetes Serviceと紛らわしい(苦笑) 「Enterprise Knowledge Solution」 はIAPとCloud RunベースでUI付きの…

LangChain Meetup Tokyo #2に登壇し、LangChainでWebサイトの内容取得やGitHubソースコード取得、というタイトルで発表しました

langchain.connpass.com LangChain Meetup Tokyo #2に登壇してきました。 私は「LangChainでWebサイトの内容取得やGitHubソースコード取得」というタイトルで発表しました! 次は @shu_kob によるLangChainでWebサイトの内容取得やGitHubソースコード取得 #L…

LangChainでgithubリポジトリのソースコードを読む方法

shu-kob.hateblo.jp 昨日の記事に関連して、今回はLangChainでgithubリポジトリのソースコードを読む方法です。 github.com ↑サンプルソースコードを載せています。 js.langchain.com ↑使い方はこちら 実行例 npx ts-node githubLoader.ts https://github.co…

LangChainでURLからWebページの中身を読み込む方法

langchain.connpass.com 今度、Langchain Meetup Tokyoで喋るので、「LangChainでURLからWebページの中身を読み込む方法」を準備中 github.com ↑ソースコードを上げておきました。 npx ts-node cheerioWebBaseLoader.ts https://shu-kob.hateblo.jp/entry/20…

SRETT#10 ~ 夏のSRE祭り!アーカイブ動画公開!

shu-kob.hateblo.jp 2024年8月23日に弊社スリーシェイクのコミュニティ勉強会「SRETT #10 ~ 夏のSRE祭り!」が開催されました。 www.youtube.com アーカイブ動画も公開されています! 当日ご参加できなかった方もぜひご覧ください! 自分は当日誘導係をやっ…

オライリーのAWS生成AI本

AWSではじめる生成AI ―RAGアプリケーション開発から、基盤モデルの微調整、マルチモーダルAI活用までを試して学ぶ作者:Chris Fregly,Antje Barth,Shelbee EigenbrodeオライリージャパンAmazon そういや、オライリージャパンからAWSの生成AI本出てますね。 欲…

「SREをはじめよう」(Becoming SRE邦訳)が出版

SREをはじめよう ―個人と組織による信頼性獲得への第一歩作者:David N. Blank-EdelmanオライリージャパンAmazon 「Becoming SRE」の邦訳である「SREをはじめよう」が2024/10/8オライリージャパンから発売されます! 翻訳は、オライリーのSRE系の邦訳を数多く…

Google Cloud エンジニアおよび Google Cloud パートナー2社による生成AI利活用を進めるためのプロセス

pages.sreake.com イベントで登壇していました。 ご参加くださった方はありがとうございました! 良い評価をいただけたようで光栄です! 今回、「生成AI利活用を進めるためのプロセス」というテーマだったので、 普段私があまり話さないことも話せて新鮮でし…

後継者不足のCOBOLを生成AIに引き継ぎ

www.itmedia.co.jp IT media AI+より。 虚構新聞かと思いましたが(笑)、本当にようです。 ベトナムの研究者が論文を出したのですね。 日本でもCOBOLで書かれたシステムはまだまだ残っていますが、 COBOL書けるエンジニアが高齢になってきて、後継者不足で…

生成AIアプリケーション開発ノーコードフレームワークDify

dify.ai 最近、Difyの話題をよく聞くので、軽くご紹介したいと思います。 Difyとは? 生成AIアプリ開発を劇的に簡素化するプラットフォーム Difyは、生成AIアプリケーションをノーコードで開発できる、非常に革新的なプラットフォームです。これまで、生成AI…

高度情報の午前Ⅱ試験を解くならこのサイト

もうすぐ9月。秋の情報処理技術者試験も近づいてますね。 私はプロジェクトマネージャ試験を受けるので頑張らねば。 応用情報午前試験の過去問アプリはたくさんあるのですが、高度情報はないですよね。 IPA公式の過去問をPDFで開かずとも、スマホで気軽に過…

3-shake SRE Tech Talk #10無事終了。英語は大事w

3-shake.connpass.com shu-kob.hateblo.jp 初のオンサイト開催となる3-shake SRE Tech Talk #10無事終了しました。 詳しいことは後日書くとして、私は誘導係をしました。 会場となったGoogleさんの渋谷オフィスは渋谷ストリームという新しい建物にあるのです…

2024年8月23日(金)は渋谷とオンラインにて3-shake SRE Tech Talk #10

shu-kob.hateblo.jp 以前も書きましたが、2024年8月23日(金)は渋谷とオンラインにて3-shake SRE Tech Talk #10 です。 初のオンサイト開催!(オンラインも併用) 18:30からGoogle Cloudさんの渋谷オフィスで行います。 無料の懇親会もあります。 オンサイト…

Google Cloud DLP(Data Loss Prevention)を使ってデータのマスキングしてみた

DLP(Data Loss Prevention)とは? DLP(Data Loss Prevention)は、直訳で「データ損失防止」を意味し、企業や組織が保有する機密データや個人情報などの漏えいを防止するための仕組み、またはそのプロセス全体を指します。 DLPの目的は、以下の通りです。…

生成AIの出力形式を指定する

生成AIでの出力をプログラムで次の処理に使いたいときありますよね。 そういうときは、正規化が必要だったりします。 例えば、プロンプトでJSON形式で出力するように指定して、 見本の形式も添えておけば、JSON形式で出力され、次の処理でとても使いやすくな…

RAGの検索対象ファイル数

RAGアプリの開発で、対象ファイル1件の情報のみ出力してほしいのに、 複数のファイルの内容が混ざって出力されることがありました。 RAGの検索対象ファイル数を1にするだけで解決しました。 最初は、ファイルごとにRAGを分けないといけないのでは?と思いや…

エンジニア夏休み明けの仕事(Slackを使っている場合)

2024年。お盆休みをとって、8月19日(月)から仕事再開の方も多いと思います。 最初に何をして、スムーズに仕事を再開できるかを書きたいと思います。 Slackを使っていることを前提として書きます。 夏季休暇の時期は自由で、自分はお盆休みとっても、とってい…

つくって、壊して、直して学ぶ Kubernetes入門 Kindle版が期間限定で半額

つくって、壊して、直して学ぶ Kubernetes入門作者:高橋 あおい翔泳社Amazon Kubernetesの入門書「つくって、壊して、直して学ぶ Kubernetes入門」Kindle版が期間限定で半額です! (2024年8月17日現在、終了まで5日) この書籍は、難解と言われるkubernetes…

OSC(オープンソースカンファレンス) 2024 Online/Fallに日本生成AIユーザ会で申し込んだ

最近ブログを毎日書いていて、ネタが尽きてきたのですが(苦笑)、 今日はOSC(オープンソースカンファレンス) 2024 Online/Fallに日本生成AIユーザ会で申し込んだのでした。 event.ospn.jp 10月18日(金)と19(土)で19(土)でのセミナー発表を希望しています。 …

WindowsでGitをセットアップするには

私は仕事もプライベートもMacですが、仕事にてWindowsでGitを使うにはどうすればいいという相談を受けました。 www.sourcetreeapp.com Sourcetreeを推しときましたが、他には、Git for Windows という手もありますね。 gitforwindows.org 有料だけど、forkが…

Google Cloud認定試験のリモート受験を風呂場で

shu-kob.hateblo.jp 先日、Google Cloud Professional Cloud Architectに合格したという記事を書きましたが、 初めてリモートで受験しました。 私はオンサイトのテストセンター派ですが、 連休初日にGoogle Cloud Professional Cloud Architectに合格して景…

Geminiマルチモーダルプログラミングハンズオン

genai-users.connpass.com この記事は上記ハンズオン勉強会の資料です。 準備設定 ↓ Google Cloudにアクセス cloud.google.com 秘密鍵がダウンロードされます。 git clone https://github.com/shu-kob/gemini-multimodal cd gemini-multimodal ダウンロード…

Google Cloud Professional Cloud Architectに合格

お盆休みいかがお過ごしでしょうか? 8/10, 11, 12と3連休だった方は13からのお仕事頑張ってください。 8/13以降も休みの方は引き続き休みをお楽しみください。 さて、8月10日に受けたGoogle Cloud Certified - Professional Cloud Architectに合格しました…

テレビでGeminiのCMをよく見るようになりました

youtu.be いろんなモデルがあり、OpenAIのChatGPTが知名度のある中、 最近テレビでGeminiのCMをよく見かけるようになりました。 GeminiはGoogleがやってるだけあって、GoogleのCMとして出しやすいですよね。 個人的にもGemini派なので、ユーザが増えて、モデ…