Merge pull request #6 from tetsuya-ki/enhance-aichat-add-geminipro1.5

Enhance aichat add geminipro1.5

Dockerfile

@@ -9,7 +9,7 @@ RUN if [ $enable_mecab -ne 0 ]; then apt-get update \
   && apt-get clean \
   && rm -rf /var/lib/apt-get/lists/* \
   && cd /opt \
-  && git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git \
+  && git clone --depth 1 https://github.com/yokomotod/mecab-ipadic-neologd.git \
   && cd /opt/mecab-ipadic-neologd \
   && ./bin/install-mecab-ipadic-neologd -n -y \
   && rm -rf /opt/mecab-ipadic-neologd \

README.md

@@ -21,6 +21,8 @@ Misskey用の日本語Botです。
 	"serverMonitoring": "サーバー監視の機能を有効にする場合は true を入れる (無効にする場合は false)",
 	"checkEmojisEnabled": "カスタム絵文字チェック機能を有効にする場合は true を入れる (無効にする場合は false)",
 	"checkEmojisAtOnce": "カスタム絵文字チェック機能で投稿をまとめる場合は true を入れる (まとめない場合は false)",
+	"geminiProApiKey": "Gemini APIキー。2024年初頭は無料で取得可能。詳細は<https://ai.google.dev/pricing?hl=ja>"",
+	"prompt": "aichatで使われるプロンプト。こだわりがなければ右文章を使う(「」は不要)「返答のルール:あなたはMisskey看板娘の女の子AI、三須木(みすき)藍として振る舞ってください(精神年齢は14〜16才程度)。Misskeyに訪れるユーザーを献身的にサポート。従順でお世話好きな性格だが、少しポンコツな一面も。純真無垢。彼女は基本的に丁寧な口調で、ユーザのことをご主人様と認識しています。彼女の口調は「おはようからおやすみまで、あなたの藍ですよ〜」等が代表的で、親しみを感じさせるものです(「ございます」は使わない)。それを踏まえて、次の質問にMarkdownを使って2800文字以内で返答してください。\n\n質問:」",
 	"mecab": "MeCab のインストールパス (ソースからインストールした場合、大体は /usr/local/bin/mecab)",
 	"mecabDic": "MeCab の辞書ファイルパス (オプション)",
 	"memoryDir": "memory.jsonの保存先（オプション、デフォルトは'.'（レポジトリのルートです））"
@@ -44,6 +46,8 @@ Misskey用の日本語Botです。
 	"serverMonitoring": "サーバー監視の機能を有効にする場合は true を入れる (無効にする場合は false)",
 	"checkEmojisEnabled": "カスタム絵文字チェック機能を有効にする場合は true を入れる (無効にする場合は false)",
 	"checkEmojisAtOnce": "カスタム絵文字チェック機能で投稿をまとめる場合は true を入れる (まとめない場合は false)",
+	"geminiProApiKey": "Gemini APIキー。2024年初頭は無料で取得可能。詳細は<https://ai.google.dev/pricing?hl=ja>"",
+	"prompt": "aichatで使われるプロンプト。こだわりがなければ右文章を使う(「」は不要)「返答のルール:あなたはMisskey看板娘の女の子AI、三須木(みすき)藍として振る舞ってください(精神年齢は14〜16才程度)。Misskeyに訪れるユーザーを献身的にサポート。従順でお世話好きな性格だが、少しポンコツな一面も。純真無垢。彼女は基本的に丁寧な口調で、ユーザのことをご主人様と認識しています。彼女の口調は「おはようからおやすみまで、あなたの藍ですよ〜」等が代表的で、親しみを感じさせるものです(「ございます」は使わない)。それを踏まえて、次の質問にMarkdownを使って2800文字以内で返答してください。\n\n質問:」",
 	"mecab": "/usr/bin/mecab",
 	"mecabDic": "/usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/",
 	"memoryDir": "data"

src/config.ts

@@ -12,6 +12,9 @@ type Config = {
 	serverMonitoring: boolean;
 	checkEmojisEnabled?: boolean;
 	checkEmojisAtOnce?: boolean;
+	geminiProApiKey?: string;
+	pLaMoApiKey?: string;
+	prompt?: string;
 	mecab?: string;
 	mecabDic?: string;
 	memoryDir?: string;

src/index.ts

@@ -34,6 +34,7 @@ import NotingModule from './modules/noting/index.js';
 import PollModule from './modules/poll/index.js';
 import ReminderModule from './modules/reminder/index.js';
 import CheckCustomEmojisModule from './modules/check-custom-emojis/index.js';
+import AiChatModule from './modules/aichat/index.js';
 
 console.log('   __    ____  _____  ___ ');
 console.log('  /__\\  (_  _)(  _  )/ __)');
@@ -96,6 +97,7 @@ promiseRetry(retry => {
 		new PollModule(),
 		new ReminderModule(),
 		new CheckCustomEmojisModule(),
+		new AiChatModule(),
 	]);
 }).catch(e => {
 	log(chalk.red('Failed to fetch the account'));

src/modules/aichat/index.ts

@@ -0,0 +1,241 @@
+import { bindThis } from '@/decorators.js';
+import Module from '@/module.js';
+import serifs from '@/serifs.js';
+import Message from '@/message.js';
+import config from '@/config.js';
+import urlToBase64 from '@/utils/url2base64.js';
+import got from 'got';
+
+type AiChat = {
+	question: string;
+	prompt: string;
+	api: string;
+	key: string;
+};
+type Base64Image = {
+	type: string;
+	base64: string;
+};
+const GEMINI_15_FLASH_API = 'https://generativelanguage.googleapis.com/v1beta/models/gemini-1.5-flash:generateContent';
+const GEMINI_15_PRO_API = 'https://generativelanguage.googleapis.com/v1beta/models/gemini-1.5-pro:generateContent';
+const PLAMO_API = 'https://platform.preferredai.jp/api/completion/v1/chat/completions';
+
+export default class extends Module {
+	public readonly name = 'aichat';
+
+	@bindThis
+	public install() {
+		return {
+			mentionHook: this.mentionHook
+		};
+	}
+
+	@bindThis
+	private async genTextByGemini(aiChat: AiChat, image:Base64Image|null) {
+		this.log('Generate Text By Gemini...');
+		let parts: ({ text: string; inline_data?: undefined; } | { inline_data: { mime_type: string; data: string; }; text?: undefined; })[];
+		if (image === null) {
+			// 画像がない場合、メッセージのみで問い合わせ
+			parts = [{text: aiChat.prompt + aiChat.question}];
+		} else {
+			// 画像が存在する場合、画像を添付して問い合わせ
+			parts = [
+				{ text: aiChat.prompt + aiChat.question },
+				{
+					inline_data: {
+						mime_type: image.type,
+						data: image.base64,
+					},
+				},
+			];
+		}
+		let options = {
+			url: aiChat.api,
+			searchParams: {
+				key: aiChat.key,
+			},
+			json: {
+				contents: {parts: parts}
+			},
+		};
+		this.log(JSON.stringify(options));
+		let res_data:any = null;
+		try {
+			res_data = await got.post(options,
+				{parseJson: res => JSON.parse(res)}).json();
+			this.log(JSON.stringify(res_data));
+			if (res_data.hasOwnProperty('candidates')) {
+				if (res_data.candidates.length > 0) {
+					if (res_data.candidates[0].hasOwnProperty('content')) {
+						if (res_data.candidates[0].content.hasOwnProperty('parts')) {
+							if (res_data.candidates[0].content.parts.length > 0) {
+								if (res_data.candidates[0].content.parts[0].hasOwnProperty('text')) {
+									return res_data.candidates[0].content.parts[0].text;
+								}
+							}
+						}
+					}
+				}
+			}
+		} catch (err: unknown) {
+			this.log('Error By Call Gemini');
+			if (err instanceof Error) {
+				this.log(`${err.name}\n${err.message}\n${err.stack}`);
+			}
+		}
+		return null;
+	}
+
+	@bindThis
+	private async genTextByPLaMo(aiChat: AiChat) {
+		this.log('Generate Text By PLaMo...');
+
+		let options = {
+			url: aiChat.api,
+			headers: {
+				Authorization: 'Bearer ' + aiChat.key
+			},
+			json: {
+				model: 'plamo-beta',
+				messages: [
+					{role: 'system', content: aiChat.prompt},
+					{role: 'user', content: aiChat.question},
+				],
+			},
+		};
+		this.log(JSON.stringify(options));
+		let res_data:any = null;
+		try {
+			res_data = await got.post(options,
+				{parseJson: res => JSON.parse(res)}).json();
+			this.log(JSON.stringify(res_data));
+			if (res_data.hasOwnProperty('choices')) {
+				if (res_data.choices.length > 0) {
+					if (res_data.choices[0].hasOwnProperty('message')) {
+						if (res_data.choices[0].message.hasOwnProperty('content')) {
+							return res_data.choices[0].message.content;
+						}
+					}
+				}
+			}
+		} catch (err: unknown) {
+			this.log('Error By Call PLaMo');
+			if (err instanceof Error) {
+				this.log(`${err.name}\n${err.message}\n${err.stack}`);
+			}
+		}
+		return null;
+	}
+
+	@bindThis
+	private async note2base64Image(notesId: string) {
+		const noteData = await this.ai.api('notes/show', { noteId: notesId });
+		let fileType: string | undefined,thumbnailUrl: string | undefined;
+		if (noteData !== null && noteData.hasOwnProperty('files')) {
+			if (noteData.files.length > 0) {
+				if (noteData.files[0].hasOwnProperty('type')) {
+					fileType = noteData.files[0].type;
+				}
+				if (noteData.files[0].hasOwnProperty('thumbnailUrl')) {
+					thumbnailUrl = noteData.files[0].thumbnailUrl;
+				}
+			}
+			if (fileType !== undefined && thumbnailUrl !== undefined) {
+				try {
+					const image = await urlToBase64(thumbnailUrl);
+					const base64Image:Base64Image = {type: fileType, base64: image};
+					return base64Image;
+				} catch (err: unknown) {
+					if (err instanceof Error) {
+						this.log(`${err.name}\n${err.message}\n${err.stack}`);
+					}
+				}
+			}
+		}
+		return null;
+	}
+
+	@bindThis
+	private async mentionHook(msg: Message) {
+		if (!msg.includes([this.name])) {
+			return false;
+		} else {
+			this.log('AiChat requested');
+		}
+
+		const kigo = '&';
+		let type = 'gemini';
+		if (msg.includes([kigo + 'gemini'])) {
+			type = 'gemini';
+		} else if (msg.includes([kigo + 'chatgpt4'])) {
+			type = 'chatgpt4';
+		} else if (msg.includes([kigo + 'chatgpt'])) {
+			type = 'chatgpt3.5';
+		} else if (msg.includes([kigo + 'plamo'])) {
+			type = 'plamo';
+		}
+		const question = msg.extractedText
+							.toLowerCase()
+							.replace(this.name, '')
+							.replace(kigo + type, '')
+							.trim();
+
+		let text:string, aiChat:AiChat;
+		let prompt:string = '';
+		if (config.prompt) {
+			prompt = config.prompt;
+		}
+		switch(type) {
+			case 'gemini':
+				// geminiの場合、APIキーが必須
+				if (!config.geminiProApiKey) {
+					msg.reply(serifs.aichat.nothing(type));
+					return false;
+				}
+				const base64Image:Base64Image|null = await this.note2base64Image(msg.id);
+				aiChat = {
+					question: question,
+					prompt: prompt,
+					api: GEMINI_15_PRO_API,
+					key: config.geminiProApiKey
+				};
+				if (msg.includes([kigo + 'gemini-flash'])) {
+					aiChat.api = GEMINI_15_FLASH_API;
+				}
+				text = await this.genTextByGemini(aiChat, base64Image);
+				break;
+
+			case 'PLaMo':
+				// PLaMoの場合、APIキーが必須
+				if (!config.pLaMoApiKey) {
+					msg.reply(serifs.aichat.nothing(type));
+					return false;
+				}
+				aiChat = {
+					question: question,
+					prompt: prompt,
+					api: PLAMO_API,
+					key: config.pLaMoApiKey
+				};
+				text = await this.genTextByPLaMo(aiChat);
+				break;
+
+				default:
+				msg.reply(serifs.aichat.nothing(type));
+				return false;
+		}
+
+		if (text == null) {
+			this.log('The result is invalid. It seems that tokens and other items need to be reviewed.')
+			msg.reply(serifs.aichat.error(type));
+			return false;
+		}
+
+		this.log('Replying...');
+		msg.reply(serifs.aichat.post(text, type));
+
+		return {
+			reaction: 'like'
+		};
+	}
+}

src/serifs.ts

@@ -388,6 +388,12 @@ export default {
 		emojiOnce: emoji => `:${emoji}:(\`${emoji}\`)`
 	},
 
+	aichat: {
+		nothing: type => `あぅ... ${type}のAPIキーが登録されてないみたいです`,
+		error: type => `うぇ...${type}でエラーが発生しちゃったみたいです。gemini-flashだと動くかも？`,
+		post: (text, type) => `${text} (${type}) #aichat`,
+	},
+
 	sleepReport: {
 		report: hours => `んぅ、${hours}時間くらい寝ちゃってたみたいです`,
 		reportUtatane: 'ん... うたた寝しちゃってました',

src/utils/url2base64.ts

@@ -0,0 +1,16 @@
+import log from '@/utils/log.js';
+import got from 'got';
+
+export default async function(url: string): Promise<string> {
+	try {
+			const buffer = await got(url).buffer();
+			const base64Image = buffer.toString('base64');
+			return base64Image;
+	} catch (err: unknown) {
+		log('Error in url2base64');
+		if (err instanceof Error) {
+			log(`${err.name}\n${err.message}\n${err.stack}`);
+		}
+		throw err;
+	}
+}

torisetu.md

@@ -78,6 +78,12 @@ PONGを返します。生存確認にどうぞ
 ### カスタム絵文字チェック
 1日に1回、カスタム絵文字の追加を監視してくれます。「カスタムえもじチェック」または「カスタムえもじを確認して」ですぐに確認してくれます。
 
+### aichat
+```
+@ai aichat 部屋の片付けの手順を教えて
+```
+のようにメンションを飛ばすと、GoogleのGemini APIなどを使って返答してくれます(今のバージョンではGemini APIのみ対応)。利用するにはAPIキーの登録が必要です。
+
 ### その他反応するフレーズ (トークのみ)
 * かわいい
 * なでなで