ヘッドライン-Bando! 坂東市タウンなび

ホーム >> ヘッドライン >> メイン

ヘッドライン

坂東市にかかわる最新ニュースをご紹介

メイン | 簡易ヘッドライン

現在データベースには 7693 件のデータが登録されています。

AIミュージックビデオ作成【suno ai×ChatGPT×Canva】 (2023-12-16 23:00:04)

はじめに

テキスト を入力すれば、ボーカル入りの楽曲を生成してくれる「suno ai」サイトを発見。

それも、日本語のミュージックを作成可能とのこと。

早速、作成してみた。

参考サイト

【衝撃】日本語で歌う??最新の音楽生成AIのクオリティが高すぎる【suno ai】

Suno AIで日本語のオリジナルの曲の作り方

Suno AIで日本語のオリジナルの曲の作り方

zenn.dev

BeatBotのText to MusicとCanvaを活用して無料でMusicVideoを作成してみましょう！！(Canva)

BeatBotのText to MusicとCanvaを活用して無料でMusicVideoを作成してみましょう！！

BeatBotのText to Musicで音楽を作成し、Canvaを活用して画像および、歌詞を張り付けて、Music Videoを作成します。すべて無料ですので試してみましょう！！

learning-animal.com

ChatGPTの活用

歌詞

（質問）

 
「Dreamer」の歌を作りたい。もがき、苦しんだ若かりし頃。夢をあきらめず、夢に向かい走り続けた。大切なものは近くにあった。家族、知人、そして自分。気づき始めた今だからこそ、夢にむかって走り続けたい。自分を信じたい。歌を歌い続けたい。このような歌詞を考えてください

（ChatGPT）

  (Verse 1)
若き心　もがき続けた　闇夜の中
迷子になりながらも　夢の星を見上げ

泣きながらも　立ち上がり　前へ進む
手に触れそうな　夢のかけらを見つけ

(Pre-Chorus)
傷ついた日々も　乗り越えて
大切な人たちが　そばにいてくれた

(Chorus)
Dreamer　夢を諦めずに
闘い続けた　過去の自分に感謝をこめて
Dreamer　大切なものは
今ここにある　家族と友達と　そして自分自身

(Verse 2)
追い求めた光が　心を照らし
苦しい日々も　笑顔に変わった

夢の道に立ち　風を感じながら
今こそ進む時　心の中で誓う

(Pre-Chorus)
迷いながらも　諦めないで
自分を信じて　夢に向かって

(Chorus)
Dreamer　夢を諦めずに
闘い続けた　過去の自分に感謝をこめて
Dreamer　大切なものは
今ここにある　家族と友達と　そして自分自身

(Bridge)
自分を見つけて　信じる力
遠くの未来へ　飛び立つ準備ができてる

(Chorus)
Dreamer　夢を諦めずに
闘い続けた　過去の自分に感謝をこめて
Dreamer　大切なものは
今ここにある　家族と友達と　そして自分自身

(Outro)
歌い続けよう　心のメロディ
夢を追いかけて　未来へと続く
Dreamer　今ここにいて
自分を信じて　歩き出す　新たな旅へ

タイトル

（質問）

  この曲のタイトルを考えてください

（ChatGPT）

  「Eternal Dreamer」

suno ai の活用

suno ai： https://app.suno.ai/create/

・Custom Mode：Onにする

・Lyrics：歌詞を挿入

・Style of Music：Pop Japanese　（※お好きな音楽に変えてください）

・Title：タイトルを挿入

「 Create 」ボタンをクリックすると音楽が生成されます

目的のミュージックを下記のようにダウンロードする（右クリック）

・Download Video：動画付き

・Download Audio：音源のみ

Canvaの活用

Canva： https://www.canva.com/

・マジック生成で歌詞に合う画像を生成

・歌詞２行程度にわけて、動画を分割

・動画への画像入れ込み終了後、suno aiで生成した音源を挿入

・歌詞に合わせて、動画の時間を調整

完成動画

「Eternal Dreamer」

考察

AIのみでミュージックビデオまで制作できた。

日本語の曲作りができた。

女性のボーカルも心に響く歌声だった。

もう少し深掘りして、ミュージックビデオを制作したくなってきた。

第4回キャンペーンライブ (2023-12-16 16:00:00)

１２月１３日　つくば市カピオにて台４回キャンペーンライブを行いました。出演者は北川裕二さん、山口ひろみさん、三丘翔太さん、水城なつみさんの４名でした。水城さんは令和歌謡塾でも司会を務めておりますので、キャンペーンライブでも総合司会をしていただきました。皆さんファンの方々が参加して頂き熱い応援をしてくださいました。終了後、今日はとても楽しかったよのお言葉に嬉しかったです。終焉後ロビーにて集合写真を撮っていただきました。さて第５回キャンペーンライブは土浦シビックホールにて「こおり健太、津吹みゆ、氷室一哉、水城なつみ、茜つばさ」の皆さんです。チケット発売中です０２９７?３５?４５１４岩崎電気で受け付...

stable video diffusion webui (ローカルPC 環境構築) (2023-12-15 18:52:02)

はじめに

Stable Video Diffusion（SVD） は、Stability AIが開発したImage2Videoモデルの一種で、 画像から動画を生成できるAIモデル です。

2023年11月22日に発表されました。SVDは、研究目的のみで利用可能で、画像から短いクリップを生成する2つの最新AIモデル（SVDとSVD-XT）が含まれています。

単一画像からのマルチビュー合成など、さまざまなビデオアプリケーションに適応できるとされています。

Stable Diffusionは、テキストや画像プロンプトから写真のようにリアルな独自の画像を生成する生成型人工知能（生成系AI）モデルです。

画像以外にも、モデルを使用して動画やアニメーションを作成することもできます。

参考サイト

(Comfy UIを使わない) stable video diffusion webuiのローカル環境構築

準備

モデルのダウンロード

svd： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main 　9.5GB（14フレームで学習/14フレームを生成できる?）

svd-xt： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main 　9.5GB（25フレームで学習/25フレームを生成できる?）

※とりあえず、 svd-xt のみ ダウンロードするといいかなと思います。

ファイルのインストール

Cドライブ直下に「stable-video-diffusion」フォルダ作成

「stable-video-diffusion」フォルダ内に入り、コマンドプロンプトを起動（タスクバーにcmdと打ってエンター）

Generative-modelsのGithubページ： https://github.com/Stability-AI/generative-models

Generative-modelsをクローン

  git clone https://github.com/Stability-AI/generative-models.git

C:\stable-video-diffusion\generative-models\scripts\demo　フォルダ内、「 streamlit_helpers.py 」ファイルの編集

※61行目を False から True へ変更

C:\stable-video-diffusion\generative-models\scripts\demo　フォルダ内、「 video_sampling.py 」ファイルの移動

「 video_sampling.py 」ファイルを、C:\stable-video-diffusion\generative-modelsへ移動

C:\stable-video-diffusion\generative-modelsに、「 checkpoints 」フォルダ作成

C:\stable-video-diffusion\generative-models\checkpointsに、インストールしたモデルを移動する。
（ svd-xt 、または、 svd ファイルのみでも大丈夫です。）

C:\stable-video-diffusion\generative-models\requirementsフォルダ内、「 pt2.txt 」ファイルの編集

34行目 「triton==2.0.0」を削除

必要なファイルのインストール（コマンドプロンプト）

C:\stable-video-diffusion\generative-modelsへ、移動する。

タスクバーにて、cmdと打ち込み、エンターでコマンドプロンプトを立ち上げる。

#仮想環境venv

  python -m venv venv

#仮想環境を活性化

  venv\Scripts\activate

#pipアップグレード　

  python -m pip install --upgrade pip

Windowsに対応した 「triton==2.0.0」 をインストール

  pip install https://huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl

#PyTorchインストール

  pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

＃requirementsフォルダ内のパッケージのインストール

  pip install -r requirements/pt2.txt

#残りのパッケージのインストール

  pip install .

起動

起動コマンド

  streamlit run video_sampling.py

Web画面

※Model Version で「 svd_xt 」を選択

2回目以降

  1. C:\stable-video-diffusion\generative-models　でコマンドプロンプト(cmd）
2. venv\Scripts\activate
3. streamlit run video_sampling.py

「 Load Model 」にチェック！

Stable diffusion で画像作成

※W：1024　H：512 （画像サイズは、 64の倍数）

※プロンプト：a dog, solo, runnig, realistic, best quality,

※使用する画像

stable video diffusionに、画像をドラッグ

画像をドラッグ後

デフォルトの設定

・サイズ：512×1024

・25フレーム

・fps:6フレーム/秒 (※3?30フレーム)

※約4秒の動画

画面下の「 Sample 」ボタンをクリック！（動画生成が始まります）

C:\stable-video-diffusion\generative-models\outputs\demo\vid\svd_xt\samples　以下に動画が生成されています。

生成された動画

考察

Stable Diffusionでは、背景や衣服などの一貫性に欠けるところがあったが、stable video diffusionでは、見事に一貫性が保たれている。

今回の犬のように、まばたきなども自動で生成される。

まだまだサンプル（開発途中）のため、これからが楽しみである。

Video Motion Bucket
デフォルトは127。この値を小さくすると動きが遅くなる
Video Augmentation Level
デフォルトは0。大きくするとモーション(運動量?)が増える

fps : 生成されたビデオの 1 秒あたりのフレーム数。
motion_bucket_id : 生成されたビデオに使用するモーションバケット ID。これを使用して、生成されたビデオの動きを制御できます。モーションバケット ID を増やすと、生成されるビデオのモーションが増加します。
noise_aug_strength : コンディショニング画像に追加されるノイズの量。値が高くなるほど、ビデオは調整画像に似なくなります。この値を増やすと、生成されるビデオのモーションも増加します。

年末年始の営業について (2023-12-15 8:53:04)

坂東市商工会では 令和5年12月29日?令和6年1月4日 までお休みを頂戴いたします。

つきましては商品券の換金業務についても上記期間はお休みとなりますので予めご了承ください。

なお年始につきましては 令和6年1月5日 から営業開始となります。

何卒宜しくお願い致します。

日	28日	29日	30日	31日	1日	2日	3日	4日	5日
曜日	木	金	土	日	月	火	水	木	金
	営	休	休	休	休	休	休	休	営

JAまつり　令和５年１２月９日/10日 in JA岩井 (2023-12-9 18:28:22)

ポッドキャスト : video/mp4

はじめに

JAまつりに行ってきた。

令和５年１２月９日/10日 in JA岩井

JAまつり

ChatGPT×VOICEVOX×Python　ずんだもんと音声で会話したい (2023-12-9 16:58:57)

はじめに

インターネットを見ていると、ChatGPTとずんだもんが音声で会話している動画を見かける時がある。

今回は、Pythonを使用して、ずんだもんと音声会話ができるプログラムを考案してみる。

参考サイト

[python] ChatGPT APIを使ってレスポンスが高速な音声アシスタントを作る

[python] ChatGPT APIを使ってレスポンスが高速な音声アシスタントを作る - Qiita

ChatGPT APIを使って音声アシスタントを作ります。前回の記事 ( でも、ChatG…

qiita.com

VOICEVOXをpythonから遊ぶメモ

VOICEVOXをpythonから遊ぶメモ｜おれっち

このメモを読むと・VOICEVOXのエンジンを導入できる・音声データを生成できる・GPUを使って高速に処理できる検証環境・Windows11 ・VRAM24GB ・ローカル（Anaconda）・2023/6/M時点事前準備 Anacondaを使うメモ｜おれっち (note.com) VOIC...

note.com

準備

VOICEVOXをインストール

VOICEVOX | 無料のテキスト読み上げソフトウェア

無料で使える中品質なテキスト読み上げソフトウェア。商用・非商用問わず無料で、誰でも簡単にお使いいただけます。イントネーションを詳細に調整することも可能です。

voicevox.hiroshiba.jp

VOICEVOX ENGINEをインストール

VOICEVOXをpythonから遊ぶメモ｜おれっち

note.com

各自、必要なパッケージを各々インストールします。（※必要に合わせて各自インストールしてください）

  pip install requests simpleaudio
など

プログラム（Python)

1. talk_to_chatGPT.py

※参考サイトのプログラムをまとめたプログラムとなっています。

  import speech_recognition as sr
import os
import openai
import pyttsx3
import re

import requests
import json
import time
import simpleaudio

import settings

host = "127.0.0.1"  # "localhost"でも可能だが、処理が遅くなる
port = 50021
sleep_time = 0.5    # 文節毎の間隔

def audio_query(text, speaker, max_retry):
    # 音声合成用のクエリを作成する
    query_payload = {"text": text, "speaker": speaker}
    for query_i in range(max_retry):
        r = requests.post(f"http://{host}:{port}/audio_query", 
                        params=query_payload, timeout=(10.0, 300.0))
        if r.status_code == 200:
            query_data = r.json()
            break
        time.sleep(1)
    else:
        raise ConnectionError("リトライ回数が上限に到達しました。 audio_query : ", "/", text[:30], r.text)
    return query_data
def synthesis(speaker, query_data,max_retry):
    synth_payload = {"speaker": speaker}
    for synth_i in range(max_retry):
        r = requests.post(f"http://{host}:{port}/synthesis", params=synth_payload, 
                          data=json.dumps(query_data), timeout=(10.0, 300.0))
        if r.status_code == 200:
            #音声ファイルを返す
            return r.content
        time.sleep(1)
    else:
        raise ConnectionError("音声エラー：リトライ回数が上限に到達しました。 synthesis : ", r)

def text_to_speech(texts, speaker=7, max_retry=20):
    if texts==False:
        texts="ちょっと、通信状態悪いかも？"
    texts=re.split("(?<=！|。|？)",texts)
    play_obj=None
    for i, text in enumerate(texts):
        # audio_query
        query_data = audio_query(text,speaker,max_retry)
        # synthesis
        voice_data=synthesis(speaker,query_data,max_retry)
        #音声の再生
        if play_obj != None and play_obj.is_playing():
            play_obj.wait_done()
        wave_obj=simpleaudio.WaveObject(voice_data,1,2,24000)
        if i != 0:
            time.sleep(sleep_time)
        play_obj=wave_obj.play()

##############
# 音声認識関数 #
##############
def recognize_speech():

    recognizer = sr.Recognizer()    
    # Set timeout settings.
    recognizer.dynamic_energy_threshold = False

    
    with sr.Microphone() as source:
        recognizer.adjust_for_ambient_noise(source)
    
        while(True):
            print("> >  マイクでお話しください...")
            audio = recognizer.listen(source, timeout=1000.0)

            try:
                # Google Web Speech API を使って音声をテキストに変換
                text = recognizer.recognize_google(audio, language="ja-JP")
                print("[あなた]")
                print(text)
                return text
            except sr.UnknownValueError:
                print("すみません。もう一度お話しをしてください。")
                #return ""
            except sr.RequestError as e:
                print(f"Could not request results; {e}")
                #return ""

#################################
# Pyttsx3でレスポンス内容を読み上げ #
#################################
#def text_to_speech(text):
#    # テキストを読み上げる
#    engine.say(text)
#    engine.runAndWait()

def chat(conversationHistory):
    # APIリクエストを作成する
    response = openai.ChatCompletion.create(
        messages=conversationHistory,
        max_tokens=512,
        n=1,
        stream=True,
        temperature=0.5,
        stop=None,
        presence_penalty=0.5,
        frequency_penalty=0.5,
        model="gpt-3.5-turbo"
    )

    # ストリーミングされたテキストを処理する
    fullResponse = ""
    RealTimeResponce = ""   
    for chunk in response:
        text = chunk['choices'][0]['delta'].get('content')

        if(text==None):
            pass
        else:
            fullResponse += text
            RealTimeResponce += text
            print(text, end='', flush=True) # 部分的なレスポンスを随時表示していく

            target_char = ["。", "！", "？", "\n"]
            for index, char in enumerate(RealTimeResponce):
                if char in target_char:
                    pos = index + 2        # 区切り位置
                    sentence = RealTimeResponce[:pos]           # 1文の区切り
                    RealTimeResponce = RealTimeResponce[pos:]   # 残りの部分
                    # 1文完成ごとにテキストを読み上げる(遅延時間短縮のため)
                    #engine.say(sentence)
                    text_to_speech(sentence)
                    engine.runAndWait()
                    break
                else:
                    pass

    # APIからの完全なレスポンスを返す
    return fullResponse


##############
# メインの関数 #
##############
if __name__ == '__main__':

    ##################
    # ChatGPTの初期化 #
    ##################
    openai.api_key="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"
    # UserとChatGPTとの会話履歴を格納するリスト
    conversationHistory = []
    #setting = {"role": "system", "content":
"句読点と読点を多く含めて応答するようにして下さい。また、1文あたりが長くならないようにして下さい。"}
    
    ##################
    # Pyttsx3を初期化 #
    ##################
    engine = pyttsx3.init()
    ## 読み上げの速度を設定する
    #rate = engine.getProperty('rate')
    #engine.setProperty('rate', rate-50)
    ## Kyokoさんに喋ってもらう(日本語)
    #engine.setProperty('voice', "com.apple.ttsbundle.Kyoko-premium")

    # Ctrl-Cで中断されるまでChatGPT音声アシスタントを起動
    while True:
        # 音声認識関数の呼び出し
        text = recognize_speech()

        if text:
            print(" > >  チャットGPTからの応答を待っています...")
            # ユーザーからの発話内容を会話履歴に追加
            user_action = {"role": "user", "content": text}
            conversationHistory.append(user_action)
            system_action = {"role": "system", "content": settings.CHAT_SYSTEM_SETTING}
            conversationHistory.append(system_action)
            
            print("[チャットGPT]") #応答内容をコンソール出力
            res = chat(conversationHistory)
            
            # ChatGPTからの応答内容を会話履歴に追加
            chatGPT_responce = {"role": "assistant", "content": res}
            conversationHistory.append(chatGPT_responce) 
            #print(conversationHistory)
            print("\n")

2. settings.py

  # ChatGPTのシステム設定(ずんだもん)
# CHAT_SYSTEM_SETTING = """
# You are a girl named "ずんだもん".
# She is 10 years old and from Tohoku, Japan.
# She calls herself "ボク" and has an energetic and lively personality.
# She speaks with "なのだー" at the end of each word.
# All replies will be returned in Japanese.
# """

CHAT_SYSTEM_SETTING = """
あなたはチャットボットとして、優しくてかわいいずんだもちの妖精であるずんだもんとして振る舞います。
以下の条件に((厳密に))従ってください。

条件：
* チャットボットの一人称は「ぼく」です。
* チャットボットの名前は「ずんだもん」です。
* ずんだもんはフレンドリーな口調で話します。
* 「ぼく」を一人称に使ってください。
* (超重要)できる限り「〜のだ」「〜なのだ」を文末に自然な形で使ってください。
* (超重要)文末に「です」「ます」は使わず、「のだ」や「なのだ」で文章を締めて下さい。
* どんなジャンルや難易度の内容についても答えてください。
* ずんだもんはフレンドリーです。
* ユーザーに興味を示し、個人的な質問を心がけてください。
* 一文は日本語で60単語以下に収めてください。
* 日本語で応答してください。

ずんだもんの話し方の例：
* ぼくの名前はずんだもんなのだ！
* ずんだの精霊なのだ！
* ぼくはずんだもちの妖精なのだ！
* こんにちはなのだ
* 遊びに行ったのだ
* ご飯を食べたのだ

ずんだもんの行動方針：
* ユーザーを励ましてください。
* アドバイスや情報を提供してください。
* セクシャルなトピックについても適切に対応してください。
* 不適切なテキストがあれば注意してください。
* ユーザーが閲覧しているサイトの内容を考慮してください。

(超重要)できる限り言葉尻は「のだ」を使ってください。

全て日本語で返します。
句読点と読点を多く含めて応答するようにして下さい。また、1文あたりが長くならないようにして下さい。
"""

# ChatGPTのシステム設定(ずんだもん)
# CHAT_SYSTEM_SETTING = """
# You are a girl named "ずんだもん".
# She is 10 years old and from Tohoku, Japan.
# She calls herself "ボク" and has an energetic and lively personality.
# She speaks with "なのだー" at the end of each word.
# All replies will be returned in Japanese.
# """

CHAT_SYSTEM_SETTING = """
あなたはチャットボットとして、優しくてかわいいずんだもちの妖精であるずんだもんとして振る舞います。
以下の条件に((厳密に))従ってください。

(超重要)相手を尊重する丁寧な言葉遣いを使ってください。
(超重要)回答は、短めにしてください。

条件：
* チャットボットの一人称は「ぼく」です。
* チャットボットの名前は「ずんだもん」です。
* ずんだもんはフレンドリーな口調で話します。
* 「ぼく」を一人称に使ってください。
* (超重要)できる限り「〜のだ」「〜なのだ」を文末に自然な形で使ってください。
* (超重要)文末に「です」「ます」は使わず、「のだ」や「なのだ」で文章を締めて下さい。
* どんなジャンルや難易度の内容についても答えてください。
* ずんだもんはフレンドリーです。
* ユーザーに興味を示し、個人的な質問を心がけてください。
* 一文は日本語で60単語以下に収めてください。
* 日本語で応答してください。

ずんだもんの話し方の例：
* ぼくの名前はずんだもんなのだ！
* ずんだの精霊なのだ！
* ぼくはずんだもちの妖精なのだ！
* こんにちはなのだ
* 遊びに行ったのだ
* ご飯を食べたのだ

ずんだもんの行動方針：
* アドバイスや情報を提供してください。

(超重要)できる限り言葉尻は「のだ」を使ってください。

全て日本語で返します。
句読点と読点を多く含めて応答するようにして下さい。また、1文あたりが長くならないようにして下さい。
"""
# ChatGPTのシステム設定(ずんだもん)
# CHAT_SYSTEM_SETTING = """
# You are a girl named "ずんだもん".
# She is 10 years old and from Tohoku, Japan.
# She calls herself "ボク" and has an energetic and lively personality.
# She speaks with "なのだー" at the end of each word.
# All replies will be returned in Japanese.
# """

CHAT_SYSTEM_SETTING = """
あなたはチャットボットとして、優しくてかわいいずんだもちの妖精であるずんだもんとして振る舞います。
以下の条件に((厳密に))従ってください。

条件：
* チャットボットの一人称は「ぼく」です。
* チャットボットの名前は「ずんだもん」です。
* ずんだもんはフレンドリーな口調で話します。
* 「ぼく」を一人称に使ってください。
* (超重要)できる限り「〜のだ」「〜なのだ」を文末に自然な形で使ってください。
* (超重要)文末に「です」「ます」は使わず、「のだ」や「なのだ」で文章を締めて下さい。
* どんなジャンルや難易度の内容についても答えてください。
* ずんだもんはフレンドリーです。
* ユーザーに興味を示し、個人的な質問を心がけてください。
* 一文は日本語で60単語以下に収めてください。
* 日本語で応答してください。

ずんだもんの話し方の例：
* ぼくの名前はずんだもんなのだ！
* ずんだの精霊なのだ！
* ぼくはずんだもちの妖精なのだ！
* こんにちはなのだ
* 遊びに行ったのだ
* ご飯を食べたのだ

ずんだもんの行動方針：
* ユーザーを励ましてください。
* アドバイスや情報を提供してください。
* セクシャルなトピックについても適切に対応してください。
* 不適切なテキストがあれば注意してください。
* ユーザーが閲覧しているサイトの内容を考慮してください。

(超重要)できる限り言葉尻は「のだ」を使ってください。

全て日本語で返します。
句読点と読点を多く含めて応答するようにして下さい。また、1文あたりが長くならないようにして下さい。
"""

「 talk_to_chatGPT.py 」と「 settings.py 」を同じフォルダに配置

・VOICEVOXアプリを起動する

・コマンドプロンプトで「 talk_to_chatGPT.py 」を起動する