AIだけで“歌ってみた”を作ったら、歌は完成したのに伴奏で撤退した【実録・3日間/費用0円】

無料の歌声合成AI(NEUTRINO/ライブラリはMERROW)と楽譜スキャンで、AIだけの“歌ってみた”カバー制作に挑んだ3日間の実録です。費用0円。リズム補正116小節・歌詞の割り付け修正18カ所を手作業で潰し、歌声は自分の耳でOKと思えるところまで到達しました。それでも伴奏のチープ感だけが最後まで抜けず撤退。20代会社員のユウトが、AIに作れるもの・作れないものの境界線を正直にまとめます。
[TOC]目次// tap to toggle16 items
先に結論を言います。歌は完成しました。曲は完成しませんでした。
「AI量産系副業のリアル」実録シリーズの新作です。これまでの2本、LINEスタンプ22商品・売上0円 と BGM動画185本・収益0円 は、どちらも「作れたのに1円にならなかった」話でした。今回は少し毛色が違います。作りかけのまま、自分で手を止めた話です。
やろうとしたのは、AIと無料ツールだけで“歌ってみた”のカバーを1曲仕上げること。歌わせる相手は人間ではなく、無料の歌声合成ソフトです。結果として、歌声パートは「自分の耳で聴いてOKと思える」ところまで到達しました。でも、その歌の後ろで鳴る伴奏だけが、最後までどうにもならなかった。3日目に撤退を決めました。
かかった費用は 0円。かかった時間は 3日間。この記事では、途中でぶつかった作業の中身を、小節数も修正箇所数もそのまま出します。AIに何ができて、何ができないのかの境界線が、たぶんいちばんはっきり見える種類の失敗談です。
0円で終わった話は前にも書いたけど、今回は「あと一歩で完成だったのに自分でやめた」っていう、ちょっと違う後味なんだ。悔しさの質が全然違うんだよね。
今回題材にしたのは、昔好きだったアニメの主題歌です。市販されている楽譜を使いました。これはあくまで個人的な実験で、完成した音源は一切公開していません(この記事にも試聴リンクや音源の埋め込みはありません)。楽曲には権利があります。手元で試すのと、世に出すのはまったく別の話です。この記事は制作工程の技術的な記録として読んでください。曲名・アーティスト名も伏せます。
結論:AIは「正確さ」を作れた。「揺らぎ」は作れなかった
時間がない人向けに、最初に要点だけ。
- 無料の歌声合成ソフト NEUTRINO(歌声ライブラリは MERROW)で、AIだけの“歌ってみた”に挑戦。費用0円・作業3日間
- 市販楽譜を OMR(楽譜スキャン) で読み取り、データ化して歌わせるパイプラインを自作した
- スキャンの精度は低く、リズム補正116小節・歌詞の割り付け修正18カ所を手作業で潰した
- その結果、歌声は自分の耳でOKと思えるレベルに到達。ここまでは成功と言っていい
- 詰んだのは伴奏。GM音源での打ち込み → ミックス処理 → GarageBandの自動ドラマーと3段階まで試したが、チープ感が抜けず撤退
- 学び:AIと無料ツールは 音程・タイミングの正確さは完璧に作れる。でも 人間の演奏の揺らぎ・ニュアンスは作れない。そして曲の“質感”の正体は、後者のほうだった
- 再開するなら、**伴奏だけ人間に外注(相場で5千〜2万円)**が最短だと思っています
順番に、何をやって、どこで止まったのかを書いていきます。
1. 実録:116小節・18カ所・3日間・0円の全数字
まず、事実だけ並べます。
- 使ったツール:NEUTRINO(無料の歌声合成ソフト)/歌声ライブラリは MERROW
- 元データ:市販楽譜を OMR(楽譜スキャン) で読み取り
- 手作業で直した量:リズム補正 116小節 / 歌詞の割り付け修正 18カ所
- 作業日数:3日間
- かかった費用:0円(ソフト代・音源代・課金すべてなし)
- 歌声パートの到達点:自分の耳で聴いてOKと思えるレベル(第三者評価ではありません)
- 伴奏の対策:3段階(①無料GM音源で打ち込み ②ミックス処理 ③GarageBand+自動ドラマー)→ すべて不採用
- 最終判断:撤退。音源は非公開のまま
数字だけ見ると、なかなか妙な内訳です。116小節と18カ所という細かい手作業を全部潰しきったのに、最後の1ピースが埋まらずに全部が止まった。この形の失敗は初めてでした。
2. 歌声はできた:楽譜を読み取って、AIに歌わせるまで
まず「できた側」の話から。今回いちばん驚いたのは、歌声合成のクオリティが無料で手に入るという事実でした。
流れはこうです。
- 楽譜を用意する(市販の楽譜)
- OMRでスキャンして楽譜データに変換する(音符と歌詞を機械が読み取る)
- 読み取り結果を人間が直す(ここが本番。後述)
- NEUTRINOに読ませて、MERROWの声で歌わせる
- 出てきた歌声を聴いて、気になる箇所をまた直す
ポイントは、ぼくが音符を1個も打ち込んでいないことです。楽譜という「答え」がすでに紙にある以上、それを機械に読ませればいい——という発想でパイプラインを組みました。実際、設計としては正しかったと思います。1曲まるごと打ち込む手間は、たしかに消えました。
問題は、機械が読み取った楽譜が、想像の10倍間違っていたことです。
手作業その1:リズム補正 116小節
OMRは、音符の「高さ」はわりと読めます。でも「長さ」がとにかく苦手でした。付点が落ちる、休符が消える、連桁の区切りを取り違える。結果、小節の中の拍数が合わない箇所が延々と出てきます。
直した小節数は、116小節。1曲分の骨格をほぼ引き直した感覚です。ここは知恵でも工夫でもなく、単純に上から順に潰すしかありませんでした。
手作業その2:歌詞の割り付け修正 18カ所
そして、この記事でいちばん読んでほしいのがここです。
歌声合成は「どの音符で、どの音を発音するか」を1文字単位で指定します。楽譜から自動で割り付けると、日本語としては正しいのに歌として破綻する箇所が出る。直したのは 18カ所。中身はこんな感じでした。
- 休符の位置がズレて「っ」に聞こえる:本来なめらかに繋がるところに、ほんの一瞬の空白が入るだけで、詰まって「〜っ」と言っているように聞こえてしまう。楽譜上は正しいのに、耳では明確に不自然
- 助詞の発音表記:「は」は歌では「わ」、「へ」は「え」と発音する。文字どおり読ませると「わたしは」が、機械的な「ハ」になって一気に素人くさくなる
- 長音の表記:「行こう」は「いこう」ではなく「いこー」と書かないと、語尾が伸びずに「ウ」と発音されてしまう
これ、歌が下手に聞こえる原因のほとんどが、音程ではなく「文字の書き方」だったという話です。ぼくは音楽の専門教育を受けたことがないので、ここは完全に「聴いて、変だと思って、直す」の繰り返しでした。
面白いのは、この工程はAIに任せられなかったことです。「どこが不自然に聞こえるか」を判定するには、いったん耳で聴くしかない。18カ所というのは、3日間で見つけられた18カ所であって、プロが聴けばもっとあったはずです。
「は→わ」なんて、言われてみれば当たり前なんだよ。カラオケでみんな自然にやってる。でも機械はやってくれない。“人間が無意識にやってること”を全部言語化して渡すのが、AIを使う仕事の正体なんだなって思ったよ。
そして、この116小節と18カ所を潰した結果、歌声は聴けるものになりました。自分で再生して「あ、ちゃんと歌ってる」と思えた。第三者に評価してもらったわけではないので控えめに書きますが、少なくともぼくの耳のなかでは、ここでOKが出た。費用は、この時点でまだ0円です。
3. 伴奏の壁:3段階やっても「チープ感」が抜けなかった
さて、歌だけ鳴っていても曲にはなりません。後ろで鳴るもの——ドラム、ベース、コード楽器が要ります。ここからが本題です。
第1段階:無料のGM音源で打ち込む
まず、手持ちの無料音源(GM音源)で伴奏を打ち込みました。音は出ます。コードも合っています。テンポも1ミリもズレません。
でも、出てきたのは**「デモ音源」**でした。着信音とか、昔の携帯ゲームのBGMとか、そういう手触り。歌が乗った瞬間、後ろだけが明らかに別の世界の音になる。
第2段階:プロっぽいミックス処理をかける
次に、音を加工する方向で戦いました。EQで帯域を整理して、リバーブで空間を作って、各パートの音量バランスを取り直す。いわゆる「ミックス」の真似事です。
これは効きました。第1段階よりは確実に良くなった。ただ、良くなったのは「音の置き方」であって、鳴っている音そのもののチープさは1ミリも変わりませんでした。安いスピーカーの音を、いい部屋で鳴らしているだけ、という感じです。
第3段階:GarageBand+自動ドラマー(Drummer)を投入
最後の手として、GarageBandを持ち出しました。目玉は 自動ドラマー(Drummer)機能です。ジャンルとキャラクターを指定すると、人間のドラマーっぽいフレーズを自動で叩いてくれる。まさに今回ほしかった機能でした。
結果は——惜しかった。打ち込みの直角なリズムよりずっと自然で、「人が叩いている感じ」の輪郭までは出ました。それでも、歌と合わせると、やっぱり後ろだけが一段安っぽい。ドラムが良くなった分、今度はベースとコード楽器の平板さが目立つ、という状態でした。
ここで手を止めました。3日目です。
「あと数時間やれば良くなる」という手応えが、まったくなかったからです。第1→第2→第3と改善はしている。でも改善のたびに、残っている距離が「詰められる距離」ではないことがはっきりしていった。足りないのは作業量ではなく、手持ちの道具そのものだと分かった時点で、追加投資を止めました。
これ、けっこうキツかったよ。116小節と18カ所を潰した3日間が、丸ごと聴かれないまま終わるわけだから。でもね、ここで意地になって10日かけても、たぶん同じ場所にいたと思う。
4. なぜ伴奏だけダメだったのか:正確さは作れる、揺らぎは作れない
撤退したあと、この非対称さについてずっと考えていました。同じAI・同じ無料ツールなのに、なぜ歌声は成功して伴奏は失敗したのか。
ぼくなりの答えはこれです。
- AIと無料ツールは、音程・タイミングの「正確さ」は完璧に作れる
- でも、人間の演奏の「揺らぎ・ニュアンス」は作れない
- そして曲の“質感”の正体は、後者のほうだった
歌声パートで求められていたのは、実は「正確さ」でした。正しい音程で、正しいタイミングで、正しい発音で歌う。そこが崩れていたのは機械のせいではなく、楽譜の読み取りミスのせいだったので、ぼくが116小節と18カ所を直せば解決したわけです。つまり歌声は、人間が正解を教えれば埋まる種類の穴でした。
伴奏は逆でした。ぼくの打ち込みは、最初から完璧に正確だったんです。テンポは1ミリもズレず、音量は全部同じで、コードは理論どおり。その完璧さこそが、チープさの正体でした。
生の演奏には、ものすごく小さいムラがあります。ドラムの各打点がわずかに前後する、同じフレーズでも一音ずつ強さが違う、弦を弾く角度で音色が変わる、フレーズの終わりで無意識にテンポが緩む。そのズレの集合体を、人は「上手い」「生っぽい」と呼んでいる。
第3段階で使った自動ドラマーは、まさにその揺らぎを再現する機能でした。だから確かに良くなった。でも再現できたのはドラム1パート分だけで、ベースにもコードにも同じ厚みの揺らぎが要る。無料の道具で全パート分をまかなうのは、少なくともぼくの3日間では無理でした。
もうひとつ大きいのが、音源の素材そのものです。プロの現場では、実際に演奏・録音された音のライブラリを使います。あれは高い。当たり前です、人間が演奏した結果が入っているので。**ぼくが0円で手に入れられたのは、「正しいけれど誰も演奏していない音」**でした。
この構図、音楽以外にもきれいに当てはまると思っています。AIが得意なのは、正解が定義できるところ。苦手なのは、正解がなくて“感じ”でしか判定できないところ。ぼくが3日目にぶつかったのは、その境界線そのものでした。
5. 実録シリーズ3本の対比と、これから始める人へ
対比:同じ「0円」でも、質が違う
これまでの実録シリーズと並べると、失敗の地形が立体的に見えてきます。
- 第1弾:LINEスタンプ22商品 → 作りきったのに誰にも発見されず0円。市場に並べただけでは、存在しないのと同じだった
- 第2弾:BGM動画185本 → 3.4万再生まで届いたのに、収益化ラインの手前で0円。発見はされたが、壁が遠すぎた
- 第3弾(今回):AIカバー1曲 → 完成の一歩手前で、自分で撤退。市場に出す以前に、作品として世に出せる水準に届かなかった
前の2本は「外側の壁」でした。市場が見てくれない、プラットフォームの条件が遠い——自分の努力の外側で止まっている。今回は「内側の壁」です。誰にも止められていないのに、自分の手元の道具の限界で止まった。
この違いは、けっこう重要だと思っています。外側の壁は「もっと届ける工夫をする」で戦えます。内側の壁は、工夫ではなく道具を替えるしかない。同じ0円でも、次の打ち手がまったく別物になるからです。
これから始める人へ:いちばんチープに見える工程を、最初に試す
今回の3日間から、実践的な教訓を1個だけ持ち帰るならこれです。
- ❌ 作りやすい工程から手をつける → 積み上げた最後に、いちばん弱い工程で全部止まる(今回の失敗)
- ⭕ いちばんチープに見えそうな工程を、最初に単体で試す → 越えられないなら、そこで撤退できる。3日ではなく30分で
ぼくは順番を完全に間違えました。歌声(=AIが得意で、成果がすぐ出て、やっていて楽しい工程)から着手して、伴奏(=いちばん怪しい工程)を最後に回した。もし初日に伴奏だけ30分試していたら、116小節を直す前に判断できていたはずです。
そして、作品全体の印象は、いちばん弱い部分が決めます。歌が9割よくても、後ろの音が1つ安っぽければ、聴いた人の感想は「なんか安っぽい」になる。平均ではなく、最低点で評価される。これは動画でもスライドでもWeb制作でも同じで、AIで何かを作る人が最初に知っておくべき性質だと思います。
再開するなら:伴奏だけ人間に外注する(5千〜2万円)
「じゃあどうすれば完成したのか」の答えも、今なら書けます。伴奏だけを人間に外注する。相場でいうと、5千〜2万円くらいのレンジです。
歌声は0円で自前調達できることが実証済みなので、足りないピースは1つだけ。全部を自分でやろうとしなければ、この企画は完成します。「AIで全部やる」に固執した結果、完成品がゼロになった——というのが、いちばん正直な総括です。AIは全工程を埋める道具ではなく、外注費を1点に集中させるための道具なんだと思います。
ちなみに、ぼくが案件への提案や日々の制作で実際に使っているプロンプトは、noteに100個まとめてあります。「AIで済ませる工程」と「人に頼む工程」を切り分けて速く回したい人向けの道具として、必要な人だけどうぞ。
6. よくある質問(FAQ)
Q. 作った音源は公開しないの?
A. 公開しません。今回は市販の楽譜を使った、既存曲のカバー制作です。楽曲には権利があり、手元で個人的に試すことと、インターネットに出すことはまったく別の話です。この記事にも試聴リンクや音源の埋め込みは一切置いていません。この記事で共有したいのは音そのものではなく、工程で分かったAIの得意・不得意のほうです。
Q. 歌声が「成功」って、どのくらいのレベル?
A. ぼく自身が聴いて「これはOK」と思えたレベル、以上でも以下でもありません。第三者に評価してもらったわけでも、プロの水準と比べたわけでもないので、そこは控えめに書いています。確実に言えるのは、費用0円のツールで、3日間の手作業を足せば、素人の自分が納得する歌声までは届いたという事実です。
Q. 有料の音源を買えば解決したのでは?
A. たぶん改善はします。ただ、生演奏系の音源ライブラリはそれなりの価格帯で、しかも買っただけで良くなるわけではなく、鳴らし方の技術が別に要るという感触でした。同じお金を出すなら、伴奏そのものを人に頼む(5千〜2万円)ほうが早くて確実だというのが今回の結論です。ここは「お金で解決できる問題ではあるが、解決の仕方を間違えると沼」だと思っています。
- 無料の歌声合成ソフト NEUTRINO(ライブラリは MERROW)+楽譜スキャンで、AIだけのカバー制作に挑戦。費用0円・3日間
- OMRの読み取りは誤りだらけで、リズム補正116小節・歌詞の割り付け修正18カ所を手作業で修正した
- 修正の中身は「休符のズレで『っ』に聞こえる」「助詞は→わ・へ→え」「行こう→いこー」など、人が無意識にやっている処理の言語化だった
- その結果、歌声は自分の耳でOKと思えるレベルに到達。ここまでは成功
- 伴奏は GM音源 → ミックス処理 → GarageBand+自動ドラマーの3段階を試したが、チープ感が抜けず撤退
- 学び:AIは 正確さを作れるが、人間の演奏の揺らぎ・ニュアンスは作れない。曲の“質感”の正体は後者だった
- 実践的な教訓は「いちばんチープに見える工程を、最初に単体で試す」。作品の印象は平均ではなく最低点で決まる
- 再開するなら 伴奏だけ人間に外注(5千〜2万円) が最短。AIは全工程を埋める道具ではなく、外注費を1点に集中させる道具
- ※制作した音源は個人的な実験として非公開。市販楽譜を使ったカバーを公開してはいません
次に読むなら
- AIでBGM動画を185本作ってYouTubeに投稿した結果、収益0円だった ── 実録シリーズ第2弾。「発見はされたのに壁が遠い」側の0円
- AIでLINEスタンプを22商品作って売った結果、売上0円だった ── 実録シリーズ第1弾。「発見されない」側の0円
- AIで作った曲を音楽配信サービスに出したら、4日で6曲がSpotifyに並んだ ── 同じ音楽でも、オリジナル曲なら「出す」ところまでは行けた話
- AIでホラー動画を40本作ってYouTubeに投稿した結果、登録者50人で止めた話 ── 撤退判断のもうひとつのケース
- AI副業で9割が3ヶ月で挫折する理由とぼくが越えた壁 ── 挫折パターンを先に知っておく「守りのマップ」
それでは、また次の記事で。「AIに代わりに働かせて、人生をハックする」——今回は歌までしかハックできませんでしたが、AIの得意・不得意の線が1本はっきり引けたので、この3日間は元が取れたことにします。
—— ユウト
※本記事は2026年8月時点の、ぼく個人の制作記録です。成果には個人差があり、特定の手法や結果を保証するものではありません。NEUTRINOをはじめとする各ソフトの仕様・提供条件・利用規約、および外注相場は変更される場合があるため、最新情報は各公式サイトでご確認ください。既存楽曲のカバー音源を公開・配信する場合は、権利処理が別途必要になります。
この記事を書いた人
ユウト
AIに代わりに働かせて自分の人生を取り戻す、をテーマに発信中。ChatGPT・Claude・Notion AI 活用で『ぼくが作業しない副業』を実装。

