הכתבות החמותיצירהפנאי

MusicGen מחולל מוסיקה חדש מבית מטא – יצירת מוסיקה מטקסט

MusicGen מחולל מוסיקה חדש מבית מטא - יצירת מוסיקה מטקסט

הכירו את הכלי החדש מבית מטא (פייסבוק), שנקרא MusicGen ונועד על מנת להפוך טקסטים למוסיקה ע"י פרומפטים.

חוקרי הבינה המלאכותית של פייסבוק אימנו את המודל של מיוזקג'ן על 20,000 שעות של מוסיקה, הן על מוסיקה ברישיון והן על קבצי וקטעי מוזיקה מ-ShutterStock ו-Pond5 ועוד. ע"י המחולל ניתן אף להזין אליו (להעלות) קטעי מוסיקה משלכם ולערוך אותם ולהכניס בהם שיפורים ושינויים ע"י כלי הבינה המלאכותית של פייסבוק.

וכך כתב בכיר בפייסבוק ואף צירף קטע הדגמה בעמוד הטוויטר שלו:

צפו בהדגמה איך מיוזיקג'ן עובד…

Audiocraft מספקת את הקוד והדגמים עבור MusicGen, מודל פשוט וניתן לשליטה ליצירת מוזיקה. MusicGen הוא דגם טרנספורמר אוטומטי רגרסיבי של שלב אחד, מאומן על 32kHz EnCodec tokenizer עם 4 ספרי קוד שנדגמו בתדר 50 הרץ.

בניגוד לשיטות קיימות כמו MusicLM, מיוזיקג'ן אינו דורש ייצוג סמנטי בפיקוח עצמי, והוא מייצר את כל 4 ספרי הקוד במעבר אחד. על ידי הכנסת השהיה קטנה בין ספרי הקוד, מה שמראה על יכולת לחזות אותם במקביל, ובכך לקבל רק 50 שלבים אוטומטיים רגרסיביים לשנייה של אודיו.

ההתקנה דורשת Python 3.9, PyTorch 2.0.0 ו-GPU עם לפחות 16 GB של זיכרון.

קישורים:

אולי תאהבו גם את זה:

כלי בינה מלאכותית חדש רוצה לעזור לכם לערוך וידאו כמו בהוליווד

בינה קלאב

גוגל בארד זמין כעת גם בעברית, ועם פיצ'רים חדשים

בינה קלאב

חברת OpenAi חושפת כלי מטורף ליצירת וידאו ע"י בינה מלאכותית

בינה קלאב

מנוע חיפוש חדש מציע לכם לחפש מבין אלפי פרומפטים מוכנים לשימוש

בינה קלאב

שאלנו את ChatGPT כיצד הוא יכול לשרת אותנו? וזה מה שהוא ענה

בינה קלאב

מערכת AI לתמלול קטעי וידאו

בינה קלאב

השאר תגובה לפוסט זה