ถาม-ตอบ: ความฉลาดทางดนตรี

ถาม-ตอบ: ความฉลาดทางดนตรี

Eduardo Reck Miranda

 เป็นนักแต่งเพลงและนักวิจัยชั้นนำด้านปัญญาประดิษฐ์ในดนตรี ประจำอยู่ที่ University of Plymouth สหราชอาณาจักร เวอร์ชันปรับปรุงของSacra Conversazione ของเขา — ห้าการเคลื่อนไหวสำหรับวงออร์เคสตรา เครื่องเพอร์คัชชัน และอุปกรณ์อิเล็กทรอนิกส์ — จะดำเนินการในวันที่ 9 มิถุนายนในลอนดอน เขาอธิบายสิ่งที่ดนตรีสามารถบอกเราเกี่ยวกับคำพูด สรีรวิทยา และความรู้ความเข้าใจ

Sacra Conversazione

ควีนเอลิซาเบธ ฮอลล์ กรุงลอนดอน 9 มิถุนายน 2554 เวลา 19.30 น. ออกอากาศและออนไลน์ทาง BBC Radio 3 วันที่ 3 กรกฎาคม

ใน Sacra Conversazione คุณจะสังเคราะห์ ‘คำเทียม’ โดยการประกบเสียงจากภาษาต่างๆ อะไรเป็นแรงบันดาลใจนี้?

การเรียบเรียงมุ่งเน้นไปที่พลังการสื่อสารที่ไม่เกี่ยวกับความหมายของเสียงของมนุษย์ ซึ่งส่วนใหญ่ถ่ายทอดโดยรูปร่างที่ไพเราะ จังหวะ ความเร็ว และความดังของเสียงร้อง มีหลักฐานว่าเนื้อหาคำพูดที่ไม่ใช่เชิงความหมาย เช่น เจตนาทางอารมณ์ ได้รับการประมวลผลโดยสมองเร็วกว่าเนื้อหาเชิงความหมาย ดูเหมือนว่ามนุษย์ได้พัฒนา “ช่องทางที่รวดเร็ว” สำหรับเนื้อหาที่ไม่ใช่ความหมายนี้ ฉันเชื่อว่าแง่มุมนี้ของจิตใจของเราเป็นศูนย์กลางของความสามารถของเราในการทำและชื่นชมดนตรี

คุณสร้างคำเทียมได้อย่างไร?

ฉันเริ่มต้นด้วยการรวมคำพูดเดียวจากหลายภาษา ฉันใช้มากกว่าหนึ่งโหล — หลากหลายเหมือนภาษาญี่ปุ่น, อังกฤษ, สเปน, ฟาร์ซี, ไทย และโครเอเชีย — เพื่อสร้าง ‘คำ’ ที่ประกอบขึ้นเป็น ‘คำ’ หลายร้อยคำ ราวกับว่าฉันกำลังสร้างพจนานุกรมสำหรับภาษาเทียมใหม่ เป็นงานที่ต้องใช้ความอุตสาหะโดยใช้วิธีการสังเคราะห์เสียงพูดที่ซับซ้อน แต่ฉันรู้สึกประหลาดใจที่มีเพียงหนึ่งในห้าของ ‘คำศัพท์’ ใหม่เหล่านี้ที่ฟังดูเป็นธรรมชาติ

ทำไมคำที่ประกอบเข้าด้วยกันจึงไม่สมจริง?

ปัญหาอยู่ในการเปลี่ยนระหว่างส่วนเดิม ตัวอย่างเช่น การเปลี่ยนจากพูดภาษาไทย ก เป็นภาษาญี่ปุ่น ข ฟังดูไม่ถูกต้อง แต่การเปลี่ยนจากอดีตไปเป็นภาษาญี่ปุ่น ค เป็นที่ยอมรับได้ ฉันมาเชื่อว่าเหตุผลหลักคือทางสรีรวิทยา เมื่อเราพูด กลไกเสียงพูดของเราจะเชื่อมต่อกล้ามเนื้อหลายมัดพร้อมกัน ดังนั้น หากเราสังเคราะห์คำพูดที่ประดิษฐ์ขึ้นซึ่งไม่น่าเป็นไปได้ทางสรีรวิทยา สมองก็ไม่เต็มใจที่จะยอมรับ การรับรู้เสียงของมนุษย์ – และฉันสงสัยว่าการรับรู้การได้ยินโดยทั่วไป – ได้รับอิทธิพลอย่างมากจากสรีรวิทยาของการผลิตเสียงพูด

คุณลองแนวทางอื่นใดอีกบ้าง

ฉันพยายามสังเคราะห์เสียงโดยใช้แบบจำลองทางกายภาพของช่องเสียง โมเดลนี้มีตัวแปรมากกว่า 20 ตัว โดยแต่ละตัวแปรแสดงถึงกล้ามเนื้อเฉพาะอย่างคร่าวๆ แต่ฉันพบว่ามันยากมากที่จะสร้างคำพูดที่เหมาะสมกับโมเดลนี้ ในทำนองเดียวกัน ฉันใช้เสียงเหล่านี้บางส่วนในการจัดองค์ประกอบ: ฟังดูคล้ายเสียงแต่ไม่เหมือนคำพูด สิ่งนี้อธิบายได้ว่าทำไมเทคโนโลยีเสียงพูดประดิษฐ์ยังคงต้องอาศัยวิธีการประกบและการปรับให้เรียบ

คุณเปลี่ยนเสียงเหล่านี้เป็นเพลงได้อย่างไร?

การสังเคราะห์และปรับแต่งเสียงเป็นเพียงฟันเฟือง น็อตและสลักเกลียว เสียงเพลงเกิดขึ้นเมื่อเริ่มประกอบเครื่อง เป็นการยากที่จะอธิบายว่าฉันแต่งSacra Conversazioneอย่างไร แต่แรงบันดาลใจก็มีส่วนสำคัญ แรงบันดาลใจเชิงสร้างสรรค์อยู่เหนือความสามารถของคอมพิวเตอร์ แต่การค้นพบที่มาของมันคือจอกศักดิ์สิทธิ์ของประสาทวิทยาศาสตร์ สมองสามารถร่างและดำเนินการตามแผนในนามของเราโดยปริยายโดยไม่บอกเราได้อย่างไร?

นักแต่งเพลง Eduardo Reck Miranda (ด้านหลังซ้าย ที่คอมพิวเตอร์) สังเคราะห์เสียงดนตรีจากเสียงของมนุษย์ 

ความเข้าใจที่พัฒนาขึ้นเกี่ยวกับความรู้ความเข้าใจทางดนตรีเปิดโอกาสในการแต่งเพลงหรือไม่?

ใช่ในขอบเขตที่จำกัด แต่ความคืบหน้าอาจเกิดขึ้นจากสิ่งที่ตรงกันข้าม: ความเป็นไปได้ใหม่ ๆ ในการแต่งเพลงจะมีส่วนช่วยในการพัฒนาความเข้าใจดังกล่าว วิธีประสาทวิทยาศาสตร์เกี่ยวกับความรู้ความเข้าใจบังคับให้นักวิทยาศาสตร์จำกัดแนวความคิดของดนตรีให้แคบลง ในขณะที่ฉันต้องการขยายขอบเขตให้กว้างขึ้น แต่แนวทางไม่เข้ากัน: แต่ละวิธีสามารถให้ข้อมูลและเสริมซึ่งกันและกันได้

ตอนนี้คุณทำงานอะไร

ฉันกำลังทำงานกับอินเทอร์เฟซระหว่างมนุษย์กับคอมพิวเตอร์ ซึ่งผู้ใช้สามารถควบคุมพารามิเตอร์ทางดนตรีได้ด้วยสมองเท่านั้น (ดูhttp://go.nature.com/ieds9g ) และฉันกำลังเตรียมแผนการของเซลล์ประสาทที่พุ่งสูงขึ้นและพฤติกรรมของแบบจำลองชีวิตเทียมสำหรับSound to Seaซึ่งเป็นเพลงไพเราะขนาดใหญ่สำหรับวงออเคสตรา ออร์แกนในโบสถ์ เพอร์คัชชัน นักร้องประสานเสียง และศิลปินเดี่ยวเมซโซ-โซปราโน ชิ้นนี้จะฉายรอบปฐมทัศน์ในปี 2555

คุณหวังว่าผู้ฟังจะรู้สึกอย่างไรเมื่อได้ฟังผลงานของคุณ?

เป้าหมายหลักของฉันคือการแต่งเพลงที่ชื่นชมในฐานะชิ้นงานศิลปะมากกว่าที่จะเป็นการทดลองทางหูที่ท้าทาย ถ้าดนตรีทำให้คนนึกถึงความสัมพันธ์ระหว่างเสียงกับภาษา ผมคงจะมีความสุขมากกว่านี้ ดนตรีไม่ใช่แค่ความบันเทิงเท่านั้น