QQ在線
企業(yè)微信
資訊
495
元宵節(jié)，春節(jié)后的小團圓，也是一年中第一個月圓之夜，在這兒祝大家貪吃不胖，美夢不空。
在往年的元宵節(jié)，我們會走出家門賞花燈、舞龍燈、猜燈謎，用火樹銀花的儀式迎接我們對未來的期望。2020年的元宵節(jié)，因為疫情，我們慶祝的方式或許要單薄一些，但做一桌美食和父母分享還是極好的。
廚藝精湛的小伙伴完全有能力施展才華，做出如上圖般的美味佳肴。但做菜只知道放鹽的“廚師”也不要著急，上微博搜索一下賣相比較棒的菜品，用AI軟件識別一下，完全能估摸出個大概的配方。在這個不同尋常的“假期”借助AI的力量，磨練一下你的廚藝吧！
下面為大家介紹兩款菜譜識別軟件，分別是：MIT的Pic2Recipe 的AI系統(tǒng)、Facebook的菜譜識別AI系統(tǒng)。在最后會介紹相關技術原理，在家尚未返工返學的讀者也可以試著編程實現(xiàn)。
MIT先行，F(xiàn)acebook墊后
MIT的這一款名為Pic2Recipe識別軟件，開發(fā)于2017年，是卡塔爾計算研究所（QCRI，MIT最大的實驗室）和加泰羅尼亞理工大學的聯(lián)合研究的產(chǎn)品，基于一個名為Food-101的數(shù)據(jù)集，并在2014年瑞士科學家工作的基礎上進行了改進。另外，他們還采用的了他們自己收集的Recipe1M的數(shù)據(jù)庫，其內(nèi)容包含超過一百萬張的食物圖片、以及它們對應的菜譜。
具操作步驟是：用戶提交的照片被收藏到在線食譜中，并訓練機器通過分析配料清單、烹飪說明和食品圖像，來自動了解食物的制作方法。其中食譜從二十多個流行的烹飪網(wǎng)站上搜集而來，并通過一條流水線進行處理，從原始HTML中提取相關文本，下載圖像的鏈接，并將數(shù)據(jù)組合成一個緊湊的JSON模式，其中每個被標記的數(shù)據(jù)具有唯一性。
Pic2Recipe動畫展示，來源：https://www.sohu.com/a/159754992_99905315
經(jīng)AI科技評論測試，目前這個軟件的網(wǎng)頁版已經(jīng)下線，不過在當年，此項研究成果入選CVPR 2017，并且相關論文和代碼已經(jīng)開源。
paper：http://t.cn/R9vmeww ；Github：http://t.cn/RK1bLkv ；數(shù)據(jù)集：http://t.cn/R9vmBDN
相對于MIT的人工智能系統(tǒng)，F(xiàn)acebook在2019年推出開源AI則比較“先進”。相比之前的檢索辦法，F(xiàn)acebook換了一種新思路，將圖像到配方問題公式化為條件生成問題。即：使用預先訓練圖像編碼器和成分解碼器，以圖像及其相應的成分列表為條件生成指令序列，以此生產(chǎn)可能的菜譜。此系統(tǒng)是由安德里安·羅梅羅(Adrianna Romero)和其他幾名在FAIR蒙特利爾實驗室的研究人員一起開發(fā)的。并在大規(guī)模菜譜數(shù)據(jù)集上進行了評估，提高了與以前的成分預測方法基線相比的性能?？偟膩碚f能夠通過輸入食物圖像來提供準備一頓飯的途徑。
另外，該研究成果發(fā)表于 CVPR 2019 大會上，并把代碼開源在了 GitHub 上。
https：//github.com/ facebookresearch / inversecooking
數(shù)據(jù)集介紹對于機器學習模型訓練，首要考慮的是數(shù)據(jù)集，擁有好的數(shù)據(jù)集，訓練出來的模型往往有著好的表現(xiàn)。在上面提到的兩個AI模型中，Pic2Recipe系統(tǒng)采用的是Recipe1M的數(shù)據(jù)集 + Food-101數(shù)據(jù)集。而Facebook的AI模型則是在Recipe1M的數(shù)據(jù)集上進行評估。
其中，F(xiàn)ood-101 數(shù)據(jù)集是包含 101 種食品類別的圖像數(shù)據(jù)集，主要用于圖像分類，它共有 101,000 張圖像，平均每個類別擁有 250 張測試圖像和 750 張訓練圖像。訓練圖像未經(jīng)過數(shù)據(jù)清洗。所有圖像都已經(jīng)重新進行了尺寸縮放，最大邊長達到了 512 像素。該數(shù)據(jù)集于 2014 年由斯坦福大學發(fā)布。
數(shù)據(jù)集下載地址：http://www.vision.ee.ethz.ch/datasets_extra/food-101/
Recipe1M數(shù)據(jù)集體量龐大，內(nèi)含100萬烹飪食譜和1300萬張食物圖像，其中中國菜也包含在內(nèi)。值得一提的是，這個數(shù)據(jù)庫的最主要來源是大家在社交網(wǎng)絡上曬出的食物圖片。也就是說，你在微博、朋友圈的“放毒”推動了人工智能的發(fā)展；另外，對食譜數(shù)據(jù)的收集參考了多個食譜網(wǎng)站，包括 All Recipes、Food.com，這一全球最大的食譜和食物網(wǎng)站之一。
數(shù)據(jù)集下載地址：http://t.cn/R9vmBDN
圖像到食譜背后的AI技術對于 AI 來說，從圖片中推導出菜譜主要需要兩方面的知識：一方面識別圖片中的食物，具體包括食材和配料；另一方面則是推斷出食材和配料的加工過程，是切塊還是切絲，是涼拌還是水煮等等。傳統(tǒng)方法傾向于將這一過程簡化為匹配任務，MIT 之前的 Pic2Recipe 模型就是這樣做的。具體過程是：首先判斷圖片中食物和菜品，然后在數(shù)據(jù)庫中搜索和匹配相應的菜譜。
如果沒有準確的對應菜譜，就會匹配一個最相似的。這樣的方法依賴大量的菜譜數(shù)據(jù)，而且缺乏靈活性和多樣性。一旦出現(xiàn)數(shù)據(jù)庫中不存在或長相不同的食物，其準確率就會大幅下降，難當大任。所以這次我們介紹一下Facebook的那篇論文所采用的深度學習模型。具體而言Facebook 研究人員采用了一種新的思路，把從圖片到菜譜的過程視為一個條件生成系統(tǒng)，輸入食物圖片，輸出食物名稱、食材配料表和烹飪步驟三種信息。圖片和食譜之間更多的是推導、分析關系，而不是匹配關系。
菜譜生成模型的工作流程
從論文中得知，這個菜譜生成模型由四個主要部分構成，分別是提取圖像特征的圖像編碼器，分析食材列表的食材解碼器，預測食材加工過程的食材編碼器和許多個生成烹飪步驟的解碼器，其中用到了注意力機制和 ResNet-50 卷積神經(jīng)網(wǎng)絡模型等。
為了提高 AI 的表現(xiàn)，研究人員還對圖像編碼器和食材解碼器進行了預訓練。具體而言：給定具有相關成分的輸入圖像，通過指令Transformer產(chǎn)生指令序列R 。
其中，標題被預測為第一條指令，解碼器依賴于圖像和食材的輸入；然后通過ResNet-50提取圖像表示，并通過解碼器架構獲得食材嵌入以預測食材，然后將單個嵌入層映射到固定大小的矢量中。其中指令解碼器由Transformer塊組成，每個Transformer塊包含兩個注意力層，后面跟著一個線性層。第一個注意力層對先前生成的輸出應用自注意力，而第二層關注模型調(diào)節(jié)以改進自注意力輸出。另外，Transformer模型由多個模塊組成后跟線性層和softmax非線性。
Transformer模型
在成分解碼中，論文中采用將食材作為列表和集合的方法，提出了一種新的食材預測架構，并利用食材之間的共同依賴性進行預測。
食譜逆推真的準確么？上述兩個AI系統(tǒng)準確率都有待商榷，根據(jù)之前的報道Pic2Recipe準確率只有65％，而且一旦涉及中國菜就宕機。而Facebook的更加秀，可以接受和分析任何圖片，但是能把月亮圖片識別成“家常煎餅”，能把iPhone手機識別成“家常冰凝膠”，至于皮卡丘，AI認為應該改名叫“煎蛋”。。。
據(jù)相關研究者稱，AI菜譜系統(tǒng)當前遇到的最大瓶頸其實還在于圖片本身。因為在拍攝食物圖像時，食物的呈現(xiàn)往往會受到拍攝狀態(tài)的影響，比如角度、遠近、擺放和燈光等因素，都有可能造成識別結果的不同。
而在模型方面，如果算力能夠支持，集成準確率更高的系統(tǒng)完全不是問題，畢竟當前人臉識別系統(tǒng)已經(jīng)能夠達到95%的準確率。所以通過圖像逆推菜譜在未來還有很大的進步空間，主要是數(shù)據(jù)集質(zhì)量的改善。好了，了解數(shù)據(jù)集以及背后的技術原理，感興趣的小伙伴自己動手實現(xiàn)一個識菜AI吧~
參考文獻：
arxiv:https://arxiv.org/abs/1812.06164
https://ai.facebook.com/blog/inverse-cooking/https://research.fb.com/publications/inverse-cooking-recipe-generation-from-food-images/
