חידושים בעיבוד תמונה, ראיה ממוחשבת ו-Deep Learning בסביבת MATLAB בגרסת R2017a

בשבוע שעבר נערך במלון הילטון כנס MATLAB & Simulink המרכזי לשנת 2017, בהשתתפות כ-600 משתמשים בכלי MathWorks. אחד מהמסלולים המבוקשים בכנס היה מסלול ה"חידושים בעיבוד תמונה, ראיה ממוחשבת ו-Deep Learning", אותו ריכז כותב שורות אלה. במסלול נסקרו החידושים המשמעותיים בתחומים הנ"ל בגרסאות האחרונות של הכלים הרלוונטים. מכיוון שאתם ודאי עוקבים באדיקות אחרי העדכונים המפורסמים בבלוג זה, לא אלאה אתכם בחידושים שנכנסו בגרסאות שאינן הגרסה העדכנית (מי שפספס - יכול ללחוץ פה כדי לעבור לפוסט הקודם בנושא).

אז הנה החידושים המשמעותיים בגרסת R2017a בתחומים עיבוד תמונה וראיה ממוחשבת:

•          Registration Estimator App – יישומון אינטראקטיבי המקל על חקר של מגוון טכניקות רגיסטרציה (לחצו למידע נוסף)

•          3D Volume Viewer App – יישומון המשמש לצפיה במידע נפחי תלת-ממדי (לחצו למידע נוסף). לידיעת העוסקים בעיבוד מידע נפחי - בגרסה החדשה נוספה תמיכה בעיבוד מידע שכזה במעל 20 פונקציות, וביניהן פונקציות הסגמנטציה בגישת Active Contours ו-Fast Marching

•          ביצוע סגמנטציה בשיטת lazysnapping לרקע/אובייקט (מכונה גם graph cut). לתיעוד הפקודה - לחצו פה

•         Image Segmenter App – היישומון לביצוע סגמנטציה בשיטות שונות כולל את שיטת הסגמנטציה החדשה המוזכרת למעלה, והחל מהגרסה העדכנית – גם תומך בתמונות RGB

•          פונקציה לאימון גלאי אובייקטים בגישת Aggregated Channel Features (ACF)

•          הערכת ביצועי גלאי אובייקטים בעזרת מטריקות כמו Average Precision או Log-Average Miss Rate

והנה החידושים המרכזיים בגרסת R2017a בתחום ה-Deep Learning:

•          אפשרות לבצע אימון בעזרת מספר GPUs על PCs ו-Clusters. השליטה על סביבת הביצוע מתאפשרת באמצעות הפרמטר ExecutionEnvironment (לחצו פה). 

•          אפשרות לייבא מודלים מ-Caffe (בגרסה הבאה מתוכננת גם תמיכה ב-TensorFlow). לחצו כדי ללמוד על הפונקציות importCaffeLayers ו-importCaffeNetwork

•          יכולת לבצע לוקאליזציה באמצעות Fast R-CNN ו-Faster R-CNN – כהמשך להכנסת התמיכה ב-R-CNN בגרסה הקודמת של הכלים. בהקשר הזה מומלץ להתעדכן גם בחידוש האחרון שהוזכר בחלק הקודם של הפוסט

•          טעינת רשתות VGG-16 ו- VGG-19באמצעות שורת קוד אחת - כהמשך להכנסת היכולת לבצע זאת ל-Alexnet בגרסה הקודמת של הכלים

•          יכולת להגדיר שכבת רגרסיה בעזרת הפקודה regressionLayer – לצורך אימון CNN לביצוע משימות רגרסיה

•          אפשרות לבצע אימון בעזרת CPU בלבד למי שלא מעוניין או לא יכול להשתמש ב-GPU לצורך האימון (ניהול הזיכרון שופר, אך כמובן שעדיין עדיף להיעזר ב-GPU)

•          deepDreamImage – לצורך הדגשת הפיצ'רים שהרשת למדה, שימושי לצורך הבנה ואבחון של התנהגות הרשת. לחצו לתיעוד

•          Training Accuracy Plot – עוזר להבין האם האימון מתקדם בתהליך הנכון, או שכדאי לעצור ולשנות Setup. לחצו לתיעוד

•          App לביצוע Labeling לסרטוני ווידאו (לחצו לתיעוד), כהמשך ל-App המסייע לביצוע Labeling לתמונות הקיים כבר שלוש שנים 

למידע נוסף – מומלץ לבדוק בתיעוד ו/או ב-Release Notes. וכמובן שב-MathWorks עובדים כעת על פיצ'רים מאוד משמעותיים שאמורים להיכנס בגרסת הכלים הבאה, R2017b, שצפויה להשתחרר בסביבות חודש ספטמבר, אז מומלץ לעקוב!

הצגת ה-Registration Estimator App במהלך הכנס

חידושים בעיבוד תמונה וראיה ממוחשבת בסביבת MATLAB

הרבה יכולות חדשות נכנסו לכלי עיבוד התמונה והראיה הממוחשבת בסביבת MATLAB בגרסאות האחרונות – פונקציות חדשות, פיצ'רים חדשים בפונקציות ותיקות, וממשקים גרפיים אינטראקטיביים (Apps) נוחים לשימוש.

דוגמאות ל-Apps (ניתן ללחוץ על התמונות לעיל לצורך הגדלה):
מימין - Image Batch Processor App המאפשר לבצע פעולה מסוימת על מספר תמונות מאותה תיקייה, ניתן לעבוד על מספר תמונות בו זמנית (לחצו לפוסט בנושא).
משמאל - Color Thresholder App המאפשר לבצע עיבוד תמונה המבוסס על צבע (לחצו לפוסט בנושא). 

בין היכולות החדשות:

·         Point Cloud Processing – עבודה עם ענני נקודות – הסרת רעש, איחוד ענני נקודות, רגיסטרציה של שני ענני נקודות באמצעות אלגוריתם ICP ועוד...למידע נוסף – לחצו פה.

·         Structure from Motion – שערוך תנוחת מצלמה ומבנה תלת-ממדי של סצינה מתוך אוסף תמונות דו-ממדיות. שימושי עבור יישומי סריקות תלת-ממד ומציאות רבודה (Augmented Reality). למידע נוסף – לחצו פה.

·         OCR – פונקציות לזיהוי תווים אופטי וממשק גרפי (App) לאימון מודל OCR לצורך זיהוי סט ספציפי של תווים. למידע נוסף – לחצו פה.

·         המרה אוטומטית מקוד MATLAB לקוד C – תוספת של עשרות אלגוריתמי עיבוד תמונה וראיה ממוחשבת לרשימת האלגוריתמים הניתנים להמרה. לרשימה המלאה, לפי כלי MathWorks השונים – לחצו פה (חפשו את המילים Image או Computer Vision).

·         טכניקות סגמנטציה חדשות ב-Image Segmenter App כמו  Flood-Fill, Adaptive Thresholding  וסגמנטציה מורפולוגית, בנוסף לשיטתActive Contours . לדוגמה לשימוש ב-App – לחצו פה.

·         האצת ביצועים באמצעות GPU – תוספת של עשרות פונקציות מעולם עיבוד התמונה לרשימת הפונקציות הניתנות להאצה בעזרת כרטיס המסך. למידע כללי על האצת ביצועי MATLAB באמצעות GPU – לחצו פה. לרשימה העדכנית של הפונקציות הנתמכות מעולם עיבוד התמונה – לחצו פה.

·         ACF – גילוי אנשים בוידאו ותמונות בעזרתAggregate Channel Features . למידע נוסף – לחצו פה.

·         SLIC – סגמנטצית סופרפיקסל יעילה של תמונות צבע ותמונת Grayscale באמצעות אלגוריתםSimple Linear Iterative Clustering . למידע נוסף – לחצו פה.

·         Deep Learning – למידה עמוקה לצורך מציאת אובייקטים שמעניינים אותנו בתמונות, סיווג תמונות לקטגוריות שונות ושאר שימושים. למידע נוסף – לחצו פה.

חידושים אלה ואחרים הופכים את העבודה עם MATLAB לקלה יותר ויעילה יותר!  

לרשימה המלאה של כל החידושים בכלי עיבוד התמונה והראיה הממוחשבת, לחצו על שם הכלי הרלוונטי:

Image Processing Toolbox

Computer Vision System Toolbox

Image Acquisition Toolbox

בגרסאות שמתוכננות לשנת 2017 צפויים חידושיים משמעותיים נוספים, מומלץ להמשיך ולהתעדכן!

אין סוסים שמדברים עברית, אבל מטלב – בהחלט מדבר

הידעת ש-MATLAB יודע לזהות טקסט בעברית ?

זיהוי תווים אופטי הוא תחום מתפתח חשוב בעולם הראיה הממוחשבת, ובדיוק בשל כך בגרסת R2014a של ה-Computer Vision System Toolbox נוספה לכלי הפונקציה ocr. בתחילה, הפונקציה תמכה רק בשפות אנגלית ויפנית, אבל החל מגרסת R2014b – ניתן להוריד ללא עלות חבילת תמיכה בשפות נוספות, כולל עברית !

כל מה שצריך לעשות על מנת להתקין את התוסף זה להקליד visionSupportPackages, ללחוץ על next, ולבחור ב-OCR Language Data. וכיצד משתמשים בפקודה ocr על מנת לפענח טקסט בשפת הקודש ? הנה דוגמה:

ניקח את הטקסט הבא, המתאר אותי במספר משפטים:

כעת, נפעיל על תמונת הטקסט את קטע הקוד הבא, אשר יזהה בה תווים בעברית (וגם ספרות), ויציג את הטקסט שזיהה – על גבי הטקסט המקורי (יש ללחוץ על התמונה להגדלה):

והנה התוצאה (יש ללחוץ על התמונה להגדלה):

מגניב, לא ?

אגב, אם השורה האחרונה בטקסט מעניינת אתכם, אתם מוזמנים לבקר באתר האינטרנט שאני מפעיל כחלק מהתנדבותי עבור השכונה בה אני מתגורר – לחצו פה.

מאות משתתפים בכנס MATLAB & Simulink בינלאומי בישראל

אני לא נוהג להשתמש בפלטפורמה הזו כבמה לקידום אירועים, ולכן גם הפעם אדווח על אירוע רק בדיעבד.

אז לאלה מכם שלא יודעים, בשבוע שעבר התקיים המפגש השנתי הראשון של קהיליית משתמשי MATLAB ו-Simulink בישראל, ונכחו בו מעל 700 מהנדסים וחוקרים. הכנס אורגן על ידי חברת סיסטמטיקס בה אני עובד, מפיצת הכלים בישראל, והשתתפו בו גם בכירים מחברת MathWorks האמריקאית, המפתחת את התוכנות הללו מזה למעלה מ-30 שנים.

בחלק הראשון של היום האזינו המשתתפים להרצאתו של ד"ר רוי לוריא (Dr. Roy Lurie), סמנכ"ל הפיתוח של כלי MATLAB, אשר סקר כיצד MATLAB מקדם תהליך חדשנות בכל העולם, ובפרט – בישראל. בהמשך נהנו הנוכחים מהרצאה מרתקת על הסיפור שמאחורי מערכת כיפת ברזל, שהועברה על ידי ארי סכר מחברת רפאל, אשר משמש כמהנדס מערכת בפרויקט (לפוסט שפורסם כאן בנושא הזה לפני שלוש שנים וחצי - לחצו פה).

בחלק השני של הכנס התחלקו הנוכחים בין שמונה מסלולים מקצועיים בתחומים שונים ומגוונים, אשר הועברו על ידי מהנדסי האפליקציה של סיסטמטיקס, בכירי MathWorks, ומשתמשי הכלים – ממשתמשים מנוסים ועד תלמידי תיכון שהסבירו על אופן השימוש שלהם בכלי MATLAB ו-Simulink. נושאי המסלולים המקצועיים היו "עיבוד תמונה וראיה ממוחשבת", "אווירונאוטיקה ורובוטיקה", "תקשורת ועיבוד אות", "לימוד מכונה ו-Data Science", "תכנון חומרה וביצוע וריפיקציה", "המרה אוטומטית של קוד MATLAB לקוד C", "האצת ביצועים של אלגוריתמים והפצה שלהם" ו-"Internet of Things".

מסלול "עיבוד תמונה וראיה ממוחשבת", אותו אני העברתי, זכה להצלחה רבה, והוא משך כרבע ממספר המשתתפים בכנס ! המסלול כלל שני חלקים - "גילוי אובייקטים, עקיבה, סיווג והאצת ביצועים" ו"רגיסטרציה, כיול מצלמה ושחזור תלת-מימד". פרט אלי, הרצו במסלול גם ד"ר חן שגיב וכן תלמידי התיכון המוזכרים למעלה (לקריאת פוסט אשר פורסם כאן לפני כשלושה חודשים העוסק בפרויקט שלהם – לחצו פה. לצפיה בראיון שצולם במהלך הכנס עם מנחה הפרויקט - לחצו פה). להורדת המצגת וקבצי הקוד בהם השתמשתי במהלך המסלול – לחצו כאן.

זה הכנס הכי גדול שקיימנו עד כה בתשע שנות פעילות של קו מוצרי ה-Technical Computing & Model-Based Design , אנחנו מאוד מרוצים מההיענות של משתמשי הכלים, ועל סמך הפידבקים שקיבלנו – המשתתפים בכנס נהנו ולמדו המון. להתראות באירועים הבאים – מומלץ לעקוב אחר הפרסומים באתר סיסטמטיקס, שאגב - עבר לאחרונה מתיחת פנים רצינית (לחצו פה).

300 משתתפים בסמינרי עיבוד תמונה וראיה ממוחשבת בסביבת MATLAB

כ-300 משתמשים / משתמשים פוטנציאליים בכלי MathWorks הגיעו באמצע יוני לשני סמינרים חצי-יומיים בנושא עיבוד תמונה וראיה ממוחשבת בסביבת MATLAB, שהתקיימו בחיפה (130) וגבעת שמואל (170).

כ-170 משתתפים בסמינר בגבעת שמואל (לחצו להגדלה)

בסמינרים, שההשתתפות בהם היתה ללא עלות, ראו הנוכחים דוגמאות מעניינות לשימוש בכלי MathWorks, ונחשפו ליכולות שנוספו לכלים בגרסאות האחרונות שלהם. בין הדוגמאות והיכולות שהוצגו:

•           גילוי אוטומטי של עגבניות בתמונה וניתוח מימדיהן ורמת הבשלות שלהן, לצורך ביצוע ניתוחים סטטיסטיים המשמשים להשבחת זרעי הפירות והירקות שאנו אוכלים. במהלך הדוגמא בוצע שימוש בטיפוס מידע חדש בשם table, שנוסף לסביבת MATLAB בגרסת R2013b.
•           האצת אלגוריתמי עיבוד תמונה וראיה ממוחשבת באמצעות מחשבים מרובי ליבות, כרטיסי מסך (GPU) והמרה אוטומטית של אלגוריתמים מ-MATLAB לקוד C. חלק מהאלגוריתמים שהואצו עשו שימוש בפונקציות עיבוד תמונה אשר רק לאחרונה התווספו לרשימת הפונקציות הניתנות להאצה בעזרת ה-GPU או על ידי המרה אוטומטית שלהן לקוד C.
•           עקיבה אחר אובייקטים בסרטון וידאו המצולם בזמן אמת.
•          רגיסטרציה של תמונת IR עם תמונה ממצלמת רשת בשיטת Intensity-Based-Registration.
•          זיהוי תווים אופטי (OCR) בעזרת פונקציה שהצטרפה ל-Computer Vision System Toolbox בגרסת R2014a.
•          סגמנטציה תוך שימוש בשיטת Active Contours בעזרת פונקציה שנוספה ל-Image Processing Toolbox בגרסת R2013a.
•         אפליקציה בשם Color Thresholder שנוספה ללשונית ה-Apps בגרסת R2014a של ה-Image Processing Toolbox, המאפשרת ליצור מסיכת סגמנטציה לתמונות צבע על ידי שימוש במרחבי צבעים שונים.

בנוסף, בסמינר הועברה גם הרצאת אורח ע"י אולג טרשנקו, בנושא המרת תמונה מדו-מימד לפסבדו תלת-מימד (שימושי להצגת תמונות שצולמו בטלפון נייד על גבי מכשירי טלויזיה התומכים בתצוגת תלת-מימד סטריאוסקופית).

להורדת קבצי הסמינר, לחצו כאן. 

מנהל מוצרי עיבוד התמונה והראיה הממוחשבת של חברת MathWorks ביקר בישראל

ברוס טננבאום, מנהל מוצרי עיבוד התמונה והראיה הממוחשבת של חברת MathWorks, ביקר בישראל בתחילת החודש לרגל כנס הראיה הממוחשבת הישראלי השנתי IMVC שמתקיים זו השנה החמישית ברציפות. במסגרת הכנס הרצה טננבאום בפני מאות מהנדסים וחוקרים על "המעבר ממחקר בתחומים עיבוד תמונה וראיה ממוחשבת, למימושים בעולם האמיתי".

טננבאום במהלך הרצאתו בכנס IMVC, לחצו להגדלה

פרט להרצאתו בכנס, קיים טננבאום 8 פגישות עם עשרות משתמשים שונים של כלי MathWorks בארץ, מחברות מובילות מהשוק הרפואי, הביטחוני והאלקטרוני. בפגישות הדגים האמריקאי את היכולות החדשות של כלי עיבוד התמונה והראיה הממוחשבת של חברת MathWorks, ושמע את הדרישות השונות של הלקוחות הישראלים ליכולות נוספות שהיו רוצים לראות בכלים.

בין הדוגמאות שהציג טננבאום במהלך ביקורו ניתן למנות דוגמה לזיהוי תווים (OCR), דוגמה לרגיסטרציה של תמונת IR עם תמונה הנרכשת ממצלמת אינטרנט פשוטה (Intensity-Based Registration), דוגמה לגילוי אוטומטי של פנים (אלגוריתם Viola-Jones) ועקיבה אחריהם (בשיטת (KLT, דוגמה ליכולת להאיץ אלגוריתמי עיבוד תמונה וראיה ממוחשבת באמצעות שימוש בכרטיס המסך (GPU) או באמצעות המרה אוטומטית שלהם לקוד C (בעזרת MATLAB Coder, יכולת אשר שופרה משמעותית בגרסת R2014a), דוגמה לשימוש בפיצ'רים לצורך מציאת אובייקט בתמונה, דוגמה לשערוך פרמטרים אינטרינזים ואקסטרינזים של מצלמה (Camera Calibration), דוגמה לביצוע סגמנטציה של תמונה תוך שימוש בשיטת Active Contours, ודוגמה לזיהוי מחוות.

בדוגמת זיהוי המחוות, יצר האמריקאי skeleton בסביבת MATLAB בזמן אמת, תוך שימוש במערכת חישת-התנועה Kinect (המבוססת על טכנולוגיה של חברת פריים-סנס הישראלית , שנרכשה לאחרונה על ידי חברת Apple). על סמך ה-skeleton מצא האלגוריתם את ידו של המצולם, ותוך שימוש בפעולות מורפולוגיות ו-Blob Analysis – הצליח לקבוע האם האדם מסמן בידו "אבן", "נייר" או "מספרים". בתמונה למטה ניתן לראות את טננבאום מדגים את האלגוריתם בזמן אמת – המצולם מסמן "מספרים", בחלון התצוגה השמאלי מסומן בירוק מרכז הכובד של היד ומסומנות באדום שתי האצבעות אשר זוהו, ובחלון התצוגה הימני מוצגת התמונה הנרכשת בזמן אמת, ועליה ה-skeleton (באדום), אזור היד (ריבוע צהוב), וחיווי המעיד על כך שהאלגוריתם גילה שהאדם בחר ב"מספרים" (scissors). 

טננבאום מדגים זיהוי מחוות, לחצו להגדלה

"זה היה הביקור הראשון שלי בישראל, והוא היה מוצלח במיוחד", סיכם ברוס טננבאום את השבוע העמוס שעבר, "אני בטוח שבמהלך השבוע הזה נחשפו עוד ועוד אנשים ליכולות המתקדמות של כלי MathWorks בתחומים רכישת תמונה (Image Acquisition), עיבוד תמונה (Image Processing), ראיה ממוחשבת (Computer Vision System Toolbox), המרה אוטומטית של קוד MATLAB לקוד C (MATLAB Coder), האצת ביצועי אלגוריתמים (Parallel Computing Toolbox), ניתוח והצגת מידע גיאוגרפי (Mapping Toolbox) וכו'. גם אני למדתי המון על צרכי השוק הישראלי, ואני מאמין שהדרישות השונות שהועלו יקבלו מענה בגרסאות הקרובות של כלי MathWorks. התרשמתי מאוד מהרמה המקצועית של האנשים עימם נפגשתי ומהדברים שאותם הם מפתחים, ואני כבר מצפה לביקור הבא שלי בישראל".

כל הדוגמאות בהן עשה טננבאום שימוש נמצאות ברשותי, במידה ותרצו לקבל אותן או שאגיע על מנת להציגן אצלכם, אנא כתבו לי ל-  royf@systematics.co.il