Tìm kiếm hình ảnh bằng Clarifai API
Khi bạn đang tìm kiếm một hình ảnh, từ ngữ thường không đủ để tìm chính xác những gì bạn cần. Bạn hoàn toàn có thể gửi đến máy tính của bạn một bức ảnh và yêu cầu, “Tìm hình ảnh giống như thế này?”. Bằng API của Clarifai, bạn có thể tìm kiếm bất kỳ hình ảnh nào bằng sự tương đồng trong hình ảnh.
API Clarifai Search có nhiều cách khác nhau để bạn truy vấn các input của bạn. Trong bài này, chúng tôi sẽ mô tả lại toàn bộ mọi thứ. Bạn sẽ không cần phải thực hiện bất kỳ điều gì với bộ dữ liệu của mình, chỉ cần tải lên hình ảnh và sau đó bạn có thể tìm kiếm trên những hình ảnh tương tự.
Bắt đầu
Bước đầu tiên, bạn cần phải cài đặt Python (phiên bản 3.6.2) cho hệ điều hành của bạn. Bạn có thể đến terminal và gõ python --version. Nếu bạn tình cờ đã cài một phiên bản của Python 2, bạn có thể gõ thử python3 --version. Bạn sẽ thấy một gợi ý về: Python 3.6.2. Nếu không có những trường hợp này, bạn có thể phải kiểm tra nếu Python đã được bao gồm trong PATH của bạn.
Nhiều người phát triển bằng Python đề nghị có cần một môi trường ảo. Những hỗ trợ này giúp quản lý bất kỳ application-specific dependencies nào. Có một số điều không cần thiết cho hướng dẫn này nhưng nếu bạn tò mò, bạn có thể đọc thêm về chúng trong tài liệu Python.
Và bây giờ, bắt đầu cài đặt Python Clarifai bản chính thức bằng pip install clarifai. Điều cuối cùng bạn cần làm là đăng ký tài khoản Clarifai miễn phí và tạo một ứng dụng.
Thêm input vào
Bạn cần phải có một tập dữ liệu input để tìm kiếm. Những input này được lập index trên ứng dụng của bạn và Clarifai sẽ có thể “nhìn thấy” được hình ảnh đó. Đối với máy tính, một hình ảnh không có gì ngoài các vectơ biểu diễn mỗi pixel trông như thế nào. Khi bạn thực hiện việc tìm kiếm bằng một hình ảnh, Clarifai sẽ xem xét xem các vectơ này có mối quan hệ với nhau như thế nào để xác định xem những hình ảnh này có tương đồng trực quan hay không. Độ tương đồng có thể chính xác hơn nếu tập dữ liệu của bạn bao gồm các đối tượng có liên quan đến những gì bạn muốn tìm kiếm. Nếu bạn thêm một tập dữ liệu đầy đủ nhưng là về thực phẩm, trong khi cố gắng tìm kiếm hình ảnh của một con chó trong tập đó, thì kết quả tìm kiếm của bạn sẽ bằng không.
Đây là một tập dữ liệu các hình ảnh từ ImageNet liên quan đến thực phẩm. Bạn sẽ thấy một file không chứa gì ngoài các đường URL của hình ảnh về thực phẩm. Lưu file tin này là food-data.txt trong cùng thư mục với code của bạn, sau đó chúng tôi sẽ lấy file này và tải lên các hình ảnh theo đợt.
Wow! Hơn một nghìn hình ảnh được tải lên dễ dàng.
Tìm kiếm bằng sử dụng hình ảnh
Phần tuyệt vời mà bạn đang chờ đợi có thể được tìm kiếm dựa trên nét tương đồng của hình ảnh bằng cách sử dụng một hình ảnh khác. Giả sử bạn muốn tìm xem có bất kỳ điều gì tương tự với hình ảnh bánh cookie này. Tất cả những gì bạn cần ở đây là:
Hàm search_by_image() trả về một danh sách các đối tượng Image mà chúng ta sẽ in ra score và URL liên quan đến nó. Bạn cũng có thể sử dụng các byte hình ảnh hoặc một tên tập tin để truy vấn.
Response của tìm kiếm sẽ hiển thị giá trị cho điểm số từ 0 đến 1. Điểm số gần bằng 1 có nghĩa là hình ảnh có điểm tương đồng trực quan hơn, một điểm số gần với 0 có nghĩa là hình ảnh ít điểm tương đồng hơn. Response từ Clarifai cũng có thể thất bại tại 20 kết quả hàng đầu. Nếu bạn muốn thay đổi, bạn có thể thêm một giá trị khác cho tham số per_page trong chức năng search_by_image().
Kết luận
Có lẽ bạn đang nghĩ đến bản thân, “Đó là tất cả những gì nó cần?” Và câu trả lời là đúng! Phần tốn nhiều thời gian nhất là thiết lập bộ dữ liệu. Còn nếu không, chức năng thực hiện tìm kiếm của chúng tôi chỉ cần năm dòng code.
xem thêm : học lập trình java ở đâu
Bắt đầu
Bước đầu tiên, bạn cần phải cài đặt Python (phiên bản 3.6.2) cho hệ điều hành của bạn. Bạn có thể đến terminal và gõ python --version. Nếu bạn tình cờ đã cài một phiên bản của Python 2, bạn có thể gõ thử python3 --version. Bạn sẽ thấy một gợi ý về: Python 3.6.2. Nếu không có những trường hợp này, bạn có thể phải kiểm tra nếu Python đã được bao gồm trong PATH của bạn.
Nhiều người phát triển bằng Python đề nghị có cần một môi trường ảo. Những hỗ trợ này giúp quản lý bất kỳ application-specific dependencies nào. Có một số điều không cần thiết cho hướng dẫn này nhưng nếu bạn tò mò, bạn có thể đọc thêm về chúng trong tài liệu Python.
Và bây giờ, bắt đầu cài đặt Python Clarifai bản chính thức bằng pip install clarifai. Điều cuối cùng bạn cần làm là đăng ký tài khoản Clarifai miễn phí và tạo một ứng dụng.
Thêm input vào
Bạn cần phải có một tập dữ liệu input để tìm kiếm. Những input này được lập index trên ứng dụng của bạn và Clarifai sẽ có thể “nhìn thấy” được hình ảnh đó. Đối với máy tính, một hình ảnh không có gì ngoài các vectơ biểu diễn mỗi pixel trông như thế nào. Khi bạn thực hiện việc tìm kiếm bằng một hình ảnh, Clarifai sẽ xem xét xem các vectơ này có mối quan hệ với nhau như thế nào để xác định xem những hình ảnh này có tương đồng trực quan hay không. Độ tương đồng có thể chính xác hơn nếu tập dữ liệu của bạn bao gồm các đối tượng có liên quan đến những gì bạn muốn tìm kiếm. Nếu bạn thêm một tập dữ liệu đầy đủ nhưng là về thực phẩm, trong khi cố gắng tìm kiếm hình ảnh của một con chó trong tập đó, thì kết quả tìm kiếm của bạn sẽ bằng không.
Đây là một tập dữ liệu các hình ảnh từ ImageNet liên quan đến thực phẩm. Bạn sẽ thấy một file không chứa gì ngoài các đường URL của hình ảnh về thực phẩm. Lưu file tin này là food-data.txt trong cùng thư mục với code của bạn, sau đó chúng tôi sẽ lấy file này và tải lên các hình ảnh theo đợt.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
# upload.py
import os
from clarifai.rest import ClarifaiApp
from clarifai.rest import Image as ClImage
app = ClarifaiApp(api_key='YOUR_API_KEY')
FILE_NAME = 'food-data.txt'
FILE_PATH = os.path.join(os.path.curdir, FILE_NAME)
# Counter variables
current_batch = 0
counter = 0
batch_size = 32
with open(FILE_PATH) as data_file:
images = [url.strip() for url in data_file]
row_count = len(images)
print("Total number of images:", row_count)
while(counter < row_count):
print("Processing batch: #", (current_batch+1))
imageList = []
for current_index in range(counter, counter+batch_size - 1):
try:
imageList.append(ClImage(url=images[current_index]))
except IndexError:
break
app.inputs.bulk_create_images(imageList)
counter = counter + batch_size
current_batch = current_batch + 1
|
Wow! Hơn một nghìn hình ảnh được tải lên dễ dàng.
Tìm kiếm bằng sử dụng hình ảnh
Phần tuyệt vời mà bạn đang chờ đợi có thể được tìm kiếm dựa trên nét tương đồng của hình ảnh bằng cách sử dụng một hình ảnh khác. Giả sử bạn muốn tìm xem có bất kỳ điều gì tương tự với hình ảnh bánh cookie này. Tất cả những gì bạn cần ở đây là:
1
2
3
4
5
6
7
|
# search.py
from clarifai.rest import ClarifaiApp
app = ClarifaiApp(api_key='YOUR_API_KEY')
# Search using a URL
search = app.inputs.search_by_image(url='https://images-gmi-pmc.edge-generalmills.com/cbc3bd78-8797-4ac9-ae98-feafbd36aab7.jpg')
for search_result in search:
print("Score:", search_result.score, "| URL:", search_result.url)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
# Response
Score: 0.8486366 | URL: http://farm4.static.flickr.com/3502/4000853007_0f1e33cdc0.jpg
Score: 0.79205513 | URL: http://farm4.static.flickr.com/3213/3080197227_e4b28c76ae.jpg
Score: 0.7901007 | URL: http://farm1.static.flickr.com/222/470272746_1674448c07.jpg
Score: 0.741455 | URL: http://farm4.static.flickr.com/3317/3289848643_bf1f2e7b5b.jpg
Score: 0.7173992 | URL: http://farm4.static.flickr.com/3620/3473362088_c90b72c819.jpg
Score: 0.68365324 | URL: http://farm1.static.flickr.com/150/365771958_06e87421d1.jpg
Score: 0.6734046 | URL: http://farm4.static.flickr.com/3077/3160541712_b879bf7a22.jpg
Score: 0.6723133 | URL: http://farm4.static.flickr.com/3399/3185443954_26bf37dc8a.jpg
Score: 0.66024935 | URL: http://farm3.static.flickr.com/2481/3943873688_f094d211a3.jpg
Score: 0.6529919 | URL: http://farm3.static.flickr.com/2124/2239822705_419fffe609.jpg
Score: 0.6473093 | URL: http://farm2.static.flickr.com/1319/540399285_142ae1822e.jpg
Score: 0.63564813 | URL: http://farm3.static.flickr.com/2030/2310386017_8741472785.jpg
Score: 0.6230167 | URL: http://farm4.static.flickr.com/3338/3501581193_be17c2d04e.jpg
Score: 0.61543244 | URL: http://farm1.static.flickr.com/228/499181350_b01a280789.jpg
Score: 0.61172754 | URL: http://farm4.static.flickr.com/3169/2802528597_0483e7aa39.jpg
Score: 0.6057524 | URL: http://farm3.static.flickr.com/2111/2413962121_41b412c39c.jpg
Score: 0.60092676 | URL: http://farm1.static.flickr.com/118/296736486_e721b93e82.jpg
Score: 0.60023034 | URL: http://farm3.static.flickr.com/2264/2410275528_d7a69df963.jpg
Score: 0.5992471 | URL: http://farm3.static.flickr.com/2317/2435454915_2947203717.jpg
Score: 0.5968622 | URL: http://farm3.static.flickr.com/2664/3979835380_7748ddf164.jpg
|
Response của tìm kiếm sẽ hiển thị giá trị cho điểm số từ 0 đến 1. Điểm số gần bằng 1 có nghĩa là hình ảnh có điểm tương đồng trực quan hơn, một điểm số gần với 0 có nghĩa là hình ảnh ít điểm tương đồng hơn. Response từ Clarifai cũng có thể thất bại tại 20 kết quả hàng đầu. Nếu bạn muốn thay đổi, bạn có thể thêm một giá trị khác cho tham số per_page trong chức năng search_by_image().
Kết luận
Có lẽ bạn đang nghĩ đến bản thân, “Đó là tất cả những gì nó cần?” Và câu trả lời là đúng! Phần tốn nhiều thời gian nhất là thiết lập bộ dữ liệu. Còn nếu không, chức năng thực hiện tìm kiếm của chúng tôi chỉ cần năm dòng code.
xem thêm : học lập trình java ở đâu
Comments
Post a Comment